Обсуждение участника:Gen05 - История изменений

Gen05: /* Фильтры */

2022-06-29T15:54:44Z

‎Фильтры

Gen05: /* Классификация фильтрующих методов */

2022-06-29T15:49:19Z

‎Классификация фильтрующих методов

Gen05: /* Гибриды и ансамбли */

2022-06-29T15:31:48Z

‎Гибриды и ансамбли

Gen05: /* Примечания */

2022-06-29T15:28:08Z

‎Примечания

Gen05: /* Гибриды и ансамбли */

2022-06-29T15:27:41Z

‎Гибриды и ансамбли

Gen05 в 12:26, 29 июня 2022

2022-06-29T12:26:40Z

Gen05: /* Классификация фильтрующих методов */

2022-06-29T11:54:21Z

‎Классификация фильтрующих методов

Gen05 в 18:32, 28 июня 2022

2022-06-28T18:32:55Z

Gen05 в 13:40, 28 июня 2022

2022-06-28T13:40:05Z

Gen05: /* Встроенные методы */

2022-06-28T13:35:54Z

‎Встроенные методы

← Предыдущая		Версия 15:54, 29 июня 2022
Строка 179:		Строка 179:

	'''Information gain'''<ref>[https://en.wikipedia.org/wiki/Information_gain_in_decision_trees Определение information gain]</ref>: <br> $IG(T, C)=\displaystyle -\sum_{i=1}^kp(c_i)\log_2{(p(c_i))}+\sum_{i=1}^{n}p(t_i)\sum_{j=1}^kp(c_j\|t_i)\log_2{(p(c_j\|t_i))}$		'''Information gain'''<ref>[https://en.wikipedia.org/wiki/Information_gain_in_decision_trees Определение information gain]</ref>: <br> $IG(T, C)=\displaystyle -\sum_{i=1}^kp(c_i)\log_2{(p(c_i))}+\sum_{i=1}^{n}p(t_i)\sum_{j=1}^kp(c_j\|t_i)\log_2{(p(c_j\|t_i))}$
		+
		+	==Правило подрезки $k$==
		+	* Число признаков
		+	* Порог значимости признаков
		+	* Интегральный порог значимости признаков
		+	* Метод сломанной трости
		+	* Метод локтя

	==Анализ одномерных фильтров==		==Анализ одномерных фильтров==

← Предыдущая		Версия 15:49, 29 июня 2022
Строка 169:		Строка 169:

	'''Коэффициент корреляции Пирсона''' <br>		'''Коэффициент корреляции Пирсона''' <br>
		+	'''Замечание'''
		+	Важно помнить, что мы смотрим не на корреляцию, а на модуль корреляции.
	<tex>r=\displaystyle \frac{\sum_{i, j}(x_{ij}-\bar{x_j})(y_i-\bar{y})}{\sqrt{\sum_{i, j}(x_{ij}-\bar{x_j})^2\sum_i(y_i-\bar{y})^2}}\in[-1;1]</tex>		<tex>r=\displaystyle \frac{\sum_{i, j}(x_{ij}-\bar{x_j})(y_i-\bar{y})}{\sqrt{\sum_{i, j}(x_{ij}-\bar{x_j})^2\sum_i(y_i-\bar{y})^2}}\in[-1;1]</tex>

@@ Строка 197: / Строка 197: @@
 [[Файл:Таблица_7.jpg|600px|thumb|right|Схема процесса работы гибридного подхода]]
 ==Гибридный подход==
@@ Строка 212: / Строка 208: @@
 ==Ансамблирование в выборе признаков==
 '''Ансамблевые методы''' применяются больше для наборов данных с очень большим числом признаков. В данном подходе для начального множества признаков создается несколько подмножеств признаков, и эти группы каким-то образом объединяются, чтобы получить набор самых релевантных признаков. Это довольно гибкая группа методов, т.к. для нее можно применять различные способы выбора признаков и объединения их подмножеств.
@@ Строка 219: / Строка 216: @@
 * Объединяем ранжирования
 * Объединяем меры значимости
 ==Анализ гибридных и ансамблирующих методов==
@@ Строка 226: / Строка 227: @@
 * Иногда теряется интерпретируемость
 * Иногда требуется заботиться о проблеме переобучения
 =Примечания=
 <references/>

← Предыдущая		Версия 15:28, 29 июня 2022
Строка 229:		Строка 229:


−	==Примечания==	+	=Примечания=
	<references/>		<references/>

@@ Строка 196: / Строка 196: @@
 =Гибриды и ансамбли=
 [[Файл:Таблица_7.jpg|600px|thumb|right|Схема процесса работы гибридного подхода]]
 [[Файл:ТАблица_8.jpg|600px|thumb|right|Ансамблирование в выборе признаков]]
@@ Строка 202: / Строка 201: @@
 [[Файл:Таблица_10.jpg|600px|thumb|right|Ансамбль на уровне ранжирований]]
 [[Файл:Таблица_11.jpg|600px|thumb|right|Ансамбль на уровне мер значимости]]
 '''Гибридные методы''' (англ. ''hybrid methods'') комбинируют несколько разных методов выбора признаков, например, некоторое множество фильтров, а потом запускают оберточный или встроенный метод. Таким образом, гибридные методы сочетают в себе преимущества сразу нескольких методов, и на практике повышают эффективность выбора признаков.

@@ Строка 3: / Строка 3: @@
 = Уменьшение размерности =
-Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').
+Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и, соответственно, уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').
 {{Определение
@@ Строка 141: / Строка 141: @@
 Фильтры могут быть:
-* Одномерные (англ. ''univariate'') {{---}} функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае обычно измеряют «качество» каждого признака и удаляют худшие;
+* Одномерные (англ. ''univariate'') {{---}} функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае обычно измеряют «качество» каждого признака и удаляют худшие. Одномерные метрики делятся на 3 части:
 * Многомерные (англ. ''multivariate'') {{---}} функция $\mu$ определяет релевантность некоторого подмножества исходного множества признаков относительно выходных меток.
@@ Строка 190: / Строка 193: @@
 * Работают существенно дольше фильтров
 * Не учитывают то, что реально использует предсказательная модель
 ==Примечания==
 <references/>

@@ Строка 173: / Строка 173: @@
 # Вычислить корреляцию Пирсона между векторами рангов.
-'''Information gain'''<ref>[https://en.wikipedia.org/wiki/Information_gain_in_decision_trees Определение information gain]</ref>: <br> $IG(x, y)=\displaystyle -\sum_{i=1}^kp(c_i)\log_2{(p(c_i))}+\sum_{i=1}^{n}p(t_i)\sum_{j=1}^kp(c_j|t_i)log_2{(p(c_j|t_i))}$
+'''Information gain'''<ref>[https://en.wikipedia.org/wiki/Information_gain_in_decision_trees Определение information gain]</ref>: <br> $IG(T, C)=\displaystyle -\sum_{i=1}^kp(c_i)\log_2{(p(c_i))}+\sum_{i=1}^{n}p(t_i)\sum_{j=1}^kp(c_j|t_i)\log_2{(p(c_j|t_i))}$
 ==Анализ одномерных фильтров==

@@ Строка 75: / Строка 75: @@
 Группа '''встроенных методов''' (англ. ''embedded methods'') очень похожа на оберточные методы, но для выбора признаков используется непосредственно структуру некоторого классификатора. В оберточных методах классификатор служит только для оценки работы на данном множестве признаков, тогда как встроенные методы используют какую-то информацию о признаках, которую классификаторы присваивают во время обучения.
-Одним из примеров встроенного метода является реализация на [[Дерево решений и случайный лес| случайном лесе]]: каждому дереву на вход подаются случайное подмножество данных из датасета с каким-то случайным набор признаков, в процессе обучения каждое из деревьев решений производит "голосование" за релевантность его признаков, эти данные агрегируются, и на выходе получаются значения важности каждого признака набора данных. Дальнейший выбор нужных нам признаков уже зависит от выбранного критерия отбора.
+Одним из примеров встроенного метода является реализация на [[Дерево решений и случайный лес| случайном лесе]]: каждому дереву на вход подаются случайное подмножество данных из датасета с каким-то случайным набор признаков, в процессе обучения каждое из деревьев решений производит «голосование» за релевантность его признаков, эти данные агрегируются, и на выходе получаются значения важности каждого признака набора данных. Дальнейший выбор нужных нам признаков уже зависит от выбранного критерия отбора.
 Встроенные методы используют преимущества оберточных методов и являются более эффективными, при этом на отбор тратится меньше времени, уменьшается риск [[переобучение|переобучения]], но т.к. полученный набор признаков был отобран на основе знаний о классификаторе, то есть вероятность, что для другого классификатора это множество признаков уже не будет настолько же релевантным.
@@ Строка 141: / Строка 141: @@
 Фильтры могут быть:
-* Одномерные (англ. ''univariate'') {{---}} функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае обычно измеряют "качество" каждого признака и удаляют худшие;
+* Одномерные (англ. ''univariate'') {{---}} функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае обычно измеряют «качество» каждого признака и удаляют худшие;
 * Многомерные (англ. ''multivariate'') {{---}} функция $\mu$ определяет релевантность некоторого подмножества исходного множества признаков относительно выходных меток.

@@ Строка 71: / Строка 71: @@
 }}
-[[File:Feature_selection_embedded_rus.png|450px|thumb|right|Процесс работы встроенных методов]]
+[[File:Feature_selection_embedded_rus.png|600px|thumb|right|Процесс работы встроенных методов]]
 Группа '''встроенных методов''' (англ. ''embedded methods'') очень похожа на оберточные методы, но для выбора признаков используется непосредственно структуру некоторого классификатора. В оберточных методах классификатор служит только для оценки работы на данном множестве признаков, тогда как встроенные методы используют какую-то информацию о признаках, которую классификаторы присваивают во время обучения.