Уменьшение размерности — различия между версиями
| Строка 1: | Строка 1: | ||
Под '''уменьшением размерности''' (англ. dimensionality reduction) в машинном обучении подразумевается уменьшение числа признаков датасета. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами отбора признаков (англ. feature selection) или выделения признаков (англ. feature extraction). | Под '''уменьшением размерности''' (англ. dimensionality reduction) в машинном обучении подразумевается уменьшение числа признаков датасета. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами отбора признаков (англ. feature selection) или выделения признаков (англ. feature extraction). | ||
==Feature selection== | ==Feature selection== | ||
| − | Методы feature selection оставляют некоторое подмножество исходного набора признаков, избавляясь от признаков избыточных и слабо информативных. Основные преимущества этого класса алгоритмов: | + | Методы '''feature selection''' оставляют некоторое подмножество исходного набора признаков, избавляясь от признаков избыточных и слабо информативных. Основные преимущества этого класса алгоритмов: |
| − | *Уменьшение вероятности переобучения | + | *Уменьшение вероятности [[переобучение|переобучения]] |
*Увеличение точности предсказания модели | *Увеличение точности предсказания модели | ||
*Сокращение времени обучения | *Сокращение времени обучения | ||
*Увеличивается семантическое понимание модели | *Увеличивается семантическое понимание модели | ||
| + | |||
| + | Все методы отбора признаков можно разделить на 5 типов, которые отличаются алгоритмами выбора лишних признаков. | ||
===Filters=== | ===Filters=== | ||
| + | '''Фильтры''' (англ. filter methods) измеряют релевантность признаков на основе функции $\mu$, и затем решают по правилу $\kappa$, какие признаки оставить в результирующем множестве. | ||
| + | |||
| + | Фильтры могут быть | ||
| + | *Одномерные (англ. univariate) {{---}} функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае, обычно, измеряют "качество" каждого признака и удаляют худшие. | ||
| + | *Многомерные (англ. multivariate) {{---}} функция $\mu$ определяет релевантность некоторого подмножества исходного множества признаков относительно выходных меток. | ||
| + | |||
| + | Преимуществом группы фильтров является простота вычисления релевантности признаков в датасете, но недостатком в таком подходе является игнорирование возможных зависимостей между признаками. | ||
===Wrappers=== | ===Wrappers=== | ||
| + | '''Оберточные методы''' (англ. wrapper methods) | ||
===Embedded=== | ===Embedded=== | ||
===Hybrid=== | ===Hybrid=== | ||
Версия 12:58, 30 декабря 2018
Под уменьшением размерности (англ. dimensionality reduction) в машинном обучении подразумевается уменьшение числа признаков датасета. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами отбора признаков (англ. feature selection) или выделения признаков (англ. feature extraction).
Содержание
Feature selection
Методы feature selection оставляют некоторое подмножество исходного набора признаков, избавляясь от признаков избыточных и слабо информативных. Основные преимущества этого класса алгоритмов:
- Уменьшение вероятности переобучения
- Увеличение точности предсказания модели
- Сокращение времени обучения
- Увеличивается семантическое понимание модели
Все методы отбора признаков можно разделить на 5 типов, которые отличаются алгоритмами выбора лишних признаков.
Filters
Фильтры (англ. filter methods) измеряют релевантность признаков на основе функции $\mu$, и затем решают по правилу $\kappa$, какие признаки оставить в результирующем множестве.
Фильтры могут быть
- Одномерные (англ. univariate) — функция $\mu$ определяет релевантность одного признака по отношению к выходным меткам. В таком случае, обычно, измеряют "качество" каждого признака и удаляют худшие.
- Многомерные (англ. multivariate) — функция $\mu$ определяет релевантность некоторого подмножества исходного множества признаков относительно выходных меток.
Преимуществом группы фильтров является простота вычисления релевантности признаков в датасете, но недостатком в таком подходе является игнорирование возможных зависимостей между признаками.
Wrappers
Оберточные методы (англ. wrapper methods)
