Выброс

Выброс(англ. outliers) — такая часть во входных данных, которая сильно выделяется из общей выборки. Многие алгоритмы машинного обучения чувствительны к разбросу и распределению значений атрибутов во входных данных. Выбросы во входных данных могут исказить и ввести в заблуждение процесс обучения алгоритмов машинного обучения, что приводит к увеличению времени обучения, снижению точности моделей и, в конечном итоге, снижению результатов. Даже до подготовки предсказательных моделей на основе обучающих данных выбросы могут приводить к ошибочным представлениям и в дальнейшем к ошибочной интерпретации собранных данных.

Содержание

1 Причины возникновения выбросов
2 Методы обнаружения и борьбы с выбросами
- 2.1 Методы обнаружения выбросов
- 2.2 Алгоритмы борьбы с выбросами
3 См.также
4 Примечания

Причины возникновения выбросов

Сбой работы оборудования
Человеческий фактор
Случайность
Уникальные явления
и др.

Методы обнаружения и борьбы с выбросами

Методы обнаружения выбросов

Экстремальный анализ данных(англ. extreme value analysis). При таком анализе не применяются какие-либо специальные статистические методы. Обычно этот метод применим для одномерного случая. Алгоритм использования таков:
- Визуализировать данные, используя диаграммы и гистограммы, для нахождения экстремальных значений.
- Задействовать распределение, например Гауссовское, и найти значения, чье стандартное отклонение отличается в 2-3 раза от математического ожидания или в полтора раза от первой либо третьей квартилей.
- Отфильтровать предполагаемые выбросы из обучающей выборки и оценить работу модели.
Апроксимирующий метод (англ. proximity method). Чуть более сложный метод, заключающийся в применении кластеризующих методов.
- Использовать метод кластеризации для определения кластеров для данных.
- Идентифицировать и отметить центроиды каждого кластера.
- Соотнести кластеры с экземплярами данных, находящимися на фиксированном расстоянии или на процентном удалении от центроиды соответствующего кластера.
- Отфильтровать предполагаемые выбросы из обучающей выборки и оценить работу модели.
Проецирующие методы (англ. projections methods). Эти методы довольно быстро и просто определяют выбросы в выборке.
- Использовать один из проецирующих методов, например метод главных компонент (англ. principal component analysis, PCA) или самоорганизующиеся карты Кохонена(англ. self-organizing map, SOM) или проекцию Саммона(англ. Sammon mapping, Sammon projection), для суммирования обучающих данных в двух измерениях.
- Визуализировать отображение
- Использовать критерий близости от проецируемых значений или от вектора таблицы кодирования (англ. codebook vector) для идентифицирования выбросов.
- Отфильтровать предполагаемые выбросы из обучающей выборки и оценить работу модели.

Алгоритмы борьбы с выбросами

Локально взвешенное сглаживание(англ. LOcally WEighted Scatter plot Smoothing, LOWESS)^[1].

ВХОД: [math]X^\ell[/math] (-) обучающая выборка;
ВЫХОД: коэффиценты [math]\gamma_i, i = 1,...,\ell[/math];
________________________________________________________
1: инициализация: [math]\gamma_i := 1, i = 1,...,\ell[/math];
2: повторять
3:   для всех объектов [math]i = 1,...,\ell[/math];
4:     вычислить оценки скользящего контроля:
       [math]a_i := a_h(x_i;X^\ell\setminus{x_i}) = \frac{\sum\limits^{\ell}_{j=1,j\ne i} {y_j\gamma_j K \left ( \tfrac{\rho\left (x_i,x_j \right )}{h\left (x_i \right)} \right )}}{\sum\limits^{\ell}_{j=1,j\ne i}{\gamma_j K\left(\tfrac{\rho\left (x_i,x_j \right )}{h\left (x_i\right )}\right )} }[/math]
5:   для всех объектов [math]i = 1,...,\ell[/math];
6:     [math]\gamma_i := \widetilde{K}\left (\left | a_i-y_i \right | \right );[/math]
7: пока коэффиценты [math]\gamma_i[/math] не стабилизируются;

Пример. Допустим мы пытаемся восстановить зависимость, используя формулу Надарая-Ватсона^[2] по некоторым данным из n наблюдений, 2 из которых имеют излишне высокое и излишне низкое значения соответственно. Большие ошибки, вызванные этими выбросами, довольно заметно исказят полученный результат по формуле. В методе локально взвешенного сглаживания мы домножаем веса объектов [math]w_i[/math] на коэффиценты , значения которых тем меньше, чем величина ошибки [math]\varepsilon_i[/math]. Для этого мы возьмём квартическое ядро (не обязательно совпадающее с основным ядром) , где — медиана множества значений [math]\varepsilon_i[/math]. Таким образом выбросы будут нивелироваться автоматически при использовании данного подхода. В статистике методы, устойчивые к нарушениям модельных предположений о данных, называются робастными. Метод локально взвешенного сглаживания относится к робастным методам, так как он устойчив к наличию небольшого количества выбросов. Помимо описанного метода к робастным методам можно также отнести деревья принятия решения (англ. decision tree)^[3].

См.также

Примечания

[1]

[2]

[3]

Выброс

Содержание

Причины возникновения выбросов

Методы обнаружения и борьбы с выбросами

Методы обнаружения выбросов

Алгоритмы борьбы с выбросами

См.также

Примечания

Навигация

Персональные инструменты

Пространства имён

Варианты

Просмотры

Ещё

Поиск

Навигация

Инструменты