Изменения

Перейти к: навигация, поиск

Выброс

2105 байт добавлено, 05:56, 29 ноября 2018
м
Алгоритмы борьбы с выбросами
===Алгоритмы борьбы с выбросами===
# * Локально взвешенное сглаживание(англ. ''LOcally WEighted Scatter plot Smoothing'', ''LOWESS''). ВХОД: <math>X^\ell</math> (--- ) обучающая выборка;
ВЫХОД: коэффиценты <math>\gamma_i, i = 1,...,\ell</math>;
________________________________________________________
6: <math>\gamma_i := \widetilde{K}\left (\left | a_i-y_i \right | \right );</math>
7: пока коэффиценты <math>\gamma_i</math> не стабилизируются;
Пример. Допустим мы пытаемся восстановить зависимость, используя формулу Надарая-Ватсона по некоторым данным из n наблюдений, 2 из которых имеют излишне высокое и излишне низкое значения соответственно. Большие ошибки, вызванные этими выбросами, довольно заметно исказят полученный результат по формуле. В методе локально взвешенного сглаживания мы домножаем веса объектов <math>w_i</math> на коэффиценты <math>\gamma_i=\widetilde{K}\left(\varepsilon_i\right)</math>, значения которых тем меньше, чем величина ошибки <math>\varepsilon_i</math>. Для этого мы возьмём квартическое ядро (не обязательно совпадающее с основным ядром) <math>\widetilde{K}\left(\varepsilon\right)=K_Q\left(\frac{\varepsilon}{6Me{\varepsilon_i}}</math>, где <math>Me{\varepsilon_i}</math> (-) медиана множества значений <math>\varepsilon_i</math>.
Таким образом выбросы будут нивелироваться автоматически при использовании данного подхода. В статистике методы, устойчивые к нарушениям модельных предположений о данных, называются ''робастными''. Метод локально взвешенного сглаживания относится к робастным методам, так как он устойчив к наличию небольшого количества выбросов. Помимо описанного метода к робастным методам можно также отнести деревья принятия решения (англ. ''decision tree'').
==См.также==
115
правок

Навигация