Изменения

Перейти к: навигация, поиск

Выброс

381 байт добавлено, 06:41, 29 ноября 2018
м
Алгоритмы борьбы с выбросами
===Алгоритмы борьбы с выбросами===
* Локально взвешенное сглаживание(англ. ''LOcally WEighted Scatter plot Smoothing'', ''LOWESS'')<ref>http://www.aliquote.org/cours/2012_biomed/biblio/Cleveland1979.pdf</ref>.
ВХОД: <math>X^\ell</math> (-) обучающая выборка;
ВЫХОД: коэффиценты <math>\gamma_i, i = 1,...,\ell</math>;
6: <math>\gamma_i := \widetilde{K}\left (\left | a_i-y_i \right | \right );</math>
7: пока коэффиценты <math>\gamma_i</math> не стабилизируются;
Пример. Допустим мы пытаемся восстановить зависимость, используя ''формулу Надарая-Ватсона'' <ref>http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_%D0%9D%D0%B0%D0%B4%D0%B0%D1%80%D0%B0%D1%8F-%D0%92%D0%B0%D1%82%D1%81%D0%BE%D0%BD%D0%B0</ref> по некоторым данным из n наблюдений, 2 из которых имеют излишне высокое и излишне низкое значения соответственно. Большие ошибки, вызванные этими выбросами, довольно заметно исказят полученный результат по формуле. В методе локально взвешенного сглаживания мы домножаем веса объектов <math>w_i</math> на коэффиценты <math>\gamma_i=\widetilde{K}\left(\varepsilon_i\right)</math>, значения которых тем меньше, чем величина ошибки <math>\varepsilon_i</math>. Для этого мы возьмём квартическое ядро (не обязательно совпадающее с основным ядром) <math>\widetilde{K}\left(\varepsilon\right)=K_Q\left(\frac{\varepsilon}{6Me\left\{\varepsilon_i\right\}}\right)</math>, где <math>Me\left \{\varepsilon_i\right \}</math> — медиана множества значений <math>\varepsilon_i</math>. Таким образом выбросы будут нивелироваться автоматически при использовании данного подхода. В статистике методы, устойчивые к нарушениям модельных предположений о данных, называются ''робастными''. Метод локально взвешенного сглаживания относится к ''робастным'' методам, так как он устойчив к наличию небольшого количества выбросов. Помимо описанного метода к ''робастным'' методам можно также отнести деревья принятия решения (англ. ''decision tree''<ref>https://ru.wikipedia.org/wiki/%D0%94%D0%B5%D1%80%D0%B5%D0%B2%D0%BE_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B9</ref>).
==См.также==
115
правок

Навигация