Изменения

Перейти к: навигация, поиск

Бустинг, AdaBoost

1352 байта убрано, 21 январь
Алгоритмы бустинга
Большинство алгоритмов бустинга состоит из итеративного обучения слабых классификаторов с целью сборки их в сильный классификатор. Когда они добавляются, им обычно приписываются некоторым образом веса, которые, обычно, связаны с [[Общие понятия|точностью обучения]]<sup>[на 18.01.19 не создан]</sup>. После того, как слабый классификатор добавлен, веса пересчитываются, что известно как '''«пересчёт весовых коэффициентов»'''. Неверно классифицированные входные данные получают больший вес, а правильно классифицированные экземпляры теряют вес. Тем самым последующее слабое обучение фокусируется больше на примерах, где предыдущие слабые обучения дали ошибочную классификацию.
Исходные алгоритмы, предложенные Робертом Шапире ('''рекурсивное доминирование''', англ. ''recursive majority gate formulation'') и Йоавом Фройндом (бустинг по доминированию), не были адаптивными и не могли дать полного преимущества слабых обучений. Шапире и Фройнд затем разработали '''AdaBoost''' (сокр. ''Adaptive Boosting'') {{---}} адаптивный алгоритм бустинга. Только алгоритмы, для которых можно доказать, что они являются алгоритмами бустинга в формулировке приближённо правильного обучения, могут быть точно названы алгоритмами бустинга. Другие алгоритмы, близкие по духу алгоритмам бустинга, иногда называются '''«алгоритмами максимального использования»''' (англ. ''leveraging algorythms''), хотя они иногда также неверно называются алгоритмами бустинга. Основное расхождение между многими алгоритмами бустинга заключается в методах определения весовых коэффициентов точек [[Общие понятия|тренировочных данных]]<sup>[на 18.01.19 не создан]</sup> и гипотез. Алгоритм Первым алгоритмом, который смог адаптироваться к слабому обучению был '''AdaBoost''' очень популярен (сокр. ''Adaptive Boosting''), предложенный Шапире и исторически наиболее знаменателен, так как он был первым алгоритмом, который смог адаптироваться к слабому обучениюФройндом.
Алгоритмы бустинга могут основываться на выпуклых или невыпуклых алгоритмах оптимизации. Выпуклые алгоритмы, такие как AdaBoost и LogitBoost<ref>[https://en.wikipedia.org/wiki/LogitBoost Wikipedia {{---}} LogitBoost]</ref>, могут «потерпеть крушение» из-за случайного шума, так как не могут обучить базовым и поддающимся научению комбинациям слабых гипотез. Алгоритмы бустинга, основанные на невыпуклой оптимизации, такие как BrownBoost<ref>[https://ru.wikipedia.org/wiki/BrownBoost Википедия {{---}} BrownBoost]</ref>, могут быть обучены из данных с шумами и лежащий в основе классификатор Лонг–Серведио<ref>[http://phillong.info/publications/LS10_potential.pdf Philip M. Long, Rocco A. Servedio {{---}} Random Classification Noise Defeats All Convex Potential Boosters]</ref> для набора данных может быть обучен.
64
правки

Навигация