Изменения

Перейти к: навигация, поиск

Виды ансамблей

2464 байта убрано, 14:28, 30 января 2019
Бутстрэп: Откат к предыдущей версии.
== Бутстрэп ==
Метод бутстрэпа (англ. ''bootstrap'') — один из первых и самых простых видов ансамблей, который позволяет оценивать многие статистики сложных распределений. Этот алгоритм применяется для классификации многомерных объектов. Рассматриваемый алгоритм помогает добиться качественной классификации и заключается в условиях, когда разделить объекты на группы на всем пространстве параметров не представляется возможнымследующем.  Пусть имеется выборка <tex>X</tex> размера <tex>N</tex>. Количество классификаторов <tex>M</tex> Алгоритм классификации в технологии бэггинг на подпространствах:<ul><li> Равномерно берется возьмем из выборки <tex>N</tex> объектов с возвращением. Это означает, что мы будем <tex>N</tex> раз выбирается равновероятно выбирать произвольный объект выборки (считается, что каждый объект «достается» с одинаковой вероятностью), причем каждый раз мы выбираем из всех исходных объектов. Повторяется данная процедура <tex>MN</tex> разобъектов. Отметим, получая для каждого классификатора свою выборкучто из-за возвращения среди них окажутся повторы.<libr> Производится независимое обучения каждого элементарного классификатора (каждого алгоритма, определенного на своем подпространстве).Обозначим новую выборку через <litex>X_1</tex> Производится классификация основной выборки на каждом из подпространств (также независимо).Повторяя процедуру <litex> Принимается окончательное решение о принадлежности объекта одному из классов. Это можно сделать несколькими разными способами, подробнее описано ниже.M</ultex>  Окончательное решение о принадлежности объекта классу может приниматьсяраз, например, одним из следующих методов:сгенерируем <ultex>M<li/tex> Консенсус: если все элементарные классификаторы присвоили объекту одну и ту же метку, то относим объект к выбранному классу.подвыборок <litex> Простое большинство: консенсус достижим очень редко, поэтому чаще всего используют метод простого большинстваX_1 .. Здесь объекту присваивается метка того класса, который определило для него большинство элементарных классификаторов.X_M<li/tex> Взвешивание классификаторов: если классификаторов четное количество, то голосов может получиться поровну, еще возможно, что для эксперты одна из групп параметров важна в большей степени, тогда прибегают к взвешиванию классификаторов. То есть при голосовании голос классификатора умножается на его весТеперь мы имеем достаточно большое число выборок и можем оценивать различные статистики исходного распределения. </ul>
== Бэггинг ==
Рассмотрим, следующий вид ансамбля — бэггинг (англ. ''bootstrap aggregation''). Пусть имеется обучающая выборка <tex>X</tex>. С помощью бутстрэпа сгенерируем из неё выборки <tex>X_1 ... X_M</tex>. Теперь на каждой выборке обучим свой классификатор <tex>a_i(x)</tex>. Итоговый классификатор будет усреднять ответы всех этих алгоритмов <tex>a(x) = \frac{1}{M} \sum\limits_{i = 1}^{M} a_i(x)</tex>.
68
правок

Навигация