Изменения

Рассмотрим задачу классификации на <tex> K </tex> классов: <tex>Y = \{1, 2, ..., K\}</tex> . <br>Пусть имеется <tex> M классификатор </tex> классификаторов ("экспертов"): <tex> f_1, f_2, ..., f_M </tex> . <br> <tex> f_m : X \leftarrow rightarrow Y, f_m \in F, m = (1 ... M) </tex> . <br>

Простое голосование: <tex> f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M I(f_i(x) = k) </tex> . <br>Взвешенное голосование: <tex> f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M \alpha_i I(f_i(x) = k), \sum \limits_i \alpha_i = 1, \alpha_i > 0</tex>. <br>Где <tex> \begin{equation*}I(x) = \begin{cases} 1 &\text{x = true}\\ 0 &\text{x = false} \end{cases}\end{equation*}</tex>

Если каждый член жюри присяжных имеет независимое мнение, и если вероятность правильного решения члена жюри больше 0.5, то тогда вероятность правильного решения присяжных в целом возрастает с увеличением количества членов жюри, и стремиться стремится к единице. <br>

Пусть <tex>M</tex> - — количество присяжныйприсяжных, <tex>p</tex> - — вероятность правильного решения одного эксперта, <tex>R</tex> - — вероятность правильного решения всего жюри,<tex>m</tex> - — минимальное большинство членов жюри <tex> = \lfloor \frac N 2 \rfloor + 1 </tex>.

[[Файл:Виды_Ансамблей_1.png]][[Файл:Виды_Ансамблей_2.png|none|400px|thumb|Вероятность правильного решения всего жюри (R) в зависимости от вероятности правильного решения одного эксперта (p) при разном количестве экспертов(M)]]

Пусть имеется выборка <tex>X</tex> размера <tex>N</tex>. Количество классификаторов <tex>M</tex>.

Для алгоритма нам понадобится Алгоритм использует метод бутстрэпа (англ. ''bootstrap''):

Равномерно возьмем из выборки <tex>Из всего множества объектов равновероятно выберем N</tex> объектов с возвращением. Это означаетзначит, что после выбора каждого из объектов мы будем <tex>N</tex> раз равновероятно выбирать произвольный объект выборки, причем каждый раз мы выбираем из всех исходных <tex>N</tex> объектоввозращать его в множество для выбора. Отметим, что из-за возвращения среди них окажутся повторынекоторые объекты могут повторяться в выбранном множестве. <br> Обозначим новую выборку через <tex>X_1</tex>. Повторяя процедуру <tex>M</tex> раз, сгенерируем <tex>M</tex> подвыборок <tex>X_1 ... X_M</tex>. Теперь мы имеем достаточно большое число выборок и можем оценивать различные статистики исходного распределения.

Алгоритм классификации в технологии Шаги алгоритма бэггинг на подпространствах:

<li> Взвешивание классификаторов: если классификаторов четное количество, то голосов может получиться поровну, еще возможно, что для эксперты экспертов одна из групп параметров важна в большей степени, тогда прибегают к взвешиванию классификаторов. То есть при голосовании голос классификатора умножается на его вес.

[[Файл:Виды_ансамблей_БэггингВиды_ансамблей_Бэггинг_рус.png|none|800px]] 

Построим теперь новую функцию регрессии, которая будет усреднять усредняющую ответы уже построенных нами функций:

Таким образом, усреднение ответов позволило уменьшить средний квадрат ошибки в <tex>n</tex> раз.

[[Бустинг , AdaBoost|'''Бустинг''']] (англ. boosting — улучшение) — это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов. Бустинг представляет собой жадный алгоритм построения композиции алгоритмов. Пусть <tex>h(x, a)</tex> — базовый классификатор, где <tex>a</tex> — вектор параметров. Задача состоит в том, чтоб найти такой алгоритм <tex>H_T(x) = \sum_{t=1}^T b_t h(x, a),</tex> где <tex>b_t \in \mathbb{R}</tex> — коэффиценты, такие, чтобы минимизировать эмпирический риск <tex>Q = \sum_i L(H_T(x_i), y_i) \rightarrow min</tex>, где <tex>L(H_T(x_i), y_i)</tex> — функция потерь. Очевидно, что сложно найти сразу <tex>\{(a_t, b_t)\}_{t=1}^T.</tex> Основная идея в том, чтоб найти решение пошагово <tex>H_t(x) = H_{t — 1}(x) + b_t h(x, a_t)</tex>. Таким образом мы сможем постепенно оценивать изменение эмпирического риска <tex>Q^{(t)} = \sum_{i = 1}^l L(H_t(x_i), y_i) </tex>.

=== Алгоритмы бустинга: <ul><li>[[Бустинг, AdaBoost ===|AdaBoost]] — адаптивный алгоритм бустинга, усиливающий классификаторы, объединяя их в «комитет». Чувствителен к шуму.<li>BrownBoost — алгоритм бустинга, эффективный на зашумленных наборах данных<li>GradientBoost — алгоритм бустинга, использующий идеи линейной регресии<li>LogitBoost — алгоритм бустинга, использующий идеи логистической регресси</ul>

Алгоритм AdaBoost (сокр. от adaptive boosting) — алгоритм машинного обучения, предложенный Йоавом Фройндом (Yoav Freund) == Реализации и Робертом Шапиром (Robert Schapire). Является мета-алгоритмом, в процессе обучения строит композицию из базовых алгоритмов обучения для улучшения их эффективности. AdaBoost является алгоритмом адаптивного применения бустинга в том смысле, что каждый следующий классификатор строится по объектам, которые плохо классифицируются предыдущими классификаторами. ==

'''Недостатки'''<ul><li> Оба алгоритма используют N базовых классификаторов <ul> <li> Бустинг использует последовательное обучение </li> <li> Бэггинг использует параллельное обучение </li> </ul></li><li> AdaBoost склонен к переобучению при наличии значительного уровня шума в Оба генерируют несколько наборов данных. Экспоненциальная функция потерь слишком сильно увеличивает для обучения путем случайной выборки <ul> <li> Бустинг определяет вес данных, чтоб утяжелить тяжелые случаи </li> <li> Бэггинг имеет невзвешенные данные </li> </ul></li><li> Оба принимают окончательное решение, усредняя N классификаторов <ul> <li> В бустинге определяются веса наиболее трудных объектов, на которых ошибаются многие базовые алгоритмы. Однако именно эти объекты чаще всего оказываются шумовыми выбросами. для них </li> <li> В результате AdaBoost начинает настраиваться на шум, что ведёт к переобучению. Проблема решается путём удаления выбросов или применения менее агрессивных функций потерь.бэггинге они равнозначны </li> </ul></li> AdaBoost требует достаточно длинных обучающих выборок. Другие методы линейной коррекции, в частности, бэггинг, способны строить алгоритмы сопоставимого качества по меньшим выборкам данных.<li>Жадная стратегия последовательного добавления приводит к построению неоптимального набора базовых алгоритмов. Для улучшения композиции можно периодически возвращаться к ранее построенным алгоритмам Оба уменьшают дисперсию и обучать их заново. Для улучшения коэффициентов можно оптимизировать их ещё раз по окончании процесса бустинга с помощью какого-нибудь стандартного метода построения линейной разделяющей поверхности. Рекомендуется использовать для этой цели SVM (машины опорных векторов).обеспечивают более высокую стабильность <ul> <li> Бэггинг может решить проблему переобучения </li> <li>Бустинг пытается уменьшить смещение, но может приводить к построению громоздких композиций, состоящих из сотен алгоритмов. Такие композиции исключают возможность содержательной интерпретации, требуют больших объёмов памяти для хранения базовых алгоритмов и существенных затрат времени на вычисление классификаций.увеличить проблему переобучения </li> </ul></li> </ul>

<font color="green">#Считаем данные The Boston Housing Dataset<ref>[http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html The Boston Housing Dataset]</ref> </font>

<font color="green">#Проверим данные</font>

<font color="green"># Создадим словарь для слов 'no', 'yes'</font>

<font color="green"># Разделим множество на два</font>

<font color="green"># Импорты классификаторов</font>

<font color="green"># Инициализуруем классификаторы</font>

<font color="green">#Результат</font>

<font color="green"># Результат</font>

* https[[Категория://www.cs.toronto.edu/~delve/data/boston/bostonDetail.htmlМашинное обучение]][[Категория: Ансамбли]]