AdaBoost вызывает слабые классификаторы в цикле <tex>t = 1,...,T</tex>. После каждого вызова обновляется распределение весов <tex>D_t</tex>, которые отвечают важности каждого из объектов обучающего множества для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах.
===Бустинг Алгоритм для двоичной классификациизадачи построения двоичного классификатора===
Пакет AdaBoost может быть использован для распознавания лиц как пример двоичной классификации. Две категории — это лица и фон. Общий алгоритм выглядит следующим образом:
# Формируем большой набор признаков# Инициализируем веса для тренировочного набора изображений# Делаем T прогонов#* Нормализуем веса#* Для доступных признаков из набора тренируем классификатор, используя один из признаков и вычисляем ошибку тренировки#* Выбираем классификатор с наименьшей ошибкой#* Обновляем веса тренировочных изображенийДано: увеличиваем<tex>(x_1, если классифицировано неверноy_1), и уменьшаем..., если верно# Формируем окончательный сильный классификатор как линейная комбинация T классификаторов (коэффициент большеx_m, если ошибка тренировки меньшеy_m)</tex>, где <tex>x_i \in X, y_i \in Y = \{-1,+1\}</tex>
После бустинга классификаторИнициализируем <tex>D_1(i) = \frac{1}{m},i=1,...,m</tex>. Для каждого <tex>t=1, построенный из $200$ признаков..., может достигать T</tex>: # Находим классификатор <tex>95h_t:X\to \%{-1,+1\}</tex> успешных распознаний при который минимизирует взвешенную ошибку классификации: <tex>10^h_t = \arg \min_{h_j \in \mathcal{-5H}}\epsilon_j</tex> ошибок положительного распознавания, где <tex>\epsilon_j = \sum\limits_{i=1}^{m} D_t(i) [15y_i\neq h_j(x_i)]</tex># Если величина <tex>\epsilon_t \geqslant 0.5</tex>, то останавливаемся.# Выбираем <tex>\alpha_t \in \mathbf{R}</tex>, обычно <tex>\alpha_t = \frac{1}{2}\mathcal{ln}\frac{1-\epsilon_t}{\epsilon_t}</tex>, где <tex>\epsilon_t</tex> взвешенная ошибка классификатора <tex>h_t</tex>
