===Описание алгоритма===
Дано: <tex>(x_1,y_1),...,(x_m,y_m)</tex>, где <tex>x_i \in X, y_i \in Y font color= \{-1,+1\}</texgreen> Инициализируем: <tex>D_1(i) = \frac{1}{m}</tex>, для <tex>i=1,...,m</tex>, <tex>Z_t</tex> {{---}} нормализующий параметр, выбранный так, чтобы <tex>D_{t+1}</tex> являлось распределением вероятностей, то есть <tex>\sum\limits_{i-1}^{m} D_{t+1}(i) = 1</tex>, для <tex>t=1,...,T</tex>.</font> <font color=green>//<tex>x_i \in X, y_i \in Y = \{-1,+1\}, size(x) = size(y) = m</tex></font> '''Для каждогоfunction''' AdaBoost($x$, $y$, $m$): <font color=green>//Инициализируем<tex/font>t '''for''' i =1,...,Tm '''do''': <tex>D_1(i) = \frac{1}{m}</tex>: '''end''' '''for''' '''for''' t = 1. Находим классификатор .T '''do''': <tex>h_t:X\to epsilon_j = \sum\limits_{-1,+i=1}^{m} D_t(i) [y_i\}neq h_j(x_i)]</tex> который минимизирует взвешенную ошибку <font color=green>//Взвешенная ошибка классификации: </font> <tex>h_t = \arg \min\limits_{h_j \in \mathcal{H}} \epsilon_j</tex>, где <font color=green>//Классификатор <tex>h_t:X\epsilon_j = \sumto \limits_{i=-1,+1\}^{m} D_t(i) [y_i\neq h_j(x_i)]</tex></font> 2. Выбираем <tex>\alpha_t = \frac{1}{2}\ln\frac{1-\epsilon_t}{\epsilon_t}</tex>, где <tex>\epsilon_t</tex> взвешенная ошибка классификатора <tex>h_t</tex> 3. Для каждого <tex> '''for''' i=1,...,m</tex> обновляем'''do''': <tex>D_{t+1}(i) = \dfrac{D_t(i)\textrm{exp}(-\alpha_t y_i h_t(x_i))}{Z_t}</tex> Строим результирующий классификатор: '''end''' '''for''' '''end''' '''for''' <tex>H(x) = \textrm{sign}\left(\sum\limits_{t=1}^{T} \alpha_t h_t(x)\right)</tex> <font color=green>//$H(x)$ - результирующий классификатор</font> '''return''' $H$
Выражение для обновления распределения <tex>D_t</tex> должно быть сконструировано таким образом, чтобы выполнялось условие:
<center><tex>\exp^{\alpha_t y_i h_t(x_i)} \begin{cases}<1,\ y(i) = h_t(x_i) \\ >1,\ y(i) \neq h_t(x_i)\end{cases}</tex></center>
