Изменения

Перейти к: навигация, поиск

Бустинг, AdaBoost

106 байт убрано, 15:27, 22 января 2019
Алгоритм для задачи построения двоичного классификатора
1. Находим классификатор <tex>h_t:X\to \{-1,+1\}</tex> который минимизирует взвешенную ошибку классификации: <tex>h_t = \arg \min_{h_j \in \mathcal{H}} \epsilon_j</tex>, где <tex>\epsilon_j =
\sum\limits_{i=1}^{m} D_t(i) [y_i\neq h_j(x_i)]</tex>
2. Если величина <tex>\epsilon_t \geqslant 0.5</tex>, то останавливаемся. 3. Выбираем <tex>\alpha_t = \frac{1}{2}\ln\frac{1-\epsilon_t}{\epsilon_t}</tex>, где <tex>\epsilon_t</tex> взвешенная ошибка классификатора <tex>h_t</tex> 43. Для каждого <tex>i=1,...,m</tex> обновляем:
<tex>D_{t+1}(i) = \frac{D_t(i)\exp^{-\alpha_t y_i h_t(x_i)}}{Z_t}</tex>, где <tex>Z_t</tex> является нормализующим параметром (выбранным так, чтобы <tex>D_{t+1}</tex> являлось распределением вероятностей, то есть <tex>\sum\limits_{i-1}^{m} D_{t+1}(i) = 1</tex>).
Строим результирующий классификатор:
64
правки

Навигация