Изменения

Перейти к: навигация, поиск

XGBoost

12 байт добавлено, 13:21, 16 марта 2019
Идея алгоритма
<tex>g_i = \frac {\partial {l(y_i,\hat{y_i}^{t-1})}}{\partial{\hat{y_i}^{t-1}}}</tex>, <tex>h_i = \frac {\partial^2 {l(y_i,\hat{y_i}^{t-1})}}{\partial^2{\hat{y_i}^{t-1}}}</tex>
Поскольку мы хотим минимизировать ошибку модели на обучающей выборки, нам нужно найти минимум <tex>\mathcal{L}^{(t)} </tex> для каждого ''t''. 
Минимум этого выражения относительно <tex>f_t(x_i)</tex> находится в точке <tex>f_t(x_i) = \frac{-g_i}{h_i}</tex>.
40
правок

Навигация