Изменения

В основе '''XGBoost''' лежит алгоритм [[Бустинг, AdaBoost|градиентного бустинга]] [[Дерево решений и случайный лес|деревьев решений]]. Идея алгоритма Градиентный бустинг — это техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания в форме ансамбля слабых предсказывающих моделей, обычно деревьев решений.Обучение ансамбля проводится последовательно в томотличие, что каждое следующе дерево предсказывает ошибку например от [[Виды_ансамблей | бэггинга]]. На каждой итерации вычисляются отклонения предсказаний уже обученного ансамбля на каждом элементе обучающей выборкивыборке. Каждое отдельное дерево обучается одним из стандартных алгоритмов используемых для обучения деревьев решенийСледующая модель, которая будет добавлена в ансамбль будет предсказывать эти отклонения. Таким образом предсказание складывается из предсказаний каждого отдельного , добавив предсказания нового дерева к предсказаниям обученного ансамблямы можем уменьшить среднее отклонение модели, что является таргетом оптимизационной задачи. Новые деревья добавляются в ансамбль до тех пор,пока ошибка уменьшается, либо пока не выполняется одно из правил "ранней остановки".