Изменения

Перейти к: навигация, поиск

CatBoost

1019 байт добавлено, 02:38, 8 ноября 2018
Нет описания правки
* Регрессия
mse - функция потерь
* Классификация
Функция потерь - максимизируем вероятность того что все объекты в обучающей выборке классифицированы правильно, вероятность - это сигмоида над значением формулы
Функция ```predict``` - выдает необработанный результат. Такой результат можно складывать, например, с результатами других моделей.
* Мультиклассификация
* Ранжирования - (объекты Ранжирование Объекты с попарной классификацией).
----
== Построение дерева ==
Процесс построения происходит жадно.  * Выбираем первую вершину, далее выбираем * Выбираем лучшее дерево с одной вершиной. Далее смотрим * Считаем скоры и выбираем лучшее дерево.// todo вставить формулу рассвета скора для сплита  Дерево строится по слоям. Гарантировано на каждом слое один и тот же сплит (условие, по которому мы делим) == Вычисление значений в листьях == Во время вычисления значений в листьях можем позволить себе сделать больше операций, так как у нас уже зафиксирована структура дерева и значения в листьях будут вычислены единожды. Поэтому можем себе позволить даже сделать несколько шагов по градиенту. 1. Метод Ньютона или шаг по градиенту2. Несколько шагов внутри одного дерева
* Медианная сетка. Задаем количество разбиений над множеством значений, далее идем по объектам в порядке сортировки и разбиваем на группы по k объектов, где k - количество объектов в одном слоте разбиения.
* UniformAndQuantiles. Комбинация 1 и 2 пунктов.
* MaxSumLog - в основе лежит точно правильная динамика, работает долго.
* GreedyLogSum - аналог MaxSumLog, однако в основе лежит жадность, поэтому работает не точно, однако быстрее чем MaxSumLog
----
Анонимный участник

Навигация