1632
правки
Изменения
м
Статья посвящена работе с библиотекой Библиотека CatBoost {{---}} методу метод машинного обучения, основанному основанный на градиентном бустинге(англ. ''gradient boosting'').
Одно дерево - хорошо, больше - лучше. Идея состоит в том, чтобы каждое следующее дерево училось на предыдущем, уменьшая ошибку. Итого при достаточно большом количестве деревьев мы сможем сильно уменьшить ошибку, однако не стоит забывать, что чем больше деревьев, тем дольше обучается модель и в какой-то момент прирост качества становится незначительным.
* Регрессия * Классификация Функция потерь - максимизируем вероятность того что все объекты в обучающей выборке классифицированы правильно, вероятность - это сигмоида над значением формулыФункция ```predict_proba``` - на вхоже получаем готовый вероятности. Нужно отметить, что складывать их уже нельзя.Функция ```predict``` - выдает необработанный результат. Такой результат можно складывать, например, с результатами других моделей.* Мультиклассификация * Ранжирование Объекты с попарной классификацией== Особенности CatBoost ==
* Метод Ньютона или шаг по градиенту* Несколько шагов внутри одного дерева=== Как выбрать лучшее дерево? ===
== Как выбрать лучшее Смотрим, на сколько меняется функция ошибки, выбираем такое дерево? ==, чтобы оно как можно лучше приближало вектор градиентов.
Смотрим на сколько меняется функция ошибки, выбираем такое дерево, чтобы оно как можно лучше приближало вектор градиентов. === Как работает градиентный бустинг? ===
== Рандомизация скора == Отметим, что бутстрап используется только для выбора структуры дерева, для подсчета значения в листьях используем всю выборку. Это сделано, так как выбор структуры дерева происходит долго, нужно несколько раз пересчитывать значения, поэтому использовать всю выборку слишком дорого. Однако значения в листьях с уже готовой структурой дерева считаются один раз, и для большей точности можно позволить использовать весь датасет.
Есть рандомизация скора. ''Score += random_strength * Rand (0, lenofgrad * q)'' == Бинаризация признаков ===
''q'' - множитель, уменьшающийся при увеличении итерации. Таким образом, рандом уменьшается ближе к концу. == Бинаризация фичей == Пробовать все {{--- }} долго. Поэтому выбираем сетку заранее и ходим по ней.
Ниже описаны гиперпараметры(англ. ''hyperparameters''), на который которые стоит обратить внимание при использовании библиотеки. * cat_features;* Overfitting detector;* Число итераций и learning rate;* L2_reg;* Random_srength;* Bagging_temp;* Глубина дерева (стоит попробовать 10 и 6).
* Делим данные на тренировочное и тестовое множество '''from''' sklearn.model_selection '''import''' train_test_split X_train, X_validation, y_train, y_validation = train_test_split(X, y, '''train_size'''=0.5, '''random_state'''=1234) '''print'''(X_train.shape, X_validation.shape)
* Создаем классификатор '''from ''' catboost '''import ''' CatBoostClassifier
* Обучаемся
* Вывод числа деревьев в модели '''print '''('Resulting tree count:', best_model.tree_count_) > '''Resulting tree count: 217'''
* Выводим результат
rollbackEdits.php mass rollback
Практически любой современный метод на основе градиентного бустинга работает с числамичисловыми признаками. Если у нас в наборе данных присутствуют не только числовые, но и категориальные признаки (англ. ''categorical features''), то необходимо переводить категориальные признаки в числовые. Это приводит к искажению их сути и потенциальному снижению точности работы модели.Именно поэтому было важно научить машину разработать алгоритм, который умеет работать не только с числамичисловыми признаками, но и с категориями категориальными напрямую, закономерности между которыми она этот алгоритм будет выявлять самостоятельно, без ручной «помощи».CatBoost разработан так{{---}} библиотека для градиентного бустинга, главным преимуществом которой является то, чтобы что она одинаково хорошо работать работает «из коробки» как с числовыми признаками, так и с категориальными. Программное обеспечение разработано по методологии SCRUM.
Документацию по CatBoost можно найти здесь: на сайте<ref>[https://tech.yandex.com/catboost/doc/dg/concepts/about-docpage/Документация CatBoost]</ref>.
----
== Общий принцип работы ==
=== Дерево решений ===
Алгоритм работы следующий: для каждого документа имеется набор значений фичейпризнаков, имеется дерево, в вершинах которого дерева {{---}} условия при выполнении которых мы идем . Если условие выполнено, осуществляется переход в правого ребенка вершины, иначе в левого. Очень просто для конкретно ребенка Нужно пройти до листа по дереву в соответствии со значениям фич значениями признаков для документа. На выходе каждому документу соответствует значение листа. Это и есть ответ.
=== Бустинг ===
Идея бустинг-подхода заключается в комбинации слабых (с невысокой обобщающей способностью) функций, которые строятся в ходе итеративного процесса, где на каждом шаге новая модель обучается с использованием данных об ошибках предыдущих. Результирующая функция представляет собой линейную комбинацию базовых, слабых моделей. Более подробно можно посмотреть в статье про градиентный бустинг<ref>[https://en.wikipedia.org/wiki/Gradient_boosting |Gradient Boosting, Wikipedia]</ref>. Далее будет рассматриваться бустинг деревьев решений. Будем строить несколько деревьев, чтобы добавление новых деревьев уменьшало ошибку. Итого при достаточно большом количестве деревьев мы сможем сильно уменьшить ошибку, однако не стоит забывать, что чем больше деревьев, тем дольше обучается модель и в какой-то момент прирост качества становится незначительным. === Градиентный бустинг ===
* В основе CatBoost лежит градиентный бустинг.
* Градиент функции ошибки {{- --}} все производные по всем значениям функции Будем минимизировать ошибку опираясь на градиентГрадиентный бустинг {{---}} метод машинного обучения, который создает решающую модель прогнозирования в виде ансамбля слабых моделей прогнозирования, обычно деревьев решений. Он строит модель поэтапно, позволяя оптимизировать произвольную дифференцируемую функцию потерь.== Режимы работы ==
== Оптимизируемые функции = Режимы работы ===
* Регрессия (англ. ''regression''); * Классификация (англ. ''classification''); Функция потерь (англ. ''loss function'') {{---}} максимизируем вероятность того, что все объекты в обучающей выборке классифицированы правильно, вероятность - это сигмоида над значением формулы. Поддерживает много оптимизируетмых функцийФункция ''predict_proba'' {{---}} на выходе получаем готовые вероятности. Нужно отметить, что складывать их уже нельзя. Функция ''predict'' {{---}} выдает необработанный результат. Такой результат можно складывать, например, с результатами других моделей.* Мультиклассификация (англ. ''multiclass classification'');* Ранжирование (англ. Для конкретной модели выбирается одна оптимизируемая функция''ranking'').Объекты с попарной классификацией (??)
=== Метрики ===
Поддерживает множество [[Оценка_качества_в_задачах_классификации_и_регрессии|метрик]]<sup>[на 28.01.19 не создан]</sup> (англ. ''metrics''), таких как :* Регрессия: ''MAE, MAPE, RMSE, SMAPE'' etc.;* Классификация: ''Logloss , Precision, Recall, F1, CrossEntropy, BalancedAccuracy'' etc.;* Мультиклассификация: ''MultiClass, MultiClassOneVsAll, HammingLoss, F1'' etc.;
* Ранжирование: ''NDCG, PrecisionAt, RecallAt, PFound, PairLogit'' etc.
== Обучение ===== Шаги обучения ===
* Строим дерево;* Считаем значение в листьях.
=== Построение дерева ===
Процесс построения происходит жадно.
* Выбираем первую вершину;* Выбираем лучшее дерево с одной вершиной. ; * Считаем скоры метрику и по ней выбираем лучшее дерево. // todo вставить формулу рассвета скора для сплита
Дерево строится по слоям. Гарантировано на каждом слое один и тот же сплит (условие, по которому мы делим).
=== Вычисление значений в листьях === Во время вычисления значений в листьях можем позволить себе сделать больше операций, так как у нас уже зафиксирована структура дерева и значения в листьях будут вычислены единожды. Поэтому можем себе позволить даже сделать несколько шагов по градиентуили применить метод Ньютона.
Отметим, что существует идеальный шаг по градиенту, однако листьев в дереве меньше, чем документов в датасете.
Поэтому мы можем пытаться приближать тот самый идеальный шаг.
Чтобы найти лучший сплит, проверяем похожесть после одного шага алгоритма по градиенту . === Рандомизация === Есть рандомизация метрики, по которой выбирается лучшее дерево. ''Score += random_strength * Rand (0, lenofgrad * q)'' ''q'' {{- это скор--}} множитель, уменьшающийся при увеличении итерации. Таким образом, рандом уменьшается ближе к концу.
----
== Работа с датасетом ==
=== Режимов выборки данных ===
CatBoost поддерживает несколько режимов выборки данных
* Бутстрап (англ. ''bootstrap'') Бернулли {{--- }} выбираем документ с вероятностью ''p''. Регулируется параметром ''sample_rate'';* Байесовский бутстрап {{--- }} байесовское распределение. Регулируется параметром ''bagging_temp'' Отметим, что бутстрап используется только для выбора структуры дерева, для подсчета значения в листьях используем всю выборку. Это сделано так как выбор структуры дерева происходит долго, нужно несколько раз пересчитывать значения, поэтому использовать всю выборку - слишком дорого. Однако значения в листьях с уже готовой структурой дерева считаются один раз, и для большей точности можно позволить использовать весь датасет.
Есть несколько способов выбора:
* Uniform. Равномерно разбиваем отрезок от минимума значения для данной фичи данного признака до максимума.;* Медианная сетка. Задаем количество разбиений над множеством значений, далее идем по объектам в порядке сортировки и разбиваем на группы по k объектов, где k {{--- }} количество объектов в одном слоте разбиения.;* UniformAndQuantiles. Комбинация 1 и 2 пунктов.;* MaxSumLog {{--- }} в основе лежит точно правильная динамика, работает долго.;* GreedyLogSum {{--- }} аналог MaxSumLog, однако в основе лежит жадностьиспользуется жадный алгоритм, поэтому работает не точно, однако быстрее чем MaxSumLog.
=== Работа с категориальными фичами признаками ===
* LabelEncoding {{- работает плохо--}} на реальных примерах точность работы низкая, так как появляется отношения порядка между объектами.;* One-hot encoding {{--- работает}} дает неплохую точность, если различных значений фичи признаков не много. Иначе одна фича один признак размножится на множество фичей признаков и будет влиять на модель заведомо сильнее остальных фичейпризнаков.
Лучше не делать препроцессинг самим, из-за проблем, описанных выше. В CatBoost можно задать параметр cat_features, передав туда индексы категориальных фичейпризнаков. Также можно отрегулировать параметр ''one_hot_max_size'' {{--- }} максимальное количество различных значений у категориальной фичикатегориального признака, чтобы она могла он мог в последствии быть подвержена подвержен one-hot encoding.
== Подбор параметров ==
== Полезная функциональность ==
* Snapshots;* Overfitting detector;* CV;* eval_metrics.
== Бенчмрки Бенчмарки ==
Сравнение библиотеки CatBoost с открытыми аналогами XGBoost, LightGBM и H20 на наборе публичных датасетов. Результаты - <ref>[https://catboost.yandex/#benchmark| Benchmarks]</ref>.
== Пример использования ==
best_model = CatBoostClassifier(
'''bagging_temperature'''=1, '''random_strength'''=1, '''thread_count'''=3, '''iterations'''=500, '''l2_leaf_reg ''' = 4.0, '''learning_rate ''' = 0.07521709965938336, '''save_snapshot'''=True, '''snapshot_file'''='snapshot_best.bkp', '''random_seed'''=63, '''od_type'''='Iter', '''od_wait'''=20, '''custom_loss'''=['AUC', 'Accuracy'], '''use_best_model'''=True
)
best_model.fit(
X_train, y_train,
'''cat_features'''=cat_features, '''eval_set'''=(X_validation, y_validation), '''logging_level'''='Silent', '''plot'''=True
)
* Используем кросс валидациюскользящий контроль (англ. cross validation) '''from ''' catboost '''import ''' cv
params = best_model.get_params()
params['custom_loss'] = 'AUC'
del params['use_best_model']
pool1 = Pool(X, '''label'''=y, '''cat_features'''=cat_features)
cv_data = cv(
'''params ''' = params, '''pool ''' = pool1, '''fold_count'''=2, '''inverted'''=False, '''shuffle'''=True, '''stratified'''=False, '''partition_random_seed'''=0
)
best_value = np.max(cv_data['AUC_test_avg'])
best_iter = np.argmax(cv_data['AUC_test_avg'])
'''print '''('Best validation AUC score: {:.2f}±{:.2f} on step {}'.format(
best_value,
cv_data['AUC_test_stddev'][best_iter],
))
> '''Best validation AUC score: 0.91±0.00 on step 9''' ''Больше примеров<ref>[https://tech.yandex.com/catboost/doc/dg/concepts/python-usages-examples-docpage Примеры ипользования CatBoost]</ref> можно найти на сайте библиотеки''. ==См. также==*[[:Дерево_решений_и_случайный_леc|Дерево решений и случайный леc]]<sup>[на 28.01.19 не создан]</sup>*[[:Бустинг,_AdaBoost|Бустинг, AdaBoost]] ==Примечания==<references/> == Источники информации ==* [https://tech.yandex.com/catboost/doc/dg/concepts/about-docpage/| Overview of CatBoost]* [https://en.wikipedia.org/wiki/Gradient_boosting| Gradient Boosting, WIkipedia][[Категория: Машинное обучение]][[Категория: Ансамбли]]
