CatBoost - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:29:56Z

rollbackEdits.php mass rollback

80.82.78.13 в 04:42, 1 сентября 2022

2022-09-01T04:42:13Z

84.47.152.2: Дополнение

2021-05-21T06:50:39Z

Дополнение

GarikCarrot: /* Источники информации */

2019-04-03T21:22:33Z

‎Источники информации

Dariyakovleva в 19:09, 30 января 2019

2019-01-30T19:09:18Z

Dariyakovleva в 19:08, 30 января 2019

2019-01-30T19:08:39Z

Alexey Katsman: /* См. также */

2019-01-28T14:38:47Z

‎См. также

Alexey Katsman: /* Метрики */

2019-01-28T14:38:32Z

‎Метрики

Rugpanov: Fix link

2018-12-04T13:04:01Z

Fix link

Evaleria: /* Пример использования */

2018-12-02T12:39:37Z

‎Пример использования

← Предыдущая		Версия 16:29, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	Библиотека CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').		Библиотека CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').

← Предыдущая		Версия 04:42, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	Библиотека CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').		Библиотека CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').

@@ Строка 4: / Строка 4: @@
 Практически любой современный метод на основе градиентного бустинга работает с числовыми признаками. Если у нас в наборе данных присутствуют не только числовые, но и категориальные признаки (англ. ''categorical features''), то необходимо переводить категориальные признаки в числовые. Это приводит к искажению их сути и потенциальному снижению точности работы модели.
 Именно поэтому было важно разработать алгоритм, который умеет работать не только с числовыми признаками, но и с категориальными напрямую, закономерности между которыми этот алгоритм будет выявлять самостоятельно, без ручной «помощи».
-CatBoost {{---}} библиотека для градиентного бустинга, главным преимуществом которой является то, что она одинаково хорошо работает «из коробки» как с числовыми признаками, так и с категориальными.
+CatBoost {{---}} библиотека для градиентного бустинга, главным преимуществом которой является то, что она одинаково хорошо работает «из коробки» как с числовыми признаками, так и с категориальными. Программное обеспечение разработано по методологии SCRUM.
 Документацию по CatBoost можно найти на сайте<ref>[https://tech.yandex.com/catboost/doc/dg/concepts/about-docpage/ Документация CatBoost]</ref>.

← Предыдущая		Версия 21:22, 3 апреля 2019
Строка 229:		Строка 229:
	* [https://en.wikipedia.org/wiki/Gradient_boosting\| Gradient Boosting, WIkipedia]		* [https://en.wikipedia.org/wiki/Gradient_boosting\| Gradient Boosting, WIkipedia]
	[[Категория: Машинное обучение]]		[[Категория: Машинное обучение]]
		+	[[Категория: Ансамбли]]

← Предыдущая		Версия 19:09, 30 января 2019
Строка 1:		Строка 1:
−	~~Библиотекой~~ CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').	+	Библиотека CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').

@@ Строка 1: / Строка 1: @@
-Статья посвящена работе с библиотекой CatBoost {{---}} методу машинного обучения, основанному на градиентном бустинге (англ. ''gradient boosting'').
+Библиотекой CatBoost {{---}} метод машинного обучения, основанный на градиентном бустинге (англ. ''gradient boosting'').
@@ Строка 34: / Строка 34: @@
 === Режимы работы ===
-* Регрессия (англ. ''regression'')
+* Регрессия (англ. ''regression'');
-* Классификация (англ. ''classification'')
+* Классификация (англ. ''classification'');
   Функция потерь (англ. ''loss function'') {{---}} максимизируем вероятность того, что все объекты в обучающей выборке классифицированы правильно, вероятность - это сигмоида над значением формулы.
   Функция ''predict_proba'' {{---}} на выходе получаем готовые вероятности. Нужно отметить, что складывать их уже нельзя.
   Функция ''predict'' {{---}} выдает необработанный результат. Такой результат можно складывать, например, с результатами других моделей.
-* Мультиклассификация (англ. ''multiclass classification'')
+* Мультиклассификация (англ. ''multiclass classification'');
-* Ранжирование (англ. ''ranking'')
+* Ранжирование (англ. ''ranking'').
-Объекты с попарной классификацией
+Объекты с попарной классификацией (??)
 === Метрики ===
-Поддерживает множество [[Оценка_качества_в_задачах_классификации_и_регресси|метрик]]<sup>[на 28.01.19 не создан]</sup> (англ. ''metrics''), таких как:
+Поддерживает множество [[Оценка_качества_в_задачах_классификации_и_регрессии|метрик]]<sup>[на 28.01.19 не создан]</sup> (англ. ''metrics''), таких как:
-* Регрессия: ''MAE, MAPE, RMSE, SMAPE'' etc.
+* Регрессия: ''MAE, MAPE, RMSE, SMAPE'' etc.;
-* Классификация: ''Logloss , Precision, Recall, F1, CrossEntropy, BalancedAccuracy'' etc.
+* Классификация: ''Logloss , Precision, Recall, F1, CrossEntropy, BalancedAccuracy'' etc.;
-* Мультиклассификация: ''MultiClass, MultiClassOneVsAll, HammingLoss, F1'' etc.
+* Мультиклассификация: ''MultiClass, MultiClassOneVsAll, HammingLoss, F1'' etc.;
 * Ранжирование: ''NDCG, PrecisionAt, RecallAt, PFound, PairLogit'' etc.
@@ Строка 54: / Строка 54: @@
 === Шаги обучения ===
-* Строим дерево
+* Строим дерево;
-* Считаем значение в листьях
+* Считаем значение в листьях.
 === Построение дерева ===
@@ Строка 61: / Строка 61: @@
 Процесс построения происходит жадно.
-* Выбираем первую вершину
+* Выбираем первую вершину;
-* Выбираем лучшее дерево с одной вершиной.
+* Выбираем лучшее дерево с одной вершиной;
 * Считаем метрику и по ней выбираем лучшее дерево.
-Дерево строится по слоям. Гарантировано на каждом слое один и тот же сплит (условие, по которому мы делим).
+Дерево строится по слоям. Гарантировано на каждом слое один и тот же сплит (условие по которому мы делим).
 === Вычисление значений в листьях ===
@@ Строка 96: / Строка 96: @@
 CatBoost поддерживает несколько режимов выборки данных
-* Бутстрап (англ. ''bootstrap'') Бернулли {{---}} выбираем документ с вероятностью ''p''. Регулируется параметром ''sample_rate''
+* Бутстрап (англ. ''bootstrap'') Бернулли {{---}} выбираем документ с вероятностью ''p''. Регулируется параметром ''sample_rate'';
-* Байесовский бутстрап {{---}} байесовское распределение. Регулируется параметром ''bagging_temp''
+* Байесовский бутстрап {{---}} байесовское распределение. Регулируется параметром ''bagging_temp''.
-  Отметим, что бутстрап используется только для выбора структуры дерева, для подсчета значения в листьях используем всю выборку. Это сделано, так как выбор структуры дерева происходит долго, нужно несколько раз пересчитывать значения, поэтому использовать всю выборку {{---}} слишком дорого. Однако значения в листьях с уже готовой структурой дерева считаются один раз, и для большей точности можно позволить использовать весь датасет.
+  Отметим, что бутстрап используется только для выбора структуры дерева, для подсчета значения в листьях используем всю выборку. Это сделано, так как выбор структуры дерева происходит долго, нужно несколько раз пересчитывать значения, поэтому использовать всю выборку слишком дорого. Однако значения в листьях с уже готовой структурой дерева считаются один раз, и для большей точности можно позволить использовать весь датасет.
 === Бинаризация признаков ===
@@ Строка 107: / Строка 107: @@
 Есть несколько способов выбора:
-* Uniform. Равномерно разбиваем отрезок от минимума значения для данного признака до максимума.
+* Uniform. Равномерно разбиваем отрезок от минимума значения для данного признака до максимума;
-* Медианная сетка. Задаем количество разбиений над множеством значений, далее идем по объектам в порядке сортировки и разбиваем на группы по k объектов, где k {{---}} количество объектов в одном слоте разбиения.
+* Медианная сетка. Задаем количество разбиений над множеством значений, далее идем по объектам в порядке сортировки и разбиваем на группы по k объектов, где k {{---}} количество объектов в одном слоте разбиения;
-* UniformAndQuantiles. Комбинация 1 и 2 пунктов.
+* UniformAndQuantiles. Комбинация 1 и 2 пунктов;
-* MaxSumLog {{---}} в основе лежит динамика, работает долго.
+* MaxSumLog {{---}} в основе лежит динамика, работает долго;
-* GreedyLogSum {{---}} аналог MaxSumLog, используется жадный алгоритм, поэтому работает не точно, однако быстрее чем MaxSumLog
+* GreedyLogSum {{---}} аналог MaxSumLog, используется жадный алгоритм, поэтому работает не точно, однако быстрее чем MaxSumLog.
 === Работа с категориальными признаками ===
-* LabelEncoding {{---}} на реальных примерах точность работы низкая, так как появляется отношения порядка между объектами.
+* LabelEncoding {{---}} на реальных примерах точность работы низкая, так как появляется отношения порядка между объектами;
 * One-hot encoding {{---}} дает неплохую точность, если различных значений признаков не много. Иначе один признак размножится на множество признаков и будет влиять на модель заведомо сильнее остальных признаков.
-  Лучше не делать препроцессинг самим, из-за проблем, описанных выше. В CatBoost можно задать параметр cat_features, передав туда индексы категориальных признаков. Также можно отрегулировать параметр ''one_hot_max_size'' {{---}} максимальное количество различных значений у категориального признака, чтобы он мог в последствии быть подвержен one-hot encoding.
+  Лучше не делать препроцессинг самим из-за проблем, описанных выше. В CatBoost можно задать параметр cat_features, передав туда индексы категориальных признаков. Также можно отрегулировать параметр ''one_hot_max_size'' {{---}} максимальное количество различных значений у категориального признака, чтобы он мог в последствии быть подвержен one-hot encoding.
 == Подбор параметров ==
@@ Строка 124: / Строка 124: @@
 Ниже описаны гиперпараметры (англ. ''hyperparameters''), на которые стоит обратить внимание при использовании библиотеки.
-* cat_features
+* cat_features;
-* Overfitting detector
+* Overfitting detector;
-* Число итераций и learning rate
+* Число итераций и learning rate;
-* L2_reg
+* L2_reg;
-* Random_srength
+* Random_srength;
-* Bagging_temp
+* Bagging_temp;
-* Глубина дерева (стоит попробовать 10 и 6)
+* Глубина дерева (стоит попробовать 10 и 6).
 == Полезная функциональность ==
-* Snapshots
+* Snapshots;
-* Overfitting detector
+* Overfitting detector;
-* CV
+* CV;
-* eval_metrics
+* eval_metrics.
 == Бенчмарки ==

@@ Строка 219: / Строка 219: @@
 ==См. также==
-*[[:Дерево_решений_и_случайный_леc|Дерево решений и случайный леc]]
+*[[:Дерево_решений_и_случайный_леc|Дерево решений и случайный леc]]<sup>[на 28.01.19 не создан]</sup>
 *[[:Бустинг,_AdaBoost|Бустинг, AdaBoost]]

← Предыдущая		Версия 12:39, 2 декабря 2018
Строка 216:		Строка 216:


−	''Больше примеров<ref>[https://tech.yandex.com/catboost/doc/dg/concepts/python-usages-examples-docpage \| Примеры ипользования CatBoost]</ref> можно найти на сайте библиотеки''.	+	''Больше примеров<ref>[https://tech.yandex.com/catboost/doc/dg/concepts/python-usages-examples-docpage Примеры ипользования CatBoost]</ref> можно найти на сайте библиотеки''.

	==См. также==		==См. также==