<li>LogitBoost — алгоритм бустинга, использующий идеи логистической регресси
== Применение Реализации и применения бустинга ==
Основное отличие Реализации бустинга: <ul><li> CatBoost — открытая программная библиотека разработанная компанией Яндекс<li> XGBoost — изначально исследовательский проект Tianqi Chen, сейчас открытая программная библиотека, поддерживая сообществом <ul> <li> Rapids — проект NVIDIA, созданный для использования GPU с XGBooost </ul> <li> LightGBM — открытая программная библиотека разработанная компанией Яндекс</ul> Применение бустинга:<ul><li> поисковые системы<li> ранжирования ленты рекомендаций<li> прогноз погоды<li> оптимизации расхода сырья<li> предсказания дефектов при производстве.<li> исследованиях на Большом адронном коллайдере (БАК) для объединения информации с различных частей детектора LHCb в максимально точное, агрегированное знание о частице.</ul> == Различия между двумя методами: бэггинг алгоритмами == <ul><li> Оба алгоритма используют N базовых классификаторов <ul> <li> Бустинг использует последовательное обучение </li> <li> Бэггинг использует параллельное обучение базовых классификаторов</li> </ul></li><li> Оба генерируют несколько наборов обучающих данных путем случайной выборки <ul> <li> Бустинг определяет вес данных, а бустинг последовательное (говоря языком математической логикичтоб утяжелить тяжелые случаи </li> <li> Бэггинг имеет невзвешенные данные </li> </ul></li><li> Оба принимают окончательное решение, бэггинг – улучшающее объединениеусредняя N учеников <ul> <li> В бустинге определяются веса классификаторов </li> <li> В бэггинге все классификаторы равнозначны </li> </ul></li><li> Оба уменьшают дисперсию и обеспечивают более высокую стабильность <ul> <li> Бэггинг может решить проблему переобучение </li> <li> Бустинг пытается уменьшить смещение, а бустинг – улучшающее пересечение).но может увеличить проблему переобучения </li> </ul></li> </ul>
== Примеры кода ==
== Источники информации ==
* https://github.com/Microsoft/LightGBM
* https://github.com/dmlc/xgboost
* https://ru.wikipedia.org/wiki/CatBoost
* https://quantdare.com/what-is-the-difference-between-bagging-and-boosting/
* https://medium.com/@rrfd/boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens-a455c0c982de
* https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html
