Изменения
→Реализации и применения бустинга: Видимо, перепутали местами описание LightGBM и CatBoost
Алгоритм использует метод бутстрэпа (англ. ''bootstrap''):
Шаги алгоритма бэггинг:
</ul>
[[Файл:Виды_ансамблей_БэггингВиды_ансамблей_Бэггинг_рус.png|none|800px]]
Рассмотрим задачу регрессии с базовыми алгоритмами <tex>b_1, b_2, ..., b_m</tex>. Предположим, что существует истинная функция ответа для всех объектов y(x), а также задано распределение p(x) на объектах. В этом случае мы можем записать ошибку каждой функции регрессии:
== Бустинг ==
[[Бустинг, AdaBoost|'''Бустинг''' ]] (англ. boosting — улучшение) — это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов. Бустинг представляет собой жадный алгоритм построения композиции алгоритмов.
Пусть <tex>h(x, a)</tex> — базовый классификатор, где <tex>a</tex> — вектор параметров.
Реализации бустинга:
Применение бустинга:
== Различия между алгоритмами ==
<ul>
<li> Оба алгоритма используют N базовых классификаторов
<ul>
<li> Бустинг использует последовательное обучение </li>
<li> Бэггинг использует параллельное обучение </li>
from pydataset import data
<font color="green">#Считаем данные The Boston Housing Dataset<ref>[http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html The Boston Housing Dataset]</ref> </font>
df = data('Housing')
<font color="green">#Проверим данные</font>
df.head().values
array([[42000.0, 5850, 3, 1, 2, 'yes', 'no', 'yes', 'no', 'no', 1, 'no'],
[49500.0, 3060, 3, 1, 1, 'yes', 'no', 'no', 'no', 'no', 0, 'no'], ...
<font color="green"># Создадим словарь для слов 'no', 'yes'</font>
d = dict(zip(['no', 'yes'], range(0,2)))
for i in zip(df.dtypes.index, df.dtypes):
df[‘price’] = pd.qcut(df[‘price’], 3, labels=[‘0’, ‘1’, ‘2’]).cat.codes
<font color="green"># Разделим множество на два</font>
y = df['price']
X = df.drop('price', 1)
'''Бэггинг'''
<font color="green"># Импорты классификаторов</font>
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import BaggingClassifier, ExtraTreesClassifier, RandomForestClassifier
seed = 1075
np.random.seed(seed)
<font color="green"># Инициализуруем классификаторы</font>
rf = RandomForestClassifier()
et = ExtraTreesClassifier()
bagging_scores.mean(), bagging_scores.std())
<font color="green">#Результат</font>
Mean of: 0.632, std: (+/-) 0.081 [RandomForestClassifier]
Mean of: 0.639, std: (+/-) 0.069 [Bagging RandomForestClassifier]
print("Mean: {0:.3f}, std: (+/-) {1:.3f} [{2}]".format(scores.mean(), scores.std(), label))
<font color="green"># Результат</font>
Mean: 0.641, std: (+/-) 0.082 [Ada Boost]
Mean: 0.654, std: (+/-) 0.113 [Grad Boost]
Mean: 0.663, std: (+/-) 0.101 [XG Boost]
Mean: 0.667, std: (+/-) 0.105 [Ensemble]
== См. также ==
* [[:Бустинг, AdaBoost|Бустинг, AdaBoost]]
* [[:XGBoost|XGBoost]]
* [[:CatBoost|CatBoost]]
== Примечания ==
<references/>
== Источники информации ==
* https://quantdare.com/what-is-the-difference-between-bagging-and-boosting/
* https://medium.com/@rrfd/boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens-a455c0c982de
