68
правок
Изменения
→Бэггинг: Формулы
[[Файл:Виды_ансамблей_Бэггинг.png]]
Рассмотрим задачу регрессии с базовыми алгоритмами <tex>b_1, b_2, ..., b_m</tex>. Предположим, что существует истинная функция ответа для всех объектов y(x), а также задано распределение p(x) на объектах. В этом случае мы можем записать ошибку каждой функции регрессии:
<tex> \epsilon_i(x) = b_i(x) - y(x), y = 1, ..., n </tex>
и записать матожидание среднеквадратичной ошибки:
<tex>E_x(b_i(x) - y(x))^2 = E_x \epsilon_i^2(x) </tex>
Средняя ошибка построенных функций регрессии имеет вид:
<tex>E_1 = \frac 1 n E_x \sum \limits_{i = 1}^n \epsilon_i^2(x) </tex>
Предположим, что ошибки несмещены и некоррелированы:
<tex> E_x\epsilon_i(x) = 0, E_x\epsilon_i(x)\epsilon_j(x) = 0, i ≠ j </tex>
Построим теперь новую функцию регрессии, которая будет усреднять ответы построенных нами функций:
<tex> a(x) = \frac 1 n \sum \limits_{i = 1}^n b_i(x) </tex>
Найдем ее среднеквадратичную ошибку:
<tex> E_n = E_x(\frac 1 n \sum \limits_{i = 1}^n (b_i(x) - y(x))^2
= E_x(\frac 1 n \sum \limits_{i = 1}^n \epsilon_i)^2
= \frac 1 {n^2} E_x(\sum \limits_{i = 1}^n \epsilon_i^2(x) + \sum \limits_{i ≠ j} \epsilon_i(x)\epsilon_j(x))
= \frac 1 n E_1 </tex>
Таким образом, усреднение ответов позволило уменьшить средний квадрат ошибки в <tex>n</tex> раз
== Примеры кода ==
