http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&feedformat=atom&user=188.17.57.165&* 2026-04-30T22:57:41Z Вклад участника MediaWiki 1.30.0 http://neerc.ifmo.ru/wiki/index.php?title=%D0%92%D0%B8%D0%B4%D1%8B_%D0%B0%D0%BD%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D0%B5%D0%B9&diff=69626 2019-01-29T09:23:19Z

<p>188.17.57.165: /* Вероятность ошибки */ Графики, которые нужно после вставить</p> <hr /> <div>== Ансамбль == <br /> <br /> Рассмотрим задачу классификации на K классов: &lt;tex&gt;Y = \{1, 2, ..., K\}&lt;/tex&gt; &lt;br&gt;<br /> Пусть имеется M классификатор (&quot;экспертов&quot;): &lt;tex&gt; f_1, f_2, ..., f_M &lt;/tex&gt; &lt;br&gt; <br /> &lt;tex&gt; f_m : X \leftarrow Y, f_m \in F, m = (1 ... M) &lt;/tex&gt; &lt;br&gt;<br /> <br /> Тогда давайте посмотрим новый классификатор на основе данных:<br /> <br /> Простое голосование: &lt;tex&gt; f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M I(f_i(x) = k) &lt;/tex&gt; &lt;br&gt;<br /> Взвешенное голосование: &lt;tex&gt; f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M \alpha_i I(f_i(x) = k), \sum \limits_i \alpha_i = 1, \alpha_i &gt; 0&lt;/tex&gt;<br /> <br /> == Вероятность ошибки ==<br /> <br /> Пусть &lt;tex&gt;M&lt;/tex&gt; - количество присяжный, &lt;tex&gt;p&lt;/tex&gt; - вероятность правильного решения одного эксперта, &lt;tex&gt;R&lt;/tex&gt; - вероятность правильного решения всего жюри,<br /> &lt;tex&gt;m&lt;/tex&gt; - минимальное большинство членов жюри &lt;tex&gt; = floor(N / 2) + 1 &lt;/tex&gt;<br /> <br /> Тогда &lt;tex&gt; R = \sum \limits_{i = m}^M C_M^i p ^ i (1 - p) ^ {M - i} &lt;/tex&gt;<br /> <br /> https://yadi.sk/i/4GVy9FPDJnL-cQ<br /> https://yadi.sk/i/Tjwyk4Bkc2Ck3g<br /> <br /> == Бутстрэп ==<br /> Метод бутстрэпа (англ. ''bootstrap'') — один из первых и самых простых видов ансамблей, который позволяет оценивать многие статистики сложных распределений и заключается в следующем. Пусть имеется выборка &lt;tex&gt;X&lt;/tex&gt; размера &lt;tex&gt;N&lt;/tex&gt;. Равномерно возьмем из выборки &lt;tex&gt;N&lt;/tex&gt; объектов с возвращением. Это означает, что мы будем &lt;tex&gt;N&lt;/tex&gt; раз равновероятно выбирать произвольный объект выборки, причем каждый раз мы выбираем из всех исходных &lt;tex&gt;N&lt;/tex&gt; объектов. Отметим, что из-за возвращения среди них окажутся повторы. &lt;br&gt;Обозначим новую выборку через &lt;tex&gt;X_1&lt;/tex&gt;. Повторяя процедуру &lt;tex&gt;M&lt;/tex&gt; раз, сгенерируем &lt;tex&gt;M&lt;/tex&gt; подвыборок &lt;tex&gt;X_1 ... X_M&lt;/tex&gt;. Теперь мы имеем достаточно большое число выборок и можем оценивать различные статистики исходного распределения.<br /> <br /> == Бэггинг ==<br /> Рассмотрим, следующий вид ансамбля — бэггинг (англ. ''bootstrap aggregation''). Пусть имеется обучающая выборка &lt;tex&gt;X&lt;/tex&gt;. С помощью бутстрэпа сгенерируем из неё выборки &lt;tex&gt;X_1 ... X_M&lt;/tex&gt;. Теперь на каждой выборке обучим свой классификатор &lt;tex&gt;a_i(x)&lt;/tex&gt;. Итоговый классификатор будет усреднять ответы всех этих алгоритмов &lt;tex&gt;a(x) = \frac{1}{M} \sum\limits_{i = 1}^{M} a_i(x)&lt;/tex&gt;.</div>

188.17.57.165 http://neerc.ifmo.ru/wiki/index.php?title=%D0%92%D0%B8%D0%B4%D1%8B_%D0%B0%D0%BD%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D0%B5%D0%B9&diff=69622 2019-01-29T09:13:06Z

<p>188.17.57.165: Добавлена формула вероятности</p> <hr /> <div>== Ансамбль == <br /> <br /> Рассмотрим задачу классификации на K классов: &lt;tex&gt;Y = \{1, 2, ..., K\}&lt;/tex&gt; &lt;br&gt;<br /> Пусть имеется M классификатор (&quot;экспертов&quot;): &lt;tex&gt; f_1, f_2, ..., f_M &lt;/tex&gt; &lt;br&gt; <br /> &lt;tex&gt; f_m : X \leftarrow Y, f_m \in F, m = (1 ... M) &lt;/tex&gt; &lt;br&gt;<br /> <br /> Тогда давайте посмотрим новый классификатор на основе данных:<br /> <br /> Простое голосование: &lt;tex&gt; f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M I(f_i(x) = k) &lt;/tex&gt; &lt;br&gt;<br /> Взвешенное голосование: &lt;tex&gt; f(x) = \max \limits_{k = 1 .. K} \sum \limits_{i = 1}^M \alpha_i I(f_i(x) = k), \sum \limits_i \alpha_i = 1, \alpha_i &gt; 0&lt;/tex&gt;<br /> <br /> == Вероятность ошибки ==<br /> <br /> Пусть &lt;tex&gt;M&lt;/tex&gt; - количество присяжный, &lt;tex&gt;p&lt;/tex&gt; - вероятность правильного решения одного эксперта, &lt;tex&gt;R&lt;/tex&gt; - вероятность правильного решения всего жюри,<br /> &lt;tex&gt;m&lt;/tex&gt; - минимальное большинство членов жюри &lt;tex&gt; = floor(N / 2) + 1 &lt;/tex&gt;<br /> <br /> Тогда &lt;tex&gt; R = \sum \limits_{i = m}^M C_M^i p ^ i (1 - p) ^ {M - i} &lt;/tex&gt;<br /> <br /> == Бутстрэп ==<br /> Метод бутстрэпа (англ. ''bootstrap'') — один из первых и самых простых видов ансамблей, который позволяет оценивать многие статистики сложных распределений и заключается в следующем. Пусть имеется выборка &lt;tex&gt;X&lt;/tex&gt; размера &lt;tex&gt;N&lt;/tex&gt;. Равномерно возьмем из выборки &lt;tex&gt;N&lt;/tex&gt; объектов с возвращением. Это означает, что мы будем &lt;tex&gt;N&lt;/tex&gt; раз равновероятно выбирать произвольный объект выборки, причем каждый раз мы выбираем из всех исходных &lt;tex&gt;N&lt;/tex&gt; объектов. Отметим, что из-за возвращения среди них окажутся повторы. &lt;br&gt;Обозначим новую выборку через &lt;tex&gt;X_1&lt;/tex&gt;. Повторяя процедуру &lt;tex&gt;M&lt;/tex&gt; раз, сгенерируем &lt;tex&gt;M&lt;/tex&gt; подвыборок &lt;tex&gt;X_1 ... X_M&lt;/tex&gt;. Теперь мы имеем достаточно большое число выборок и можем оценивать различные статистики исходного распределения.<br /> <br /> == Бэггинг ==<br /> Рассмотрим, следующий вид ансамбля — бэггинг (англ. ''bootstrap aggregation''). Пусть имеется обучающая выборка &lt;tex&gt;X&lt;/tex&gt;. С помощью бутстрэпа сгенерируем из неё выборки &lt;tex&gt;X_1 ... X_M&lt;/tex&gt;. Теперь на каждой выборке обучим свой классификатор &lt;tex&gt;a_i(x)&lt;/tex&gt;. Итоговый классификатор будет усреднять ответы всех этих алгоритмов &lt;tex&gt;a(x) = \frac{1}{M} \sum\limits_{i = 1}^{M} a_i(x)&lt;/tex&gt;.</div>

188.17.57.165