Формула Байеса

Формула Байеса

По формуле Байеса можно более точно пересчитать вероятность, беря в расчет как ранее известную информацию, так и данные новых наблюдений. Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной. События, отражающие действие «причин», в данном случае называют гипотезами, так как они — предполагаемые события, повлекшие данное.

Определение:

Формула Байеса (или теорема Байеса) (англ. Bayes' theorem) — формула, позволяющая определить вероятность какого-либо события при условии, что произошло другое статистически взаимозависимое с ним событие.

Формулировка

[math]P(B_i|A)=\genfrac{}{}{}{0}{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}[/math],

где

[math]P(A)[/math] — вероятность события [math]A[/math],

[math]P(A|B)[/math] — вероятность события [math]A[/math] при наступлении события [math]B[/math],

[math]P(B|A)[/math] — вероятность наступления события [math]B[/math] при истинности события [math]A[/math],

[math]P(B)[/math] — вероятность наступления события [math]B[/math].

Доказательство

Формула Байеса вытекает из определения условной вероятности.

[math]P(B \cap A)=P(A \cap B)=P(A|B)P(B)[/math]

[math]P(A)=\sum\limits_{j=1}^N P(A|B_j)P(B_j)[/math] (по формуле полной вероятности)

Если вероятности под знаком суммы известны или допускают экспериментальную оценку, то

[math]P(B_i|A)=\genfrac{}{}{}{0}{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}[/math]

Примеры

Определение вероятности заболевания

Пусть событие [math]A[/math] наступило в результате осуществления одной из гипотез [math]B_1,B_2...B_n[/math] . Как определить вероятность того, что имела место та или иная гипотеза? Вероятность заразиться гриппом [math]0.01[/math]. После проведения анализа вероятность, что это грипп [math]0.9[/math], другая болезнь [math]0.001[/math]. Событие [math]A[/math] истинно, если анализ на грипп положительный, событие [math]B_1[/math] отвечает за грипп, [math]B_2[/math] отвечает за другую болезнь. Также предположим, что:

[math]P(B_1)=0.01[/math], [math]P(B_2)=0.99[/math] — априорные (оцененные до испытания) вероятности.

[math]P(A|B_1)=0.9[/math], [math]P(A|B_2)=0.001[/math] — апостериорные (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » — с учётом того факта, что событие достоверно произошло.

Рассмотрим вероятность гриппа при положительном анализе:

[math]P(B_1|A)=\genfrac{}{}{}{0}{P(B_1 \cap A)}{P(A)}=\genfrac{}{}{}{0}{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}=\genfrac{}{}{}{0}{100}{111}[/math]

Парадокс теоремы Байеса

При рентгеновском обследовании вероятность обнаружить заболевание N у больного равна [math]0.95[/math], вероятность принять здорового человека за больного равна [math]0.05[/math]. Доля больных по отношению ко всему населению равна [math]0.01[/math]. Найти вероятность того, что человек здоров, если он был признан больным при обследовании. Предположим, что:

[math]P(B_1|B)=0.95[/math],

[math]P(B_1|A)=0.05[/math],

[math]P(B)=0.01[/math],

[math]P(A)=0.99[/math].

Вычислим сначала полную вероятность признания больным: [math]0.99 \cdot 0.05 + 0.01 \cdot 0.95 =0.059[/math]

Вероятность «здоров» при диагнозе «болен»: [math]Р (A|B_1) = \genfrac{}{}{}{0}{0.99 \cdot 0.05}{0.99 \cdot 0.05 + 0.01 \cdot 0.95}= 0.839[/math]

Таким образом, 83.9 % людей, у которых обследование показало результат «болен», на самом деле здоровые люди. Удивительный результат возникает по причине значительной разницы в долях больных и здоровых. Болезнь N — редкое явление, поэтому и возникает такой парадокс Байеса. При возникновении такого результата лучше всего сделать повторное обследование.

Метод фильтрации спама

Существует метод для фильтрации спама, основанный на применении наивного байесовского классификатора, в основе которого лежит применение теоремы Байеса. Допустим, у нас есть набор писем: спам и не спам. Считаем для каждого слова вероятность встречи в спаме, количество в спаме ко всему количеству в тексте.Аналогично для слов из не спама. Считаем произведения вероятностей для каждого из класса, и где максимум, туда и определяем письмо.

См. также

• Дискретная случайная величина
• Дисперсия случайной величины
• Ковариация случайных величин

Источники информации

• Википедия — Теорема Байеса
• Wikipedia — Bayes' theorem
• Scheg12g — Наглядное объяснение теоремы Байеса
• Habrahabr — Теорема Байеса и наивный байесовский классификатор
• Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005