Формула Байеса

Формула Байеса

По формуле Байеса можно более точно пересчитать вероятность, беря в расчет как ранее известную информацию, так и данные новых наблюдений. Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной. События, отражающие действие «причин», в данном случае называют гипотезами, так как они — предполагаемые события, повлекшие данное.

Определение:

Формула Байеса (или теорема Байеса) (англ. Bayes' theorem) — формула теории вероятностей, которая позволяет определить вероятность какого-либо события при условии, что произошло другое статистически взаимозависимое с ним событие.

Формулировка

[math]P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^N P(A|B_j)P(B_j)}[/math],

где

[math]P(A)[/math] — вероятность события A;

[math]P(A|B)[/math] — вероятность события A при наступлении события B;

[math]P(B|A)[/math] — вероятность наступления события B при истинности события A;

[math]P(B)[/math] — вероятность наступления события B.

Доказательство

[math]P(B|A) = \frac{P(B \cap A)}{P(A)}[/math]

[math]P(B \cap A)=P(A \cap B)=P(A|B)P(B)[/math]

[math]P(A)=\sum_{j=1}^N P(A|B_j)P(B_j)[/math] (по формуле полной вероятности)

[math]\Rightarrow P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^N P(A|B_j)P(B_j)}[/math]

Примеры

Определение вероятности заболевания

Пусть событие А истинно, если анализ на грипп положительный, событие B₁ отвечает за грипп, B₂ отвечает за другую болезнь. Также предположим, что:

[math]P(A|B_1)=0.9[/math]

[math]P(A|B_2)=0.001[/math]

[math]P(B_1)=0.01[/math]

[math]P(B_2)=0.99[/math]

Рассмотрим вероятность гриппа при положительном анализе:

[math]P(B_1|A)=\frac{P(B_1 \cap A)}{P(A)}=\frac{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}=\frac{100}{111}[/math]

Парадокс теоремы Байеса

При рентгеновском обследовании вероятность обнаружить заболевание N у больного равна [math]0.95[/math], вероятность принять здорового человека за больного равна [math]0.05[/math]. Доля больных по отношению ко всему населению равна [math]0.01[/math]. Найти вероятность того, что человек здоров, если он был признан больным при обследовании. Предположим, что:

[math]P(B_1|B)=0.95[/math]

[math]P(B_1|A)=0.05[/math]

[math]P(B)=0.01[/math]

[math]P(A)=0.99[/math]

Вычислим сначала полную вероятность признания больным: [math]0.99*0.05 + 0.01*0.95 =0.059[/math]

Вероятность «здоров» при диагнозе «болен»: [math]Р (A|B_1) = \frac{0.99*0.05}{0.99*0.05 + 0.01*0.95}= 83.9 %[/math]

Таким образом, 83.9 % людей, у которых обследование показало результат «болен», на самом деле здоровые люди. Удивительный результат возникает по причине значительной разницы в долях больных и здоровых. Болезнь N — редкое явление, поэтому и возникает такой парадокс Байеса. При возникновении такого результата лучше всего сделать повторное обследование.

Метод фильтрации спама

Существует метод для фильтрации спама, основанный на применении наивного байесовского классификатора, в основе которого лежит применение теоремы Байеса. При проверке письма вычисляется вероятность того, что оно — спам. Для каждого слова экспериментально подсчитывается его вес — процент содержания этого слова в письмах, отмеченных пользователем, как спам. Тогда весом письма является среднее весов всех его слов. Таким образом, программа(анти-спам бот) считает письмо спамом, если его вес больше какой-то заданной пользователем планки (обычно 60-80%). После вынесения решения о полученном письме происходит пересчёт в базе данных весов слов, составляющих текст письма. Почтовый фильтр, основанный на такой системе, называется байесовским.

Пример. Если 80% писем, содержащих фразу [math]"[/math]Привет :) Как дела?)[math]"[/math], являлись спамом, то и следующее письмо с этим словосочетанием c большой вероятностью — спам.

См. также

• Наглядное объяснение теоремы Байеса
• Теорема Байеса и наивный байесовский классификатор

Источники информации

• Википедия — Теорема Байеса
• Wikipedia — Bayes' theorem
• Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005