Формула Байеса — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
м
м (rollbackEdits.php mass rollback)
 
(не показано 8 промежуточных версий 3 участников)
Строка 1: Строка 1:
== Формулировка ==
+
По '''формуле Байеса''' можно более точно пересчитать вероятность, беря в расчет как ранее известную информацию, так и данные новых наблюдений.
:<tex>P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^N P(A|B_j)P(B_j)}</tex>,
+
Формула Байеса позволяет '''«переставить причину и следствие»''': по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.
 +
События, отражающие действие «причин», в данном случае называют гипотезами, так как они {{---}} предполагаемые события, повлекшие данное.
 +
==Теорема==
 +
{{Определение
 +
|definition='''Формула Байеса''' (или теорема Байеса) (англ. ''Bayes' theorem'') {{---}} соотношение различных предполагаемых вероятностей различных событий, которое дает вероятность, что какое-то событие <tex>A</tex> является результатом <tex>X</tex> ряда независимых друг от друга событий <tex>B_1,B_2 \ldots B_n</tex>, который, возможно, привел к <tex>A</tex>.
 +
}}
 +
{{Теорема
 +
| about =  
 +
формула Байеса
 +
| statement =  
 +
<tex>P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}</tex>,
 
где
 
где
: <tex>P(A)</tex> вероятность события ''A'';
+
: <tex>P(A)</tex> {{---}} вероятность события <tex>A</tex>,
: <tex>P(A|B)</tex> вероятность события ''A'' при наступлении события ''B'';
+
: <tex>P(A|B)</tex> {{---}} вероятность события <tex>A</tex> при наступлении события <tex>B</tex>,
: <tex>P(B|A)</tex> вероятность наступления события ''B'' при истинности события ''A'';
+
: <tex>P(B|A)</tex> {{---}} вероятность наступления события <tex>B</tex> при истинности события <tex>A</tex>,
: <tex>P(B)</tex> вероятность наступления события ''B''.
+
: <tex>P(B)</tex> {{---}} вероятность наступления события <tex>B</tex>.
 +
| proof =
  
== Доказательство ==
+
Из замечания определения [[Условная вероятность|условной вероятности]] следует, что вероятность произведения двух событий равна:
: <tex>P(B|A) = \frac{P(B \cap A)}{P(A)}</tex>
 
 
: <tex>P(B \cap A)=P(A \cap B)=P(A|B)P(B)</tex>
 
: <tex>P(B \cap A)=P(A \cap B)=P(A|B)P(B)</tex>
: <tex>P(A)=\sum_{j=1}^N P(A|B_j)P(B_j)</tex> (по [[Формула полной вероятности|формуле полной вероятности]])
+
По [[Формула полной вероятности|формуле полной вероятности]]:
: <tex>\Rightarrow P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^N P(A|B_j)P(B_j)}</tex>
+
: <tex>P(A)=\sum\limits_{j=1}^N P(A|B_j)P(B_j)</tex>  
 +
Если вероятности под знаком суммы известны или допускают экспериментальную оценку, то
 +
: <tex>P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}</tex>
 +
 
 +
 
 +
}}
  
 
== Примеры ==
 
== Примеры ==
Строка 17: Строка 32:
 
===Определение вероятности заболевания===
 
===Определение вероятности заболевания===
  
Пусть событие А истинно, если анализ на грипп положительный, событие B<sub>1</sub> отвечает за грипп, B<sub>2</sub> отвечает за другую болезнь.
+
Пусть событие <tex>A</tex>  наступило в результате осуществления одной из гипотез <tex>B_1,B_2 \ldots B_n</tex>.  Как определить вероятность того, что имела место та или иная гипотеза?
 +
Вероятность заразиться гриппом <tex>0.01</tex>. После проведения анализа вероятность, что это грипп <tex>0.9</tex>, другая болезнь <tex>0.001</tex>.
 +
Событие <tex>A</tex> истинно, если анализ на грипп положительный, событие <tex>B_1</tex> отвечает за грипп, <tex>B_2</tex> отвечает за другую болезнь.
 
Также предположим, что:
 
Также предположим, что:
: <tex>P(A|B_1)</tex>=0,9,
+
: <tex>P(B_1)=0.01</tex>, <tex>P(B_2)=0.99</tex> {{---}} ''априорные'' (оцененные до испытания) вероятности.
: <tex>P(A|B_2)</tex>=0,001,
+
: <tex>P(B_1)</tex>=0,01,
+
: <tex>P(A|B_1)=0.9</tex>, <tex>P(A|B_2)=0.001</tex> {{---}} ''апостериорные'' (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » {{---}} с учётом того факта, что событие  достоверно произошло.
: <tex>P(B_2)</tex>=0,99.
 
  
 
Рассмотрим вероятность гриппа при положительном анализе:
 
Рассмотрим вероятность гриппа при положительном анализе:
  
<tex>P(B_1|A)=\frac{P(B_1 \cap A)}{P(A)}=\frac{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}=\frac{100}{111}</tex>
+
<tex>P(B_1|A)=\dfrac{P(B_1 \cap A)}{P(A)}=\dfrac{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}=\dfrac{100}{111}</tex>
 +
 
 +
===Парадокс теоремы Байеса===
 +
При рентгеновском обследовании вероятность обнаружить заболевание <tex>N</tex> у больного равна <tex>0.95</tex>, вероятность принять здорового человека за больного равна <tex>0.05</tex>. Доля больных по отношению ко всему населению равна <tex>0.01</tex>. Найти вероятность того, что человек здоров, если он был признан больным при обследовании.
 +
Предположим, что:
 +
: <tex>P(B_1|B)=0.95</tex>,
 +
: <tex>P(B_1|A)=0.05</tex>,
 +
: <tex>P(B)=0.01</tex>,
 +
: <tex>P(A)=0.99</tex>.
 +
 
 +
Вычислим сначала полную вероятность признания больным:
 +
<tex>0.99 \cdot 0.05 + 0.01 \cdot 0.95 =0.059</tex>
 +
 
 +
Вероятность «здоров» при диагнозе «болен»:
 +
<tex>P(A|B_1) = \dfrac{0.99 \cdot 0.05}{0.99 \cdot 0.05 + 0.01 \cdot 0.95}= 0.839</tex>
 +
 
 +
Таким образом, <tex>83.9\%</tex> людей, у которых обследование показало результат «болен», на самом деле здоровые люди. Удивительный результат возникает по причине значительной разницы в долях больных и здоровых. Болезнь <tex>N</tex> {{---}} редкое явление, поэтому и возникает такой парадокс Байеса. При возникновении такого результата лучше всего сделать повторное обследование.
  
 
===Метод фильтрации спама===
 
===Метод фильтрации спама===
При проверке письма вычисляется вероятность того, что оно {{---}} спам. Для каждого слова эксперементально подсчитывается его ''вес'' {{---}} процент содержания этого слова в письмах, отмеченных пользователем, как спам. Тогда ''весом'' письма является среднее ''весов'' всех его слов. Таким образом, программа(анти-спам бот) считает письмо спамом, если его ''вес'' больше какой-то заданной пользователем планки (обычно 60-80%). После вынесения решения о полученном письме происходит пересчёт в базе данных весов слов, составляющих текст письма. Почтовый фильтр, основанный на такой системе, называется ''байесовским.''
+
Существует метод для фильтрации спама, основанный на применении '''наивного байесовского классификатора'''<ref>[http://www.machinelearning.ru/wiki/images/9/98/Voron-ML-Bayes-slides.pdf К.В.Воронцов {{---}} Наивный байесовский классификатор] </ref>, в основе которого лежит применение теоремы Байеса.
 +
Имеется набор писем: спам и не спам. Подсчитаем для каждого слова вероятность встречи в спаме, количество в спаме ко всему количеству в тексте. Аналогично для слов из не спама. Подсчитаем произведения вероятностей для каждого из класса, и где максимум, туда и определяем письмо.
  
'''Пример.''' Если 80% писем, содержащих фразу <tex>"</tex>Привет :) Как дела?)<tex>"</tex>, являлись спамом, то и следующее письмо с этим словосочетанием c большой вероятностью {{---}} спам.
+
== См. также ==
 +
* [[Дискретная случайная величина]]
 +
* [[Дисперсия случайной величины]]
 +
* [[Ковариация случайных величин]]
 +
 
 +
== Примечания ==
 +
<references/>
 +
 
 +
== Источники информации ==
 +
* [http://ru.wikipedia.org/wiki/Теорема_Байеса Википедия {{---}} Теорема Байеса]
 +
* [http://en.wikipedia.org/wiki/Bayes%27_theorem Wikipedia {{---}} Bayes' theorem]
 +
*[http://schegl2g.bget.ru/bayes/YudkowskyBayes.html Scheg12g {{---}} Наглядное объяснение теоремы Байеса]
 +
*[http://habrahabr.ru/company/surfingbird/blog/150207/ Habrahabr {{---}} Теорема Байеса и наивный байесовский классификатор]
 +
* Гмурман В. Е. Теория вероятностей и математическая статистика, {{---}} М.: Высшее образование. 2005 {{---}} 52 с.
  
== См. также ==
 
*[http://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%B0 Википедия {{---}} Теорема Байеса]
 
*[http://en.wikipedia.org/wiki/Bayes%27_theorem Wikipedia {{---}} Bayes' theorem]
 
  
 
[[Категория:Дискретная математика и алгоритмы]]
 
[[Категория:Дискретная математика и алгоритмы]]
  
 
[[Категория: Теория вероятности ]]
 
[[Категория: Теория вероятности ]]

Текущая версия на 19:05, 4 сентября 2022

По формуле Байеса можно более точно пересчитать вероятность, беря в расчет как ранее известную информацию, так и данные новых наблюдений. Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной. События, отражающие действие «причин», в данном случае называют гипотезами, так как они — предполагаемые события, повлекшие данное.

Теорема

Определение:
Формула Байеса (или теорема Байеса) (англ. Bayes' theorem) — соотношение различных предполагаемых вероятностей различных событий, которое дает вероятность, что какое-то событие [math]A[/math] является результатом [math]X[/math] ряда независимых друг от друга событий [math]B_1,B_2 \ldots B_n[/math], который, возможно, привел к [math]A[/math].
Теорема (формула Байеса):
[math]P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}[/math],

где

[math]P(A)[/math] — вероятность события [math]A[/math],
[math]P(A|B)[/math] — вероятность события [math]A[/math] при наступлении события [math]B[/math],
[math]P(B|A)[/math] — вероятность наступления события [math]B[/math] при истинности события [math]A[/math],
[math]P(B)[/math] — вероятность наступления события [math]B[/math].
Доказательство:
[math]\triangleright[/math]

Из замечания определения условной вероятности следует, что вероятность произведения двух событий равна:

[math]P(B \cap A)=P(A \cap B)=P(A|B)P(B)[/math]

По формуле полной вероятности:

[math]P(A)=\sum\limits_{j=1}^N P(A|B_j)P(B_j)[/math]

Если вероятности под знаком суммы известны или допускают экспериментальную оценку, то

[math]P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^N P(A|B_j)P(B_j)}[/math]
[math]\triangleleft[/math]

Примеры

Определение вероятности заболевания

Пусть событие [math]A[/math] наступило в результате осуществления одной из гипотез [math]B_1,B_2 \ldots B_n[/math]. Как определить вероятность того, что имела место та или иная гипотеза? Вероятность заразиться гриппом [math]0.01[/math]. После проведения анализа вероятность, что это грипп [math]0.9[/math], другая болезнь [math]0.001[/math]. Событие [math]A[/math] истинно, если анализ на грипп положительный, событие [math]B_1[/math] отвечает за грипп, [math]B_2[/math] отвечает за другую болезнь. Также предположим, что:

[math]P(B_1)=0.01[/math], [math]P(B_2)=0.99[/math]априорные (оцененные до испытания) вероятности.
[math]P(A|B_1)=0.9[/math], [math]P(A|B_2)=0.001[/math]апостериорные (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » — с учётом того факта, что событие достоверно произошло.

Рассмотрим вероятность гриппа при положительном анализе:

[math]P(B_1|A)=\dfrac{P(B_1 \cap A)}{P(A)}=\dfrac{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}=\dfrac{100}{111}[/math]

Парадокс теоремы Байеса

При рентгеновском обследовании вероятность обнаружить заболевание [math]N[/math] у больного равна [math]0.95[/math], вероятность принять здорового человека за больного равна [math]0.05[/math]. Доля больных по отношению ко всему населению равна [math]0.01[/math]. Найти вероятность того, что человек здоров, если он был признан больным при обследовании. Предположим, что:

[math]P(B_1|B)=0.95[/math],
[math]P(B_1|A)=0.05[/math],
[math]P(B)=0.01[/math],
[math]P(A)=0.99[/math].

Вычислим сначала полную вероятность признания больным: [math]0.99 \cdot 0.05 + 0.01 \cdot 0.95 =0.059[/math]

Вероятность «здоров» при диагнозе «болен»: [math]P(A|B_1) = \dfrac{0.99 \cdot 0.05}{0.99 \cdot 0.05 + 0.01 \cdot 0.95}= 0.839[/math]

Таким образом, [math]83.9\%[/math] людей, у которых обследование показало результат «болен», на самом деле здоровые люди. Удивительный результат возникает по причине значительной разницы в долях больных и здоровых. Болезнь [math]N[/math] — редкое явление, поэтому и возникает такой парадокс Байеса. При возникновении такого результата лучше всего сделать повторное обследование.

Метод фильтрации спама

Существует метод для фильтрации спама, основанный на применении наивного байесовского классификатора[1], в основе которого лежит применение теоремы Байеса. Имеется набор писем: спам и не спам. Подсчитаем для каждого слова вероятность встречи в спаме, количество в спаме ко всему количеству в тексте. Аналогично для слов из не спама. Подсчитаем произведения вероятностей для каждого из класса, и где максимум, туда и определяем письмо.

См. также

Примечания

Источники информации