<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="ru">
		<id>http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Kowalski</id>
		<title>Викиконспекты - Вклад участника [ru]</title>
		<link rel="self" type="application/atom+xml" href="http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Kowalski"/>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%BB%D1%83%D0%B6%D0%B5%D0%B1%D0%BD%D0%B0%D1%8F:%D0%92%D0%BA%D0%BB%D0%B0%D0%B4/Kowalski"/>
		<updated>2026-06-11T14:08:41Z</updated>
		<subtitle>Вклад участника</subtitle>
		<generator>MediaWiki 1.30.0</generator>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61300</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61300"/>
				<updated>2017-06-04T21:11:59Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Условная и взаимная энтропия */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, \dots, p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, \dots, p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, \dots, q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, \dots, m - 1, (m, 1), (m, 2), \dots, (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, \dots, p_{m-1}, p_mq_1, p_mq_2, \dots, p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
=== Энтропия честной монеты ===&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере &amp;lt;tex&amp;gt;1&amp;lt;/tex&amp;gt; бит, уменьшив степень неопределенности вдвое.&lt;br /&gt;
&lt;br /&gt;
=== Энтропия нечестной монеты ===&lt;br /&gt;
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] &amp;lt;tex&amp;gt;\{0,2; 0,8\}&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61299</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61299"/>
				<updated>2017-06-04T21:11:27Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Энтропия честной монеты */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, \dots, p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, \dots, p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, \dots, q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, \dots, m - 1, (m, 1), (m, 2), \dots, (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, \dots, p_{m-1}, p_mq_1, p_mq_2, \dots, p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
=== Энтропия честной монеты ===&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере &amp;lt;tex&amp;gt;1&amp;lt;/tex&amp;gt; бит, уменьшив степень неопределенности вдвое.&lt;br /&gt;
&lt;br /&gt;
=== Энтропия нечестной монеты ===&lt;br /&gt;
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] &amp;lt;tex&amp;gt;\{0,2; 0,8\}&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61298</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61298"/>
				<updated>2017-06-04T21:11:05Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Энтропия нечестной монеты */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, \dots, p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, \dots, p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, \dots, q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, \dots, m - 1, (m, 1), (m, 2), \dots, (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, \dots, p_{m-1}, p_mq_1, p_mq_2, \dots, p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
=== Энтропия честной монеты ===&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере &amp;lt;tex&amp;gt;1&amp;lt;/tex&amp;gt; бит, уменьшив степень неопределенности вдвое.&lt;br /&gt;
&lt;br /&gt;
=== Энтропия нечестной монеты ===&lt;br /&gt;
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] &amp;lt;tex&amp;gt;\{0,2; 0,8\}&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61297</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61297"/>
				<updated>2017-06-04T21:09:27Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Энтропия честной монеты */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, \dots, p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, \dots, p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, \dots, q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, \dots, m - 1, (m, 1), (m, 2), \dots, (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, \dots, p_{m-1}, p_mq_1, p_mq_2, \dots, p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
=== Энтропия честной монеты ===&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере &amp;lt;tex&amp;gt;1&amp;lt;/tex&amp;gt; бит, уменьшив степень неопределенности вдвое.&lt;br /&gt;
&lt;br /&gt;
=== Энтропия нечестной монеты ===&lt;br /&gt;
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] {0,2; 0,8}:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61296</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61296"/>
				<updated>2017-06-04T21:01:21Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, \dots, p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, \dots, p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, \dots, q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, \dots, m - 1, (m, 1), (m, 2), \dots, (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, \dots, p_{m-1}, p_mq_1, p_mq_2, \dots, p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
=== Энтропия честной монеты ===&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере 1 бит, уменьшив степень неопределенности вдвое.&lt;br /&gt;
&lt;br /&gt;
=== Энтропия нечестной монеты ===&lt;br /&gt;
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] {0,2; 0,8}:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, \dots, p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61292</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61292"/>
				<updated>2017-06-04T20:12:21Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, ..., p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, ..., \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, ..., \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, ..., p_{n}q_{nk_n}) = H(p_1, p_2, ..., p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, ..., q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, ..., p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, ..., q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, ..., m - 1, (m, 1), (m, 2), ..., (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, ..., p_{m-1}, p_mq_1, p_mq_2, ..., p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, ..., \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, ..., p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, ..., \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, ..., \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, ..., p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере 1 бит, уменьшив степень неопределенности вдвое, что нельзя сказать про [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] нечестная монета.&lt;br /&gt;
Найдем энтропию для монеты с [[Схема Бернулли| распределением Бернулли]] {0,2; 0,8}:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, ..., p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, ..., p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, ..., p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61291</id>
		<title>Энтропия случайного источника</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D1%8F_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%B0&amp;diff=61291"/>
				<updated>2017-06-04T20:09:34Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;__TOC__&lt;br /&gt;
== Определение ==&lt;br /&gt;
&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Энтропия случайного источника''' (англ. ''Shannon entropy'') {{---}} функция от вероятностей исходов: &amp;lt;tex&amp;gt;H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} &amp;lt;/tex&amp;gt;, характеризующая количество информации, приходящейся на одно сообщение источника.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Свойства ==&lt;br /&gt;
&lt;br /&gt;
'''Энтропия должна удовлетворять следующим требованиям:'''&lt;br /&gt;
&lt;br /&gt;
* Функция &amp;lt;tex&amp;gt;H(p_1, p_2, ..., p_n)&amp;lt;/tex&amp;gt; определена и непрерывна для всех таких наборов &amp;lt;tex&amp;gt;p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt; \sum\limits_{i = 1}^{n} p_i  = 1&amp;lt;/tex&amp;gt; &lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt;H(\underbrace{\dfrac{1}{n}, \dfrac{1}{n}, ..., \dfrac{1}{n}}_\text{n}) &amp;lt; H(\underbrace{\dfrac{1}{n+1}, \dfrac{1}{n+1}, ..., \dfrac{1}{n+1}}_\text{n+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;tex dpi =&amp;quot;130&amp;quot;&amp;gt; H(p_{1}q_{11}, p_{1}q_{12}, ..., p_{n}q_{nk_n}) = H(p_1, p_2, ..., p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, ..., q_{ik_i})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&amp;lt;tex&amp;gt;\rhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим схему &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; c &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{p_1, p_2, ..., p_m\}&amp;lt;/tex&amp;gt; и схему &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt; с &amp;lt;tex&amp;gt;k&amp;lt;/tex&amp;gt; исходами и вероятностями &amp;lt;tex&amp;gt;\{q_1, q_2, ..., q_k\}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
Образуем комбинированную схему c &amp;lt;tex&amp;gt;m + k - 1&amp;lt;/tex&amp;gt; исходами следующим образом:&lt;br /&gt;
&lt;br /&gt;
Выбирается случайным образом один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt;, и если произошел &amp;lt;tex&amp;gt;m&amp;lt;/tex&amp;gt;-й исход, выбирается случайно один из исходов схемы &amp;lt;tex&amp;gt;\mathcal{R}_k&amp;lt;/tex&amp;gt;, а остальные &amp;lt;tex&amp;gt;m - 1&amp;lt;/tex&amp;gt; исходов схемы &amp;lt;tex&amp;gt;\mathcal{P}_m&amp;lt;/tex&amp;gt; считаются окончательными.&lt;br /&gt;
&lt;br /&gt;
В этой комбинированной схеме &amp;lt;tex&amp;gt;\mathcal{PR}&amp;lt;/tex&amp;gt; мы получаем исходы &amp;lt;tex&amp;gt;1, 2, ..., m - 1, (m, 1), (m, 2), ..., (m, k)&amp;lt;/tex&amp;gt; с вероятностями &amp;lt;tex&amp;gt;p_1, p_2, ..., p_{m-1}, p_mq_1, p_mq_2, ..., p_mq_k&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Легко видеть, что &amp;lt;tex&amp;gt;H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
 &lt;br /&gt;
Потребуем выполнения этого свойства для любой меры неопределенности.&lt;br /&gt;
&amp;lt;tex&amp;gt;\lhd&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
==Вычисление энтропии==&lt;br /&gt;
&lt;br /&gt;
Для доказательства формулы вычисления энтропии сначала докажем лемму.&lt;br /&gt;
{{Лемма&lt;br /&gt;
|statement = &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, ..., \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
Будем рассматривать для &amp;lt;tex&amp;gt;k=1&amp;lt;/tex&amp;gt; (бит).&lt;br /&gt;
&lt;br /&gt;
Рассмотрим функцию &amp;lt;tex&amp;gt;g(mn)&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex&amp;gt;g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Пусть: &amp;lt;tex&amp;gt;g(2)=1 \quad&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex&amp;gt;g(2^t)=t&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \quad g(n^t)=t \cdot g(n)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое &amp;lt;tex&amp;gt; i &amp;lt;/tex&amp;gt;, что &amp;lt;tex&amp;gt;2^i \leqslant  n^t &amp;lt; 2^{i+1}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Можно заметить, что если &amp;lt;tex&amp;gt; i=[ \log_2 n^t ] &amp;lt;/tex&amp;gt;, то неравенство останется верным.&lt;br /&gt;
&lt;br /&gt;
По предыдущим рассуждениям получаем, что:&lt;br /&gt;
:&amp;lt;tex&amp;gt;g(2^i) \leqslant g(n^t) &amp;lt; g(2^{i+1})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex&amp;gt; i \leqslant t \cdot g(n) &amp;lt;i+1 \quad \quad &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Делим неравенство на &amp;lt;tex&amp;gt;t&amp;lt;/tex&amp;gt;:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{i}{t} \leqslant g(n) &amp;lt; \dfrac{i+1}{t}&amp;lt;/tex&amp;gt;, то есть &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\dfrac{[ \log_2 n^t ]}{t} \leqslant g(n) &amp;lt; \dfrac{[ \log_2 n^t ]+1}{t}&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Отсюда ясно, что если &amp;lt;tex&amp;gt; t\rightarrow \infty&amp;lt;/tex&amp;gt;, то получаем &amp;lt;tex&amp;gt;g(n) = \log_2n&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, ..., p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}&amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Теперь рассмотрим функцию &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, ..., \dfrac{a_n}{b_n})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Приведем дроби внутри функции к одному знаменателю, получаем: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, ..., \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b})&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Далее по свойству энтропии и доказанной лемме:&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, ..., \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}&amp;lt;/tex&amp;gt;&lt;br /&gt;
При &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; p_i = \dfrac{x_i}{b} &amp;lt;/tex&amp;gt; получаем, что &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(p_1, p_2, ..., p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}&amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета. &lt;br /&gt;
Найдем для нее энтропию:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1&amp;lt;/tex&amp;gt;&lt;br /&gt;
Это означает что после броска честной монеты мы получим информацию в размере 1 бит, уменьшив степень неопределенности вдвое, что нельзя сказать про [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} нечестная монета&lt;br /&gt;
Найдем энтропию для монеты с [[Схема Бернулли| распределением Бернулли]] {0,2; 0,8}:&lt;br /&gt;
:&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 &amp;lt; 1 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Ограниченность энтропии ==&lt;br /&gt;
{{Теорема&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt;0 \leqslant  H(p_1, p_2, ..., p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof =&lt;br /&gt;
1) Докажем первую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
Так как &amp;lt;tex&amp;gt; p_i\in[0,\;1]&amp;lt;/tex&amp;gt;, тогда &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;\log_2\dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;. Таким образом &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(p_1, p_2, ..., p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
2) Докажем вторую часть неравенства:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; f(x)=\log_2x &amp;lt;/tex&amp;gt; {{---}} выпуклая вверх функция, &amp;lt;tex&amp;gt; p_1,p_2,\ldots,p_n&amp;gt;0&amp;lt;/tex&amp;gt; и &amp;lt;tex&amp;gt; \sum \limits_{i=1}^{n} p_i = 1 &amp;lt;/tex&amp;gt;, тогда для нее выполняется неравенство Йенсена:&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant  f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) &amp;lt;/tex&amp;gt;&lt;br /&gt;
Таким образом получаем, что &amp;lt;tex&amp;gt; H(p_1, p_2, ..., p_n) \leqslant  \log_2n &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.&lt;br /&gt;
== Условная и взаимная энтропия ==&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; после того, как становится известным результат события &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;. Она называется ''энтропия &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; при условии &amp;lt;tex&amp;gt;B&amp;lt;/tex&amp;gt;'', и обозначается &amp;lt;tex&amp;gt;H(A|B)&amp;lt;/tex&amp;gt;&lt;br /&gt;
}} &lt;br /&gt;
&amp;lt;tex&amp;gt;H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Определение&lt;br /&gt;
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий A и B.  &lt;br /&gt;
}}&lt;br /&gt;
&amp;lt;tex&amp;gt; H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) &amp;lt;/tex&amp;gt;&lt;br /&gt;
{{Утверждение&lt;br /&gt;
|statement= &amp;lt;tex&amp;gt; H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
|proof= По формуле условной вероятности &amp;lt;tex dpi=&amp;quot;130&amp;quot;&amp;gt; p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) &amp;lt;/tex&amp;gt; &amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = &amp;lt;/tex&amp;gt; &lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt; = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = &amp;lt;/tex&amp;gt;&amp;lt;tex dpi=&amp;quot;140&amp;quot;&amp;gt;H(A \cap B) - H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Таким образом получаем, что: &amp;lt;tex&amp;gt; H(A \cap B)= H(A|B)+H(B) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Аналогично: &amp;lt;tex&amp;gt;H(B \cap A)= H(B|A)+H(A) &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Из двух полученных равенств следует, что &amp;lt;tex&amp;gt; H(A|B)+H(B)=H(B|A)+H(A) &amp;lt;/tex&amp;gt; &lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]&lt;br /&gt;
*[[Условная вероятность|Условная вероятность]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* И.В. Романовский &amp;quot;Дискретный анализ&amp;quot;&lt;br /&gt;
* [http://ru.wikipedia.org/wiki/Информационная_энтропия Википедия {{---}} Информационная энтропия]&lt;br /&gt;
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wkipedia {{---}} Entropy(information_theory)] &lt;br /&gt;
[[Категория:Дискретная математика и алгоритмы]]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Теория вероятности ]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61285</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61285"/>
				<updated>2017-06-04T19:06:20Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова''' (англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark&lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда:&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; {{---}} константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; {{---}} случайная величина&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; {{---}} вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; {{---}} некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет [[Схема Бернулли|распределение Бернулли]] с параметром:&lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;,&lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха&lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\cdot I(|\xi|&amp;lt;x)+|\xi|\cdot I(|\xi|\geqslant x)\geqslant |\xi|\cdot I(|\xi|\geqslant x)\geqslant x\cdot I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\cdot I(|\xi|\geqslant x)) = x\cdot \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Пример ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева''' (англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|id = thCheb&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement =&lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
&lt;br /&gt;
:&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайного события&lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; {{---}} вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; {{---}} [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof =&lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;, которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала.&lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement =&lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{&lt;br /&gt;
\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
| proof =&lt;br /&gt;
Если в доказательстве [[#thCheb|неравенства Чебышева]] вместо &amp;lt;tex&amp;gt; \geqslant &amp;lt;/tex&amp;gt; поставить &amp;lt;tex&amp;gt; &amp;gt; &amp;lt;/tex&amp;gt; рассуждения не изменятся, так как&lt;br /&gt;
для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| &amp;gt; x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 &amp;gt; x^2&amp;lt;/tex&amp;gt;, поэтому:&lt;br /&gt;
 &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|&amp;gt; 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
* [[Дискретная случайная величина]]&lt;br /&gt;
* [[Дисперсия случайной величины]]&lt;br /&gt;
* [[Математическое ожидание случайной величины]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия {{---}} Неравенство Маркова]&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A7%D0%B5%D0%B1%D1%8B%D1%88%D1%91%D0%B2%D0%B0#.D0.9D.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A7.D0.B5.D0.B1.D1.8B.D1.88.D1.91.D0.B2.D0.B0_.D0.B2_.D1.82.D0.B5.D0.BE.D1.80.D0.B8.D0.B8_.D0.B2.D0.B5.D1.80.D0.BE.D1.8F.D1.82.D0.BD.D0.BE.D1.81.D1.82.D0.B5.D0.B9 Википедия{{---}} Неравенство Чебышева]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Markov%27s_inequality Wikipedia {{---}} Markov's inequality]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Chebyshev%27s_inequality Wikipedia {{---}} Chebyshev's inequality]&lt;br /&gt;
*[https://www.probabilitycourse.com/chapter6/6_2_2_markov_chebyshev_inequalities.php Markov and Chebyshev Inequalities]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Дискретная математика и алгоритмы]]&lt;br /&gt;
[[Категория: Теория вероятности]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61284</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61284"/>
				<updated>2017-06-04T18:29:26Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: Двоеточие&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова''' (англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark&lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда:&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; {{---}} константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; {{---}} случайная величина&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; {{---}} вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; {{---}} некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром:&lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;,&lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха&lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\cdot I(|\xi|&amp;lt;x)+|\xi|\cdot I(|\xi|\geqslant x)\geqslant |\xi|\cdot I(|\xi|\geqslant x)\geqslant x\cdot I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\cdot I(|\xi|\geqslant x)) = x\cdot \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Пример ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева''' (англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement =&lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
&lt;br /&gt;
:&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайного события&lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; {{---}} вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; {{---}} [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof =&lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;, которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала.&lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement =&lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{&lt;br /&gt;
\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
| proof =&lt;br /&gt;
Согласно неравенству Чебышева&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\geqslant 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
* [[Дискретная случайная величина]]&lt;br /&gt;
* [[Дисперсия случайной величины]]&lt;br /&gt;
* [[Математическое ожидание случайной величины]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия {{---}} Неравенство Маркова]&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A7%D0%B5%D0%B1%D1%8B%D1%88%D1%91%D0%B2%D0%B0#.D0.9D.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A7.D0.B5.D0.B1.D1.8B.D1.88.D1.91.D0.B2.D0.B0_.D0.B2_.D1.82.D0.B5.D0.BE.D1.80.D0.B8.D0.B8_.D0.B2.D0.B5.D1.80.D0.BE.D1.8F.D1.82.D0.BD.D0.BE.D1.81.D1.82.D0.B5.D0.B9 Википедия{{---}} Неравенство Чебышева]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Markov%27s_inequality Wikipedia {{---}} Markov's inequality]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Chebyshev%27s_inequality Wikipedia {{---}} Chebyshev's inequality]&lt;br /&gt;
*[https://www.probabilitycourse.com/chapter6/6_2_2_markov_chebyshev_inequalities.php Markov and Chebyshev Inequalities]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Дискретная математика и алгоритмы]]&lt;br /&gt;
[[Категория: Теория вероятности]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61283</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61283"/>
				<updated>2017-06-04T18:28:38Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: Умножения&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова''' (англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark&lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда:&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; {{---}} константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; {{---}} случайная величина&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; {{---}} вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; {{---}} некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром:&lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;,&lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха&lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\cdot I(|\xi|&amp;lt;x)+|\xi|\cdot I(|\xi|\geqslant x)\geqslant |\xi|\cdot I(|\xi|\geqslant x)\geqslant x\cdot I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\cdot I(|\xi|\geqslant x)) = x\cdot \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Пример ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева''' (англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement =&lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
&lt;br /&gt;
:&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где:&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайного события&lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; {{---}} вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; {{---}} [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof =&lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;, которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала.&lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement =&lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{&lt;br /&gt;
\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
&lt;br /&gt;
| proof =&lt;br /&gt;
Согласно неравенству Чебышева&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\geqslant 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
* [[Дискретная случайная величина]]&lt;br /&gt;
* [[Дисперсия случайной величины]]&lt;br /&gt;
* [[Математическое ожидание случайной величины]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия {{---}} Неравенство Маркова]&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A7%D0%B5%D0%B1%D1%8B%D1%88%D1%91%D0%B2%D0%B0#.D0.9D.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A7.D0.B5.D0.B1.D1.8B.D1.88.D1.91.D0.B2.D0.B0_.D0.B2_.D1.82.D0.B5.D0.BE.D1.80.D0.B8.D0.B8_.D0.B2.D0.B5.D1.80.D0.BE.D1.8F.D1.82.D0.BD.D0.BE.D1.81.D1.82.D0.B5.D0.B9 Википедия{{---}} Неравенство Чебышева]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Markov%27s_inequality Wikipedia {{---}} Markov's inequality]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Chebyshev%27s_inequality Wikipedia {{---}} Chebyshev's inequality]&lt;br /&gt;
*[https://www.probabilitycourse.com/chapter6/6_2_2_markov_chebyshev_inequalities.php Markov and Chebyshev Inequalities]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Дискретная математика и алгоритмы]]&lt;br /&gt;
[[Категория: Теория вероятности]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61282</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61282"/>
				<updated>2017-06-04T18:23:24Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: Последние правки&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова''' (англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark &lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда: &lt;br /&gt;
:  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где: &lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; {{---}} константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; {{---}} случайная величина &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; {{---}} вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; {{---}} некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром: &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Пример ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева''' (англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}} &lt;br /&gt;
 &lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement = &lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
:&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где: &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; {{---}} [[Математическое ожидание случайной величины| математическое ожидание]] случайного события  &lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; {{---}} вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt; &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; {{---}} [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof = &lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;, которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала. &lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement = &lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{&lt;br /&gt;
\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
| proof = &lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\geqslant 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
* [[Дискретная случайная величина]]&lt;br /&gt;
* [[Дисперсия случайной величины]]&lt;br /&gt;
* [[Математическое ожидание случайной величины]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия {{---}} Неравенство Маркова]&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A7%D0%B5%D0%B1%D1%8B%D1%88%D1%91%D0%B2%D0%B0#.D0.9D.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A7.D0.B5.D0.B1.D1.8B.D1.88.D1.91.D0.B2.D0.B0_.D0.B2_.D1.82.D0.B5.D0.BE.D1.80.D0.B8.D0.B8_.D0.B2.D0.B5.D1.80.D0.BE.D1.8F.D1.82.D0.BD.D0.BE.D1.81.D1.82.D0.B5.D0.B9 Википедия{{---}} Неравенство Чебышева]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Markov%27s_inequality Wikipedia {{---}} Markov's inequality]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Chebyshev%27s_inequality Wikipedia {{---}} Chebyshev's inequality]&lt;br /&gt;
*[https://www.probabilitycourse.com/chapter6/6_2_2_markov_chebyshev_inequalities.php Markov and Chebyshev Inequalities]&lt;br /&gt;
&lt;br /&gt;
[[Категория: Дискретная математика и алгоритмы]]&lt;br /&gt;
[[Категория: Теория вероятности]]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61276</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61276"/>
				<updated>2017-06-04T17:39:50Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: см. Также и Источники информации&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова'''(англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark &lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где &lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; - константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; - случайная величина &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; - вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева'''(англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}} &lt;br /&gt;
 &lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement = &lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] случайного события  &lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; - вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt; &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; - [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof = &lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала. &lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement = &lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{&lt;br /&gt;
\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
| proof = &lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\geqslant 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== См. также ==&lt;br /&gt;
* [[Дискретная случайная величина]]&lt;br /&gt;
* [[Дисперсия случайной величины]]&lt;br /&gt;
* [[Математическое ожидание случайной величины]]&lt;br /&gt;
&lt;br /&gt;
== Источники информации ==&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия {{---}} Неравенство Маркова]&lt;br /&gt;
* [https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%A7%D0%B5%D0%B1%D1%8B%D1%88%D1%91%D0%B2%D0%B0#.D0.9D.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A7.D0.B5.D0.B1.D1.8B.D1.88.D1.91.D0.B2.D0.B0_.D0.B2_.D1.82.D0.B5.D0.BE.D1.80.D0.B8.D0.B8_.D0.B2.D0.B5.D1.80.D0.BE.D1.8F.D1.82.D0.BD.D0.BE.D1.81.D1.82.D0.B5.D0.B9 Википедия{{---}} Неравенство Чебышева]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Markov%27s_inequality Wikipedia {{---}} Markov's inequality]&lt;br /&gt;
*[https://en.wikipedia.org/wiki/Chebyshev%27s_inequality Wikipedia {{---}} Chebyshev's inequality]&lt;br /&gt;
*[https://www.probabilitycourse.com/chapter6/6_2_2_markov_chebyshev_inequalities.php Markov and Chebyshev Inequalities]&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61273</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61273"/>
				<updated>2017-06-04T17:29:50Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: Добавил интервики, объяснил неравенства, заменил все сто нужно на tex, изменил знаки неравенств и умножения, смержил формулировки с их до&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = '''Нера́венство Ма́ркова'''(англ. Markov's inequality) в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её [[Математическое ожидание случайной величины| математического ожидания]]. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
{{Теорема&lt;br /&gt;
| id = thMark &lt;br /&gt;
| about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на [[Вероятностное пространство, элементарный исход, событие|вероятностном пространстве]] (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее [[Математическое ожидание случайной величины| математическое ожидание]] &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
где &lt;br /&gt;
: &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt; - константа соответствующая некоторому событию в терминах [[Математическое ожидание случайной величины| математического ожидания]]&lt;br /&gt;
: &amp;lt;tex&amp;gt; \xi &amp;lt;/tex&amp;gt; - случайная величина &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)&amp;lt;/tex&amp;gt; - вероятность отклонения модуля случайной величины от &amp;lt;tex&amp;gt; x &amp;lt;/tex&amp;gt;&lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] случайной величины&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее [[Математическое ожидание случайной величины| математическое ожидание]] равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = '''Неравенство Чебышева'''(англ. Chebyshev's inequality) является следствием [[#thMark|неравенства Маркова]] и утверждает, что случайная величина в основном принимает значения, близкие к значению [[Математическое ожидание случайной величины| математического ожидания]]. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}} &lt;br /&gt;
 &lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Чебышева&lt;br /&gt;
|statement = &lt;br /&gt;
Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/tex&amp;gt;, то &amp;lt;tex&amp;gt;\forall x &amp;gt; 0&amp;lt;/tex&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) \leqslant \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
где &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] квадрата случайного события.&lt;br /&gt;
: &amp;lt;tex&amp;gt;E\mathrm \xi&amp;lt;/tex&amp;gt; - [[Математическое ожидание случайной величины| математическое ожидание]] случайного события  &lt;br /&gt;
: &amp;lt;tex&amp;gt; P\mathrm (|\xi - \mathbb E\mathrm \xi| \geqslant x) &amp;lt;/tex&amp;gt; - вероятность отклонения случайного события от его [[Математическое ожидание случайной величины| математического ожидания]] хотя бы на &amp;lt;tex&amp;gt; x&amp;lt;/tex&amp;gt; &lt;br /&gt;
: &amp;lt;tex&amp;gt; \mathbb D\mathrm \xi &amp;lt;/tex&amp;gt; - [[Дисперсия случайной величины|дисперсия случайного события]]&lt;br /&gt;
|proof = &lt;br /&gt;
Для &amp;lt;tex&amp;gt;x&amp;gt;0&amp;lt;/tex&amp;gt; неравенство  &amp;lt;tex&amp;gt;|\xi-\mathbb E\mathrm \xi| \geqslant x&amp;lt;/tex&amp;gt; равносильно неравенству &amp;lt;tex&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2&amp;lt;/tex&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \geqslant x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \geqslant x^2 ) \leqslant \dfrac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \dfrac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего [[Математическое ожидание случайной величины| математического ожидания]] более чем на три корня из [[Дисперсия случайной величины|дисперсии]] мала. &lt;br /&gt;
&lt;br /&gt;
{{Утверждение&lt;br /&gt;
| statement = &lt;br /&gt;
  Если &amp;lt;tex&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/tex&amp;gt;, то &lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \leqslant 3\sqrt{\mathbb D\mathrm \xi})\geqslant \dfrac {8}{9}&amp;lt;/tex&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
| proof = &lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
: &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\geqslant 3\sqrt{\mathbb D\mathrm \xi})\leqslant \dfrac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \dfrac {1} {9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения [[Математическое ожидание случайной величины| математического ожидания]] меньше чем &amp;lt;tex&amp;gt;\dfrac {1}{9}&amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61266</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61266"/>
				<updated>2017-06-04T16:15:40Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Замена на tex */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = Нера́венство Ма́ркова в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её математического ожидания. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на вероятностном пространстве (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее математическое ожидание &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
:  &amp;lt;tex&amp;gt;\mathbb P\mathrm (|\xi|\geqslant 15)\leqslant 3/15 = 0.2&amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = Неравенство Чебышева является следствием Неравенства Маркова и утверждает, что случайная величина в основном принимает значения, близкие к значению математического &lt;br /&gt;
 ожидания. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}  &lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/math&amp;gt;, то &amp;lt;math&amp;gt;\forall x &amp;gt; 0&amp;lt;/math&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \ge x) \le \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Для &amp;lt;math&amp;gt;x&amp;gt;0&amp;lt;/math&amp;gt; неравенство  &amp;lt;math&amp;gt;|\xi-\mathbb E\mathrm \xi| \ge x&amp;lt;/math&amp;gt; равносильно неравенству &amp;lt;math&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \ge x^2&amp;lt;/math&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \ge x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \ge x^2 ) \le \frac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего математического ожидания более чем на три корня из дисперсии мала. &lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое утверждение:&lt;br /&gt;
  Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/math&amp;gt;, то &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \le 3\sqrt{\mathbb D\mathrm \xi})\ge \frac {8}{9}&amp;lt;/math&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
Доказательство:&lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
 &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\ge 3\sqrt{\mathbb D\mathrm \xi})\le \frac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \frac {1} {9}&amp;lt;/math&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения математического ожидания меньше чем &amp;lt;math&amp;gt;\frac {1}{9}&amp;lt;/math&amp;gt;&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61263</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61263"/>
				<updated>2017-06-04T15:36:29Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: Удалил раздел доказательство, а само доказательство оформил как приложение к теореме&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = Нера́венство Ма́ркова в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её математического ожидания. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на вероятностном пространстве (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее математическое ожидание &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi|\ge 15)\le 3/15 = 0.2&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = Неравенство Чебышева является следствием Неравенства Маркова и утверждает, что случайная величина в основном принимает значения, близкие к значению математического &lt;br /&gt;
 ожидания. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}  &lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/math&amp;gt;, то &amp;lt;math&amp;gt;\forall x &amp;gt; 0&amp;lt;/math&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \ge x) \le \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Для &amp;lt;math&amp;gt;x&amp;gt;0&amp;lt;/math&amp;gt; неравенство  &amp;lt;math&amp;gt;|\xi-\mathbb E\mathrm \xi| \ge x&amp;lt;/math&amp;gt; равносильно неравенству &amp;lt;math&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \ge x^2&amp;lt;/math&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \ge x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \ge x^2 ) \le \frac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего математического ожидания более чем на три корня из дисперсии мала. &lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое утверждение:&lt;br /&gt;
  Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/math&amp;gt;, то &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \le 3\sqrt{\mathbb D\mathrm \xi})\ge \frac {8}{9}&amp;lt;/math&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
Доказательство:&lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
 &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\ge 3\sqrt{\mathbb D\mathrm \xi})\le \frac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \frac {1} {9}&amp;lt;/math&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения математического ожидания меньше чем &amp;lt;math&amp;gt;\frac {1}{9}&amp;lt;/math&amp;gt;&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61262</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61262"/>
				<updated>2017-06-04T15:33:39Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Формулировка */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = Нера́венство Ма́ркова в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её математического ожидания. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
{{Теорема&lt;br /&gt;
|about = Неравенство Маркова&lt;br /&gt;
| statement = Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на вероятностном пространстве (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее математическое ожидание &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
| proof = Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
:&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
:&amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb E |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x) &amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
:&amp;lt;tex&amp;gt; \mathbb P (|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
  &amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
  &amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
  &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi|\ge 15)\le 3/15 = 0.2&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = Неравенство Чебышева является следствием Неравенства Маркова и утверждает, что случайная величина в основном принимает значения, близкие к значению математического &lt;br /&gt;
 ожидания. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}  &lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/math&amp;gt;, то &amp;lt;math&amp;gt;\forall x &amp;gt; 0&amp;lt;/math&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \ge x) \le \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Для &amp;lt;math&amp;gt;x&amp;gt;0&amp;lt;/math&amp;gt; неравенство  &amp;lt;math&amp;gt;|\xi-\mathbb E\mathrm \xi| \ge x&amp;lt;/math&amp;gt; равносильно неравенству &amp;lt;math&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \ge x^2&amp;lt;/math&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \ge x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \ge x^2 ) \le \frac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего математического ожидания более чем на три корня из дисперсии мала. &lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое утверждение:&lt;br /&gt;
  Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/math&amp;gt;, то &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \le 3\sqrt{\mathbb D\mathrm \xi})\ge \frac {8}{9}&amp;lt;/math&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
Доказательство:&lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
 &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\ge 3\sqrt{\mathbb D\mathrm \xi})\le \frac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \frac {1} {9}&amp;lt;/math&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения математического ожидания меньше чем &amp;lt;math&amp;gt;\frac {1}{9}&amp;lt;/math&amp;gt;&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61261</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61261"/>
				<updated>2017-06-04T14:36:25Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Замена на tex */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = Нера́венство Ма́ркова в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её математического ожидания. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на вероятностном пространстве (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее математическое ожидание &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;tex&amp;gt; A&amp;lt;/tex&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; случайную величину &amp;lt;tex&amp;gt;I&amp;lt;/tex&amp;gt;, равную единице если событие &amp;lt;tex&amp;gt;A&amp;lt;/tex&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;tex&amp;gt;I(A)&amp;lt;/tex&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
  &amp;lt;tex&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/tex&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;tex&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/tex&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;tex&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/tex&amp;gt;. Поэтому&lt;br /&gt;
  &amp;lt;tex&amp;gt;|\xi|=|\xi|\times I(|\xi|&amp;lt;x)+|\xi|\times I(|\xi|\geqslant x)\geqslant |\xi|\times I(|\xi|\geqslant x)\geqslant x\times I(|\xi| \geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
  &amp;lt;tex&amp;gt;\mathbb E\mathrm |\xi|\geqslant \mathbb E\mathrm(x\times I(|\xi|\geqslant x)) = x\times \mathbb P\mathrm (|\xi|\geqslant x)&amp;lt;/tex&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;tex&amp;gt;x&amp;lt;/tex&amp;gt;:&lt;br /&gt;
  &amp;lt;tex&amp;gt; \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \dfrac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi|\ge 15)\le 3/15 = 0.2&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = Неравенство Чебышева является следствием Неравенства Маркова и утверждает, что случайная величина в основном принимает значения, близкие к значению математического &lt;br /&gt;
 ожидания. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}  &lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/math&amp;gt;, то &amp;lt;math&amp;gt;\forall x &amp;gt; 0&amp;lt;/math&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \ge x) \le \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Для &amp;lt;math&amp;gt;x&amp;gt;0&amp;lt;/math&amp;gt; неравенство  &amp;lt;math&amp;gt;|\xi-\mathbb E\mathrm \xi| \ge x&amp;lt;/math&amp;gt; равносильно неравенству &amp;lt;math&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \ge x^2&amp;lt;/math&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \ge x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \ge x^2 ) \le \frac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего математического ожидания более чем на три корня из дисперсии мала. &lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое утверждение:&lt;br /&gt;
  Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/math&amp;gt;, то &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \le 3\sqrt{\mathbb D\mathrm \xi})\ge \frac {8}{9}&amp;lt;/math&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
Доказательство:&lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
 &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\ge 3\sqrt{\mathbb D\mathrm \xi})\le \frac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \frac {1} {9}&amp;lt;/math&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения математического ожидания меньше чем &amp;lt;math&amp;gt;\frac {1}{9}&amp;lt;/math&amp;gt;&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	<entry>
		<id>http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61254</id>
		<title>Неравенство Маркова</title>
		<link rel="alternate" type="text/html" href="http://neerc.ifmo.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%80%D0%B0%D0%B2%D0%B5%D0%BD%D1%81%D1%82%D0%B2%D0%BE_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0&amp;diff=61254"/>
				<updated>2017-06-04T14:17:01Z</updated>
		
		<summary type="html">&lt;p&gt;Kowalski: /* Замена на tex */&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;br /&gt;
== Неравенство Маркова ==&lt;br /&gt;
&lt;br /&gt;
  {{Определение&lt;br /&gt;
  |definition = Нера́венство Ма́ркова в теории вероятностей дает оценку вероятности, что случайная величина превзойдет по модулю фиксированную положительную константу, в терминах её математического ожидания. Получаемая оценка обычно груба, однако она позволяет получить определённое представление о распределении, когда последнее не известно&lt;br /&gt;
 явным образом.&lt;br /&gt;
}}&lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Пусть случайная величина &amp;lt;tex&amp;gt;X: \Omega \rightarrow \mathbb R\mathrm+&amp;lt;/tex&amp;gt; определена на вероятностном пространстве (&amp;lt;tex&amp;gt;\Omega&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;F&amp;lt;/tex&amp;gt;, &amp;lt;tex&amp;gt;\mathbb R&amp;lt;/tex&amp;gt;), и ее математическое ожидание &amp;lt;tex&amp;gt; \mathbb E\mathrm |\xi|&amp;lt;\mathcal {1}&amp;lt;/tex&amp;gt;. Тогда &lt;br /&gt;
  &amp;lt;tex&amp;gt;\forall ~x &amp;gt; 0~~ \mathbb P\mathrm(|\xi| \geqslant x)\leqslant \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/tex&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Возьмем для доказательства следующее понятие:&lt;br /&gt;
&lt;br /&gt;
Пусть &amp;lt;math&amp;gt; A&amp;lt;/math&amp;gt; - некоторое событие. Назовем индикатором события &amp;lt;math&amp;gt;A&amp;lt;/math&amp;gt; случайную величину &amp;lt;math&amp;gt;I&amp;lt;/math&amp;gt;, равную единице если событие &amp;lt;math&amp;gt;A&amp;lt;/math&amp;gt; произошло, и нулю в противном случае. По определению величина &amp;lt;math&amp;gt;I(A)&amp;lt;/math&amp;gt; имеет распределение Бернулли с параметром &lt;br /&gt;
  &amp;lt;math&amp;gt; p = \mathbb P\mathrm (I(A) = 1) = \mathbb P\mathrm (A)&amp;lt;/math&amp;gt;, &lt;br /&gt;
и ее математическое ожидание равно вероятности успеха &lt;br /&gt;
&amp;lt;math&amp;gt; p = \mathbb P\mathrm (A) &amp;lt;/math&amp;gt;. &lt;br /&gt;
Индикаторы прямого и противоположного событий связаны равенством &amp;lt;math&amp;gt;I(A) + I(\overline A) = 1&amp;lt;/math&amp;gt;. Поэтому&lt;br /&gt;
  &amp;lt;math&amp;gt;|\xi|=|\xi|*I(|\xi|&amp;lt;x)+|\xi|*I(|\xi|\ge x)\ge |\xi|*I(|\xi|\ge x)\ge x*I(|\xi| \ge x)&amp;lt;/math&amp;gt;.&lt;br /&gt;
Тогда&lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb E\mathrm |\xi|\ge \mathbb E\mathrm(x*I(|\xi|\ge x)) = x*\mathbb P\mathrm (|\xi|\ge x)&amp;lt;/math&amp;gt;.&lt;br /&gt;
Разделим обе части на &amp;lt;math&amp;gt;x&amp;lt;/math&amp;gt;:&lt;br /&gt;
  &amp;lt;math&amp;gt; \mathbb P\mathrm(|\xi| \ge x)\le \frac {\mathbb E\mathrm |\xi|}{x} &amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Примеры ==&lt;br /&gt;
&lt;br /&gt;
Ученики в среднем опаздывают на 3 минуты. Какова вероятность того, что ученик опоздает на 15 минут и более? Дать грубую оценку сверху.&lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi|\ge 15)\le 3/15 = 0.2&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Неравенство Чебышева ==&lt;br /&gt;
&lt;br /&gt;
 {{Определение&lt;br /&gt;
 |definition = Неравенство Чебышева является следствием Неравенства Маркова и утверждает, что случайная величина в основном принимает значения, близкие к значению математического &lt;br /&gt;
 ожидания. Говоря более точно, оно дает оценку вероятности, что случайная величина примет значение, далекое от своего среднего.&lt;br /&gt;
}}  &lt;br /&gt;
== Формулировка ==&lt;br /&gt;
&lt;br /&gt;
Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2&amp;lt;\mathcal 1&amp;lt;/math&amp;gt;, то &amp;lt;math&amp;gt;\forall x &amp;gt; 0&amp;lt;/math&amp;gt; будет выполнено&lt;br /&gt;
  &lt;br /&gt;
&amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi - \mathbb E\mathrm \xi| \ge x) \le \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Доказательство ==&lt;br /&gt;
&lt;br /&gt;
Для &amp;lt;math&amp;gt;x&amp;gt;0&amp;lt;/math&amp;gt; неравенство  &amp;lt;math&amp;gt;|\xi-\mathbb E\mathrm \xi| \ge x&amp;lt;/math&amp;gt; равносильно неравенству &amp;lt;math&amp;gt;(\xi-\mathbb E\mathrm \xi)^2 \ge x^2&amp;lt;/math&amp;gt;, поэтому &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \ge x) = \mathbb P\mathrm((\xi-\mathbb E\mathrm \xi)^2 \ge x^2 ) \le \frac {\mathbb E\mathrm(\xi-\mathbb E\mathrm\xi)^2}{x^2} = \frac {\mathbb D\mathrm \xi}{x^2}&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Следствие ==&lt;br /&gt;
&lt;br /&gt;
Как следствие получим так называемое &amp;quot;правило трех сигм&amp;quot;,которое означает, что вероятность случайной величины отличаться от своего математического ожидания более чем на три корня из дисперсии мала. &lt;br /&gt;
&lt;br /&gt;
Рассмотрим такое утверждение:&lt;br /&gt;
  Если &amp;lt;math&amp;gt;\mathbb E\mathrm \xi^2 &amp;lt; \mathcal {1}&amp;lt;/math&amp;gt;, то &lt;br /&gt;
  &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi| \le 3\sqrt{\mathbb D\mathrm \xi})\ge \frac {8}{9}&amp;lt;/math&amp;gt;.&lt;br /&gt;
  &lt;br /&gt;
Доказательство:&lt;br /&gt;
Согласно неравенству Чебышева &lt;br /&gt;
 &amp;lt;math&amp;gt;\mathbb P\mathrm (|\xi-\mathbb E\mathrm \xi|\ge 3\sqrt{\mathbb D\mathrm \xi})\le \frac {\mathbb D\mathrm \xi}{(3\sqrt{\mathbb D\mathrm \xi})^2} = \frac {1} {9}&amp;lt;/math&amp;gt;&lt;br /&gt;
Отсюда заметим, что вероятность отклониться значению случайной величины от значения математического ожидания меньше чем &amp;lt;math&amp;gt;\frac {1}{9}&amp;lt;/math&amp;gt;&lt;/div&gt;</summary>
		<author><name>Kowalski</name></author>	</entry>

	</feed>