7
правок
Изменения
Нет описания правки
{{Определение
|definition = '''Энтропия случайного источника''' — {{---}} функция от вероятностей исходов: <tex>H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex>, характеризующая количество информации, приходящейся на одно сообщение источника.
}}
== Свойства ==
2) Докажем вторую часть неравенства:
<tex dpi="140"> f(x)=\log_2x </tex> — {{---}} выпуклая вверх функция, <tex> p_1,p_2,\ldots,p_n>0</tex> и <tex> \sum \limits_{i=1}^{n} p_i = 1 </tex>, тогда для нее выполняется [http://ru.wikipedia.org/wiki/Неравенство_Йенсена: неравенство Йенсена]:
<tex dpi="140"> \sum\limits_{i=1}^{n} p_i f(\frac{1}{p_i}) \leqslant f(\sum\limits_{i=1}^{n} (p_i \cdot\frac{1}{p_i})) </tex>
Таким образом получаем, что <tex> H(p_1, p_2, ..., p_n) \leqslant \log_2n </tex>
== Условная и взаимная энтропия ==
{{Определение
|definition = '''Условная энтропия''' — {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события <tex>A</tex> после того, как становится известным результат события <tex>B</tex>. Она называется ''энтропия <tex>A</tex> при условии <tex>B</tex>'', и обозначается <tex>H(A|B)</tex>
}}
<tex>H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) </tex>
{{Определение
|definition = '''Взаимная энтропия''' — {{---}} энтропия объединения двух событий A и B.
}}
<tex> H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) </tex>
