7
правок
Изменения
→См. также
* Функция <tex>H(p_1, p_2, \dots, p_n)</tex> определена и непрерывна для всех таких наборов <tex>p_i\in[0,\;1]</tex>, что <tex> \sum\limits_{i = 1}^{n} p_i = 1</tex>
* <tex dpi ="130">H(\underbrace{\left( \dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}\right)}_\text{n}) < H(\underbrace{\left( \dfrac{1}{n+1}, \dfrac{1}{n+1}, \dots, \dfrac{1}{n+1}\right) }_\text{n+1})</tex>
* <tex dpi ="130"> H(p_{1}q_{11}, p_{1}q_{12}, \dots, p_{n}q_{nk_n}) = H(p_1, p_2, \dots, p_n) + \sum\limits_{i=1}^{n} p_iH(q_{i1}, \dots, q_{ik_i})</tex>
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета.
Найдем для нее энтропию:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} pi p_i \log_2p_i = -\sum\limits_{i=1}^{2} {(\dfrac{1 / }{2) } \cdot \log_2 (\dfrac{1 / }{2)}} = -\sum\limits_{i=1}^{2} {(\dfrac{1 / }{2) } \cdot (-1)} = 1</tex>
Это означает что после броска честной монеты мы получим информацию в размере <tex>1</tex> бит, уменьшив степень неопределенности вдвое.
<tex>H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) </tex>
{{Определение
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий <tex>A </tex> и <tex>B</tex>.
}}
<tex> H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) </tex>
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]
*[[Условная вероятность|Условная вероятность]]
*[[Арифметическое кодирование|Арифметическое кодирование]]
== Источники информации ==
