Изменения

Перейти к: навигация, поиск

Энтропия случайного источника

1399 байт добавлено, 10:26, 14 января 2011
м
Нет описания правки
}}
Пусть задан случайный источник.
 
Пусть мы имеем вероятностную схему <tex>\mathcal{P}</tex> от этого источника с <tex>n</tex> исходами, и вероятности этих исходов равны <tex>p_1, p_2, ..., p_n</tex>.
== Свойства ==
# * Функция <tex>H(p_1, p_2, ..., p_n)</tex> непрерывна.# * <tex>H(\underbrace{\frac{1}{n}, \frac{1}{n}, ..., \frac{1}{n}}_\text{n}) < H(\underbrace{\frac{1}{n+1}, \frac{1}{n+1}, ..., \frac{1}{n+1}}_\text{n+1})</tex># * <tex>H(p_{1}q_{11}, p_{1}q_{12}, ..., p_{n}q_{nk_n}) = H(p_1, p_2, ..., p_n) + \sum\limits_{i=1}^{n} p_iH(q_i, ..., q_{ik_i})</tex># :<tex>\rhd</tex>::Рассмотрим схему <tex>\mathcal{P}_m</tex> c <tex>m</tex> исходами и вероятностями <tex>\{p_1, p_2, ..., p_m\}</tex> и схему <tex>\mathcal{R}_k</tex> с <tex>k</tex> исходами и вероятностями <tex>\{q_1, q_2, ..., q_k\}</tex>.::Образуем комбинированную схему c <tex>m + k - 1</tex> исходами следующим образом:::выбирается случайным образом один из исходов схемы <tex>\mathcal{P}_m</tex>, и если произошел <tex>m</tex>-й исход, выбирается случайно один из исходов схемы <tex>\mathcal{R}_k</tex>, а остальные <tex>m - 1</tex> исходов схемы <tex>\mathcal{P}_m</tex> считаются окончательными.::В этой комбинированной схеме <tex>\mathcal{PR}</tex> мы получаем исходы ::<tex>1, 2, ..., m - 1, (m, 1), (m, 2), ..., (m, k)</tex> ::с вероятностями ::<tex>p_1, p_2, ..., p_{m-1}, p_mq_1, p_mq_2, ..., p_mq_k</tex> ::Легко видеть, что <tex>H(\mathcal{PR}) = H(\mathcal{P}_m) + p_mH(\mathcal{R}_k)</tex>.  ::Потребуем выполнения этого свойства для любой меры неопределенности.:<tex>\lhd</tex> * <tex>H(\{\frac{1}{2}, \frac{1}{2}\}) = 1 </tex>
==Вычисление энтропии==
147
правок

Навигация