Изменения

Перейти к: навигация, поиск

Энтропия случайного источника

554 байта убрано, 10:12, 13 января 2012
Нет описания правки
{{Определение
|definition =Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности.'''Энтропия случайного источника''' — функция от вероятностей исходов: <brtexЭнтропия — это H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex>, характеризующая количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
}}
Пусть задан случайный источник.
Пусть мы имеем вероятностную схему <tex>\mathcal{P}</tex> от этого источника с <tex>n</tex> исходами, и вероятности этих исходов равны <tex>p_1, p_2, ..., p_n</tex>.
 
Тогда энтропия задается как вполне конкретная функция от вероятностей исходов.
 
: <tex>H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex>
: <tex>H(p_1, p_2, ..., p_n)</tex>
== Свойства ==
Энтропия должна удовлетворять следующим требованиям:
* Функция <tex>H(p_1, p_2, ..., p_n)</tex> непрерывна.
315
правок

Навигация