Энтропия случайного источника

Определение

Определение:

Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Пусть задан случайный источник.

Пусть мы имеем вероятностную схему [math]\mathcal{P}[/math] от этого источника с [math]n[/math] исходами, и вероятности этих исходов равны [math]p_1, p_2, ..., p_n[/math].

Тогда энтропия задается как вполне конкретная функция от вероятностей исходов.

[math]H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} [/math]

[math]H(p_1, p_2, ..., p_n)[/math]