Энтропия случайного источника

Определение

Определение:

Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Пусть мы имеем вероятностную схему [math]\mathcal{P}[/math] с [math]n[/math] исходами и вероятности этих исходов равны [math]p_1, p_2, ..., p_n[/math]. Тогда энтропия задается как вполне конкретная функция от вероятностей исходов. [math]H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} [/math] [math]H(p_1, p_2, ..., p_n)[/math]