Изменения
Нет описания правки
{{Определение
|definition =
Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности.<br>
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
|
}}
Пусть задан случайный источник.
Пусть мы имеем вероятностную схему <tex>\mathcal{P}</tex> от этого источника с <tex>n</tex> исходами , и вероятности этих исходов равны <tex>p_1, p_2, ..., p_n</tex>.
Тогда энтропия задается как вполне конкретная функция от вероятностей исходов.
: <tex>H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex>
: <tex>H(p_1, p_2, ..., p_n)</tex> |}}
