Энтропия случайного источника — различия между версиями
(Новая страница: «__TOC__ == Определение == {{Определение |definition = Энтропией случайной схемы называется мера соде…») |
|||
| Строка 4: | Строка 4: | ||
{{Определение | {{Определение | ||
|definition = | |definition = | ||
| − | Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности. | + | Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности.<br> |
| + | |||
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. | Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. | ||
| + | | | ||
| + | }} | ||
| + | Пусть задан случайный источник. | ||
| − | + | Пусть мы имеем вероятностную схему <tex>\mathcal{P}</tex> от этого источника с <tex>n</tex> исходами, и вероятности этих исходов равны <tex>p_1, p_2, ..., p_n</tex>. | |
| − | Пусть мы имеем вероятностную схему <tex>\mathcal{P}</tex> с <tex>n</tex> исходами и вероятности этих исходов равны <tex>p_1, p_2, ..., p_n</tex>. | ||
Тогда энтропия задается как вполне конкретная функция от вероятностей исходов. | Тогда энтропия задается как вполне конкретная функция от вероятностей исходов. | ||
: <tex>H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex> | : <tex>H: \bigcup\limits_{i=1}^{\infty} \mathbb{R}^i \rightarrow \mathbb{R} </tex> | ||
| − | : <tex>H(p_1, p_2, ..., p_n)</tex> | + | : <tex>H(p_1, p_2, ..., p_n)</tex> |
| − | |||
| − | |||
Версия 15:21, 23 декабря 2010
Содержание
Определение
| Определение: |
| Энтропией случайной схемы называется мера содержащейся в этой схеме неопределенности. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. |
Пусть задан случайный источник.
Пусть мы имеем вероятностную схему от этого источника с исходами, и вероятности этих исходов равны .
Тогда энтропия задается как вполне конкретная функция от вероятностей исходов.
