Изменения

Перейти к: навигация, поиск

Энтропия случайного источника

640 байт добавлено, 01:03, 24 декабря 2010
Beta
__TOC__
== Определение ==
: <tex> k\rightarrow \infty \quad \quad g(n) = \log_2n = -k \log_2 \frac{1}{n}</tex>
 
}}
 
Теперь рассмотрим функцию <tex>H(\frac{a_1}{b_1}, \frac{a_2}{b_2}, ..., \frac{a_n}{b_n})</tex>
Приведем дроби внутри функции к одному знаменателю, получаем: <tex>H(\frac{a'_1}{b}, \frac{a'_2}{b}, ..., \frac{a'_n}{b})</tex>
 
Далее по свойству 3:
: <tex>g(b)= H(\frac{a'_1}{b}, \frac{a'_2}{b}, ..., \frac{a'_n}{b}) + \sum\limits_{i=1}^{n} \frac{a'_i}{b} g(a'_i)</tex>
 
 
: <tex>H(\frac{a_1}{b_1}, \frac{a_2}{b_2}, ..., \frac{a_n}{b_n}) = \log_2b - \sum\limits_{i=1}^{n} \frac{a_i}{b_i} \log_2a'_i = -\sum\limits_{i=1}^{n} \frac{a_i}{b_i} \log_2 \frac{a_i}{b_i}</tex>
}}
 
== Литература ==
* И.В. Романовкий "Дискретный анализ"
147
правок

Навигация