Изменения

Перейти к: навигация, поиск

Энтропия случайного источника

70 байт убрано, 15:20, 14 января 2013
Нет описания правки
2) Докажем вторую часть неравенства:
<tex dpi="140"> f(x)=\log_2x </tex> {{---}} выпуклая вверх функция, <tex> p_1,p_2,\ldots,p_n>0</tex> и <tex> \sum \limits_{i=1}^{n} p_i = 1 </tex>, тогда для нее выполняется [http://ru.wikipedia.org/wiki/Неравенство_Йенсена: неравенство Йенсена]:
<tex dpi="140"> \sum\limits_{i=1}^{n} p_i f(\frac{1}{p_i}) \leqslant f(\sum\limits_{i=1}^{n} (p_i \cdot\frac{1}{p_i})) </tex>
Таким образом получаем, что <tex> H(p_1, p_2, ..., p_n) \leqslant \log_2n </tex>
7
правок

Навигация