18
правок
Изменения
Нет описания правки
Найдем для нее энтропию:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1</tex>
Это означает что после броска честной монеты мы получим информацию в размере 1 бит, уменьшив степень неопределенности вдвое, что нельзя сказать про [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} нечестная монета.
Найдем энтропию для монеты с [[Схема Бернулли| распределением Бернулли]] {0,2; 0,8}:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} pi \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 < 1 </tex>
