18
правок
Изменения
→Энтропия честной монеты
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета.
Найдем для нее энтропию:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} pi p_i \log_2p_i = -\sum\limits_{i=1}^{2} {(1 / 2) \log_2 (1 / 2)} = -\sum\limits_{i=1}^{2} {(1 / 2) \cdot (-1)} = 1</tex>
Это означает что после броска честной монеты мы получим информацию в размере <tex>1</tex> бит, уменьшив степень неопределенности вдвое.
