<tex>x = m</tex> (здесь <tex>m</tex> — фиксированное число) и затем начала случайно блуждать в соответствии с описанными выше правилами. Пусть <tex>d</tex> — смещение частицы за <tex>n</tex> шагов.
Найдём <tex>P(\xi_n = m + d)</tex> для каждого <tex>d ∈ Z</tex>.
{{Лемма
|statement = <tex dpi="140">g(n) = H(\dfrac{1}{n}, \dfrac{1}{n}, \dots, \dfrac{1}{n}) = -k \log_2 \dfrac{1}{n} = k \log_2n</tex>
|proof =
Будем рассматривать для <tex>k=1</tex> (бит).
Рассмотрим функцию Справедливо очевидное равенство: *<tex>gP(mn\xi_n = m + d) = P(\xi_n = m + d | \xi_0 = m)</tex>:: , если <tex>gP(mn)\xi_0 =g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n).</tex>
Пусть: <tex>g(2)=1 \quad</tex>Представление через условную вероятность удобно, тогда <tex>g(2^t)=t</tex> и <tex> \quad g(n^t)=t \cdot g(n)</tex>если нам необходимо явно указать, где находилась частица в начальный момент времени.
Рассмотрим такое Наша физическая модель с математической точки зрения в точности отвечаетсхеме независимых испытаний Бернулли с двумя исходами —- прыжком вправо, который мы будем называть успехом, и прыжком вправо (неудачей). В рамках этойматематической модели все вероятности рассчитываются на основании распределения Бернулли. Пусть частица сделала <tex> i n</tex>прыжков. Вероятность того, что средиэтих прыжков будет ровно <tex>2^i \leqslant n^t k</tex> прыжков вправо (или, что то же самое, < 2^{i+1}tex>n−k</tex>прыжковвлево) задаётся формулой:
Можно заметить, что если *<tex> iP =[ \log_2 {C_{n}^k} p^k q^t ] {n−k}, k = 0, 1, . . . , n.</tex>, то неравенство останется верным. (1)
По предыдущим рассуждениям получаем, что:Смещение частицы и число прыжков влево и вправо связаны простейшим уравнением:*<tex>gd = 1 · k + (2^i−1) \leqslant g· (n^t− k) = 2k − n \quad< g/tex> (2^{i+1})</tex>
: откуда <tex> i \leqslant t \cdot gk = (n+ d) /2</tex>. Понятно, что, поскольку частица сделала ровно n прыжков,число прыжков вправо должно быть целым числом в интервале <tex>[0, n]<i/tex>, другими словами, <tex>P(\xi_n = m +d) = 0,</tex> если <tex>k = (n + d)/2 ∈ \{ / 0, 1 , . . . , n\quad \quad }</tex>. Если же указанноеограничение выполнено, то в рамках нашей модели блужданий мы можем воспользоваться распределением Бернулли (1):
Делим неравенство на *<tex>t</tex>:: <tex dpiP(\xi_n = m + d) ="140">\dfrac{iC_{n}^k}p^k q^{tn−k} , \leqslant gquad k = (n+ d) < \dfrac{i+1}{t}/ 2 </tex>, то есть при обязательном условии <tex dpi="140">\dfrack ∈ {[ \log_2 0, 1, . . . , n^t ]}{t} \leqslant g(n) < \dfrac{[ \log_2 n^t ]+1}{t}.</tex>(3)
Отсюда ясно, что если <tex> t\rightarrow \infty</tex>, то получаем <tex>g(n) = \log_2n</tex>
}}
{{Теорема
|statement= <tex dpi="140">H(p_1, p_2, \dots, p_n) = -k \sum\limits_{i=1}^{n} p_i\log_2p_i = k \sum\limits_{i=1}^{n} p_i\log_2\dfrac{1}{p_i}</tex>
|proof =
Теперь рассмотрим функцию <tex dpi="140">H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n})</tex>
Приведем дроби внутри функции к одному знаменателю, получаем: <tex dpi="140"> H(\dfrac{a_1}{b_1}, \dfrac{a_2}{b_2}, \dots, \dfrac{a_n}{b_n}) = H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b})</tex>
Далее по свойству энтропии и доказанной лемме:
: <tex dpi="140">g(b)= H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) + \sum\limits_{i=1}^{n} \dfrac{x_i}{b} g(x_i)</tex>
: <tex dpi="140">H(\dfrac{x_1}{b}, \dfrac{x_2}{b}, \dots, \dfrac{x_n}{b}) = \log_2b - \sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2x_i = -\sum\limits_{i=1}^{n} \dfrac{x_i}{b} \log_2 \dfrac{x_i}{b}</tex>
При <tex dpi="140"> p_i = \dfrac{x_i}{b} </tex> получаем, что <tex dpi="140">H(p_1, p_2, \dots, p_n) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = \sum\limits_{i=1}^{n} p_i \log_2 \dfrac{1}{p_i}</tex>
}}
== Примеры ==
