Участник:Mk17.ru

2020-05-19T20:45:46Z

83.169.216.126: /* Вероятность смещения на d единиц вправо или влево */

__TOC__
== Определение ==

{{Определение
|definition = '''Случайное блуждание''' (англ. ''Random walk'') {{---}} математическая модель процесса случайных изменений — шагов в дискретные моменты времени. При этом предполагается, что изменение на каждом шаге не зависит от предыдущих и от времени. В силу простоты анализа эта модель часто используется в разных сферах в математике, экономике, физике, но, как правило, такая модель является существенным упрощением реального процесса.
}}

== Случайные блуждания по прямой ==

Представим частицу, которая движется по целым точкам на прямой. Перемещение из одной точки
в другую происходит через равные промежутки времени. За один шаг частица из точки k с положительной вероятностью p перемещается в точку <tex>k + 1</tex> и с положительной вероятностью <tex>q = 1 − p</tex>
перемещается в точку k − 1.
Физической системе соответствует цепь Маркова:

*<tex>\xi_n = \xi_{n-1} + \eta_n = \xi_0 + S_n, \eta_n = \begin{cases} 1 &\text{с вероятностью p}\\-1 &\text{с вероятностью 1 - p}
\end{cases}</tex>
Заметим, что вернуться в какую-либо точку можно только за четное число шагов.

==Вероятность смещения на d единиц вправо или влево==

Выведем распределение случайной величины <tex>\xi_n</tex>. Будем считать, что <tex>P(\xi_0 = m) = 1</tex>. Это отвечает тому, что в начальный момент времени частица достоверно находилась в точке
<tex>x = m</tex> (здесь <tex>m</tex> — фиксированное число) и затем начала случайно блуждать в соответствии с описанными выше правилами. Пусть <tex>d</tex> — смещение частицы за <tex>n</tex> шагов.
Найдём <tex>P(\xi_n = m + d)</tex> для каждого <tex>d ∈ Z</tex>.

Справедливо очевидное равенство:
*<tex>P(\xi_n = m + d) = P(\xi_n = m + d | \xi_0 = m)</tex>, если <tex>P(\xi_0 = m) = 1.</tex>

Представление через условную вероятность удобно, если нам необходимо явно указать, где находилась частица в начальный момент времени.

Наша физическая модель с математической точки зрения в точности отвечает
схеме независимых испытаний Бернулли с двумя исходами —- прыжком вправо, который мы будем называть успехом, и прыжком вправо (неудачей). В рамках этой
математической модели все вероятности рассчитываются на основании распределения Бернулли. Пусть частица сделала <tex>n</tex> прыжков. Вероятность того, что среди
этих прыжков будет ровно <tex>k</tex> прыжков вправо (или, что то же самое, <tex>n−k</tex> прыжков
влево) задаётся формулой:

*<tex>P = {C_{n}^k} p^k q^{n−k}, k = 0, 1, . . . , n.</tex> (1)

Смещение частицы и число прыжков влево и вправо связаны простейшим уравнением
*<tex>d = 1 · k + (−1) · (n − k) = 2k − n \quad</tex> (2)

откуда <tex>k = \frac{(n + d)}{2}</tex>. Понятно, что, поскольку частица сделала ровно n прыжков,
число прыжков вправо должно быть целым числом в интервале <tex>[0, n]</tex>, другими словами, <tex>P(\xi_n = m + d) = 0,</tex> если <tex>k = \frac{(n + d)}{2}, k \notin \{0, 1, . . . , n\}</tex>. Если же указанное
ограничение выполнено, то в рамках нашей модели блужданий мы можем воспользоваться распределением Бернулли (1):

*<tex> P(\xi_n = m + d) = {C_{n}^k} p^k q^{n−k}, \quad k = \frac{(n + d)}{2} </tex>, при обязательном условии <tex>k ∈ {0, 1, . . . , n}.</tex> (3)

Замечание. Ограничение <tex>0 \leq k \leq n </tex> по формуле (2) влечёт <tex>|d| \leq n</tex>. Это
можно понять и без расчётов: если <tex>|d| > n</tex>, то частица «не успевает» дойти из начальной в конечную точку за
<tex>n</tex> шагов, даже двигаясь строго в одном направлении
(налево при <tex>d < 0</tex> и направо при <tex>d > 0</tex>). Ограничение на значения <tex>k</tex> согласовано
и с (3): биномиальный коэффициент <tex>{C_{n}^k}</tex> не определён при <tex> k \notin \{0, 1, . . . , n\}</tex>. Мы
можем даже считать формулу (3) верной при любом <tex>k</tex>, если положим по определению<tex>C_{n}^k = 0 </tex> для
<tex> k \notin \{0, 1, . . . , n\}</tex>. Число шагов <tex>n</tex> и смещение <tex>d</tex> должны иметь как
целые числа одну чётность. Вероятность (3) не зависит от начального положения <tex>m</tex> и определяется только числом
шагов <tex>n</tex> (номером члена последовательности)
и смещением <tex>d</tex>.
При своём движении частица случайным образом «выбирает» одну из возможных траекторий. Для перехода из точки
<tex>m</tex> в точку <tex>m</tex> за <tex>n</tex> шагов возможными являются все те и только те траектории длины
<tex>n</tex>, в которых ровно <tex>k</tex> смещений вправо и <tex>n − k</tex> смещений влево, где <tex>k = \frac{(n +
d)}{2}</tex>. Равенство (1) при этом можно интерпретировать так: вероятность того, что частица пройдет по одной из
возможных траекторий, равна <tex>p^k q^{n−k}</tex>, и всего существуют <tex>{C_{n}^k}</tex> таких траекторий, таким образом, <tex>P = p^k*q^{n−k}+...+p^k*q^{n−k}={C_{n}^k} p^k q^{n−k}.</tex>

== Примеры ==
=== Энтропия честной монеты ===
Рассмотрим [[Вероятностное пространство, элементарный исход, событие|вероятностное пространство]] {{---}} честная монета.
Найдем для нее энтропию:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -\sum\limits_{i=1}^{2} {\dfrac{1}{2} \cdot \log_2 \dfrac{1}{2}} = -\sum\limits_{i=1}^{2} {\dfrac{1}{2} \cdot (-1)} = 1</tex>
Это означает что после броска честной монеты мы получим информацию в размере <tex>1</tex> бит, уменьшив степень неопределенности вдвое.

=== Энтропия нечестной монеты ===
Найдем энтропию для [[Вероятностное пространство, элементарный исход, событие|вероятностного пространства]] нечестная монета с [[Схема Бернулли| распределением Бернулли]] <tex>\{0,2; 0,8\}</tex>:
:<tex dpi="140">H(X) = -\sum\limits_{i=1}^{n} p_i \log_2p_i = -0.2\log_2(0.2)-0.8\log_2(0.8) \approx 0.722 < 1 </tex>

== Ограниченность энтропии ==
{{Теорема
|statement= <tex>0 \leqslant H(p_1, p_2, \dots, p_n) \leqslant \log_2n </tex>
|proof =
1) Докажем первую часть неравенства:

Так как <tex> p_i\in[0,\;1]</tex>, тогда <tex dpi="140">\log_2\dfrac{1}{p_i} \geqslant 0 </tex>. Таким образом <tex dpi="140"> H(p_1, p_2, \dots, p_n) = \sum\limits_{i=1}^{n} p_i\log_2 \dfrac{1}{p_i} \geqslant 0 </tex>

2) Докажем вторую часть неравенства:

<tex dpi="140"> f(x)=\log_2x </tex> {{---}} выпуклая вверх функция, <tex> p_1,p_2,\ldots,p_n>0</tex> и <tex> \sum \limits_{i=1}^{n} p_i = 1 </tex>, тогда для нее выполняется неравенство Йенсена:
<tex dpi="140"> \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant f(\sum\limits_{i=1}^{n} (p_i \cdot\dfrac{1}{p_i})) </tex>
Таким образом получаем, что <tex> H(p_1, p_2, \dots, p_n) \leqslant \log_2n </tex>
}}
Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.
== Условная и взаимная энтропия ==
{{Определение
|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {{---}} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события <tex>A</tex> после того, как становится известным результат события <tex>B</tex>. Она называется ''энтропия <tex>A</tex> при условии <tex>B</tex>'', и обозначается <tex>H(A|B)</tex>
}}
<tex>H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) </tex>
{{Определение
|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий <tex>A</tex> и <tex>B</tex>.
}}
<tex> H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) </tex>
{{Утверждение
|statement= <tex> H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) </tex>
|proof= По формуле условной вероятности <tex dpi="130"> p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} </tex>

<tex dpi="140"> H(A|B)=-\sum\limits_{i=1}^{m}p(b_i)\sum\limits_{j=1}^{n} p(a_j|b_i)\log_2p(a_j|b_i) </tex> <tex dpi="140">= - \sum\limits_{i=1}^{m}p(b_i) \sum\limits_{j=1}^{n} \dfrac{p(a_j \cap b_i)}{p(b_i)}\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2 \dfrac {p(a_j \cap b_i)}{p(b_i)} = </tex>
<tex dpi="140"> = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) + \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) </tex><tex dpi="140">= H(A \cap B) +\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(b_i) = </tex>

<tex dpi="140"> = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A \cap B) +\sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) = </tex><tex dpi="140">H(A \cap B) - H(B) </tex>

Таким образом получаем, что: <tex> H(A \cap B)= H(A|B)+H(B) </tex>

Аналогично: <tex>H(B \cap A)= H(B|A)+H(A) </tex>

Из двух полученных равенств следует, что <tex> H(A|B)+H(B)=H(B|A)+H(A) </tex>
}}

== См. также ==
*[[Вероятностное пространство, элементарный исход, событие|Вероятностное пространство, элементарный исход, событие]]
*[[Условная вероятность|Условная вероятность]]

== Источники информации ==
* Конспект лекций по теории случайных процессов А.А. Соловьев
* [https://en.wikipedia.org/wiki/Random_walk "Википедия - Random_walk"]
* [https://www.youtube.com/watch?v=6wUD_gp5WeE "Лекция MIT Random Walks"]
[[Категория:Дискретная математика и алгоритмы]]

[[Категория: Теория вероятности ]]

Викиконспекты - Вклад участника [ru]

Участник:Mk17.ru