Изменения
Нет описания правки
{{Определение
|definition = '''Случайное блуждание''' (англ. ''Random walk'') {{---}} математическая модель процесса случайных изменений — шагов в дискретные моменты времени. При этом , предполагается, что изменение на каждом шаге не зависит от предыдущих и от времени. В силу простоты анализа эта модель часто используется в разных сферах в математике, экономике, физике, но, как правило, такая модель является существенным упрощением реального процесса.
}}
== Двумерный случай случайных блужданий Случайные блуждания по прямой ==
Представим частицу, которая движется по целым точкам на прямой. Перемещение из одной точки
в другую происходит через равные промежутки времени. За один шаг частица из точки k с положительной вероятностью p перемещается в точку <tex>k + 1</tex> и с положительной вероятностью <tex>q = 1 − p</tex>
перемещается в точку <tex>k − 1</tex>. Физической системе соответствует [https://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F_%D1%86%D0%B5%D0%BF%D1%8C цепь Маркова]:
*<tex>\xi_n = \xi_{n-1} + \eta_n = \xi_0 + S_n, \eta_n = \begin{cases} 1 &\text{с вероятностью p}\\-1 &\text{с вероятностью 1 - p}
Заметим, что вернуться в какую-либо точку можно только за четное число шагов.
*<tex>\xi_n =\xi_{n-1} + \eta_n =Вычисление энтропии=\xi_0 + S_n, \eta_n =\begin{cases} 1 &\text{с вероятностью p}\\-1 &\text{с вероятностью 1 - p} \end{cases}</tex> Заметим, что вернуться в какую-либо точку можно только за четное число шагов.
Рассмотрим функцию <tex>g(mn)</tex>конечную цепь Маркова:: <tex>g(mn)=g(m)+ \sum\limits_{i=1}^{m} \dfrac{1}{m} g(n) = g(m)+g(n)</tex>
По предыдущим рассуждениям получаем, чтоформуле полной вероятности::<tex>g(2^i) \leqslant g(n^t) < g(2^{i+1})</tex>
*<tex>\quad f_k = C_1λ^k_1 + C_2λ^k_2</tex>
<tex dpi="140"> f(x)=\log_2x </tex> {quad p_{---kn}} выпуклая вверх функция, <tex> p_1,p_2,\ldots,p_n>0</tex> и <tex> \sum \limits_{i=1}^{n} p_i = 1 </tex>, тогда для нее выполняется неравенство Йенсена:<tex dpi="140"> \sum\limits_{i=1}^{n} p_i f(\dfrac{1}{p_i}) \leqslant f(\sum\limits_frac{i=1k}^{n} (p_i \cdot\dfrac{1}{p_i})) </tex>Таким образом получаем, что <tex> H(p_1, p_2, \dots, p_n) \leqslant \log_2n </tex>}}Тогда из теоремы и доказанной выше леммы следует, что для n исходов энтропия максимальна, если они все равновероятны.== Условная и взаимная энтропия =={{Определение|definition = '''Условная энтропия''' (англ. ''conditional entropy'') {quad p_{---}k0} определяет количество остающейся энтропии (то есть, остающейся неопределенности) события <tex>A</tex> после того, как становится известным результат события <tex>B</tex>. Она называется ''энтропия <tex>A</tex> при условии <tex>B</tex>'', и обозначается <tex>H(A|B)</tex>}} <tex>H(A|B)= - \sum\limits_{i=1}^{m}p(b_i)− \sum\limits_frac{j=1k}^{n} p(a_j|b_i)\log_2p(a_j|b_i) </tex>{{Определение|definition = '''Взаимная энтропия''' (англ. ''joint entropy'') {{---}} энтропия объединения двух событий <tex>A</tex> и <tex>B</tex>. }}<tex> H(A \cap B) = -\sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} p(a_j \cap b_i)\log_2p(a_j \cap b_i) </tex>{{Утверждение|statement= <tex> H(A \cap B) = H(A|B)+H(B)=H(B|A)+H(A) </tex>|proof= По формуле условной вероятности <tex dpi="130"> p(a_j|b_i)=\dfrac{p(a_j \cap b_i)}{p(b_i)} </tex>
<tex dpi="140"> = H(A \cap B) +\sum\limits_{iquad A_n =1}^{m} \log_2p(b_i)\sum\limits_{j=1}^{n} p(a_j \cap b_i) = H(A exists t : \cap B) +quad \sum\limits_{i=1}^{m} \log_2p(b_i)p(b_i) xi_t = 0 </tex>, <tex dpi="140">H(A \cap B) - H(Bquad \forall t: \quad \xi_t ∈ [0, n) \}</tex>равна
*<tex>p_k =\lim_{n\to\infty}P(A) = См. также =\lim_{n\to\infty}p_{k0}=*[[Вероятностное пространство\begin{cases} (\frac{q}{p})^k, элементарный исход &\text{если q меньше p}\\1, событие|Вероятностное пространство, элементарный исход, событие]]&\text{если q≥p}*[[Условная вероятность|Условная вероятность]] \end{cases}</tex>
== Источники информации ==
* [https://en.wikipedia.org/wiki/Random_walk "Википедия - Random_walk"]
* [https://www.youtube.com/watch?v=6wUD_gp5WeE "Лекция MIT Random Walks"] * [http://math.csu.ru/new_files/students/lectures/teor_slych_proc/solovev_teor_slych_proc.pdf Конспект лекций по теории случайных процессов А.А. Соловьев]* [https://cmp.phys.msu.ru/sites/default/files/02_RandomWalks.pdf Случайные блуждания по прямой]*[https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%BE_%D1%80%D0%B0%D0%B7%D0%BE%D1%80%D0%B5%D0%BD%D0%B8%D0%B8_%D0%B8%D0%B3%D1%80%D0%BE%D0%BA%D0%B0 "Задача о разорении игрока"]
[[Категория:Дискретная математика и алгоритмы]]
[[Категория: Теория вероятности ]]