195
правок
Изменения
Нет описания правки
== Лемма ==
{{Лемма
|statement=Пусть <tex>P_{[r\times r]}</tex> — {{---}} матрица перехода регулярной цепи, <tex>\varepsilon</tex> — {{---}} минимальный элемент этой матрицы. Пусть х — {{---}} произвольный r-мерный вектор-столбец, имеющий максимальный элемент <tex>M_0</tex> и минимальный <tex>m_0</tex>. Пусть <tex>M_1</tex> и <tex>m_1</tex> {{--- }} максимальный и минимальный элементы <tex>Px</tex>. <br>
Тогда <tex>M_1 \leqslant M_0</tex>, <tex>m_1 \geqslant m_0</tex> и <tex>M_1 - m_1 \leqslant (1 - 2\varepsilon)(M_0 - m_0)</tex>
|proof=
Пусть х' {{- --}} вектор, полученный из х заменой всех элементов, кроме <tex>m_0</tex> на <tex>M_0</tex>. Тогда <tex>x \leqslant x'</tex>. Каждый элемент <tex>Px'</tex> имеет вид
<tex>am_0 + (1 - a)M_0 = M_0 - a(M_0 - m_0)</tex>, где а {{- --}} элемент P, который домножается на <tex>m_0</tex>, причем <tex>a \geqslant \varepsilon</tex>. Поэтому наше выражение не превосходит <tex>M_0 - \varepsilon(M_0 - m_0)</tex>. Отсюда и из неравенства <tex>x \leqslant x'</tex> получается: <tex>M_1 \leqslant M_0 - \varepsilon (M_0 - m_0)</tex>.
Применяя те же рассуждения для вектора -х, получим: <tex>-m_1 \leqslant -m_0 - \varepsilon (-m_0 + M_0)</tex>.
{{Теорема
|statement=Регулярная марковская цепь [[Эргодическая марковская цепь|эргодична]]. Другими словами:<br>
Пусть Р {{- --}} регулярная переходная матрица. Тогда:<br>
<tex>\exists A: \displaystyle \lim_{n \to \infty}P^n = A</tex>;<br>
каждая строка А представляет собой один и тот же вероятностный вектор <tex>\alpha = \{a_1, a_2, \ldots, a_r \}</tex>
|proof=
Рассмотрим вектор-столбец <tex>e_j</tex>, у которого j-й элемент равен 1, а все остальные равны 0. Пусть <tex>M_n</tex> и <tex>m_n</tex> {{- --}} минимальный и максимальный элементы столбца <tex>P^n e_j</tex>.
Так как <tex>P^n e_j = P \cdot P^{n-1} e_j</tex>, то из леммы следует, что <tex>M_1 \geqslant M_2 \geqslant \ldots</tex> и <tex>m_1 \leqslant m_2 \leqslant \ldots</tex> и
<tex>d_n \leqslant (1 - 2 \varepsilon )^n d_0 = (1 - 2 \varepsilon)^n \to 0</tex>.
Значит <tex>P^n e_j</tex> сходится к вектору, все элементы которого равны между собой. Пусть <tex>a_j</tex> {{- --}} их общее значение. Тогда <tex>0 \leqslant a_j \leqslant 1</tex>. Заметим, что <tex>P^n e_j</tex> {{--- }} j-тый столбец матрицы <tex>P^n</tex>. Рассмотрим все <tex>e_j</tex> для <tex>j = 1, 2, \ldots</tex>. Тогда <tex>P^n</tex> сходится к матрице А, у которой по строкам стоит один и тот же вектор <tex>\alpha = \{a_1, a_2, \ldots, a_r \}</tex>.
Так как в каждой матрице <tex>P^n</tex> сумма элементов в строке равна 1, то то же самое справедливо и для предельной матрицы А. Теорема доказана.
}}
{{Определение
|definition=Матрица А называется ''предельной матрицей'', вектор <tex>\alpha</tex> {{- --}} ''предельным распределением''.
}}
{{Теорема
|statement=Пусть <tex>P, A, \alpha</tex> {{- --}} объекты из предыдущей теоремы.
Тогда справедливы факты:<br>
* для любого вероятностного вектора <tex>\pi \ \ \ \displaystyle \lim_{n \to \infty} \pi P^n = \alpha</tex>
* <tex>\alpha</tex> {{- --}} единственный вектор, для которого <tex>\alpha P = \alpha</tex>
* <tex>AP = PA = A</tex>
|proof=
Пусть <tex>\xi</tex> {{- --}} вектор-столбец, состоящий из единиц.
* <tex>\pi</tex> {{--- }} вероятностный вектор, значит <tex>\pi \xi = 1 </tex> ( сумма его элементов равна 1 ), значит <tex>\pi A = \pi \xi \alpha = \alpha</tex>. Но <tex>\displaystyle \lim_{n \to \infty} \pi P^n = \pi A = \alpha</tex> {{--- }} первый пункт доказан.
* Пусть <tex>\beta : \ \ \beta P = \beta</tex>. Тогда <tex>\forall n \ \beta P^n = \beta \Rightarrow \beta = \beta A = \alpha</tex>. Второй пункт доказан.
* <tex>\displaystyle \lim_{n \to \infty} P^n = A \Leftrightarrow P \cdot \lim_{n \to \infty} P^n = A \Leftrightarrow \lim_{n \to \infty} P^n \cdot P = A</tex>. Третий пункт доказан.
То есть через достаточно большое количество ходов наша система будет ''равновероятно'' находится как в состоянии "1", так и в состоянии "2", независимо от начального распределения.
Более интересный пример {{- --}} если мы будем управлять переходом состояний с помощью нечестной монеты.
Пусть а - вероятность выпадения "0" на монете.
