Эргодическая марковская цепь

Определение:

Эргодическая марковская цепь — марковская цепь, целиком состоящая из одного эргодического класса.

Стационарный режим

Эргодические марковские цепи описываются сильно связным графом. Это означает, что в такой системе возможен переход из любого состояния [math]S_i[/math] в любое состояние [math]S_{j}, (i,j = 1,2,...,n)[/math] за конечное число шагов.

Для эргодических цепей при достаточно большом времени функционирования ([math]t \to \infty[/math]) наступает стационарный режим, при котором вероятности [math]\pi_i[/math] состояний системы не зависят от времени и не зависят от распределения вероятностей в начальный момент времени, т.е. [math]\pi_i = const[/math].

Классификация эргодических цепей

Определение:

В эргодической цепи можно выделить циклические классы. Количество циклических классов [math] d [/math] называют периодом цепи, если цепь состоит целиком из одного циклического класса, её называют регулярной. С течением времени текущее состояние движется по циклическим классам в определенном порядке, причем каждые d шагов она оказывается в одном и том же циклическом классе.

Таким образом, эргодические цепи делятся на регулярные и циклические.

Эргодическая теорема

Определение:

Эргодическое (стационарное) распределение - распределение [math]\pi = (\pi_1 \dots \pi_n )[/math], такое что [math]\pi_i \gt 0,\; i \in \mathbb{N}[/math] и [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j[/math] (где [math]p_{ij}^{(n)}[/math] - вероятность оказаться в [math]j[/math]-ом состоянии, выйдя из [math]i[/math]-ого, через [math]n[/math] переходов).

Для регулярных цепей

Доказательство теоремы для случая регулярных цепей приведено в конспекте про регулярные цепи.

Для циклических цепей

Теорема (Эргодическая теорема):

здесь был треш

Доказательство:

[math]\triangleright[/math]

В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях [math] n [/math], которые периодически повторяются. Таким образом, никакая степень матрицы переходов [math]P[/math] не является положительной матрицей, и различные степени содержат нули на различных местах. С увеличением степени расположение этих нулей периодически повторяется. Следовательно, последовательность [math]P^{n}[/math] не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру. блаблабла доказательство

[math]\triangleleft[/math]

Пример

Пример эргодической цепи

Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния. Состояние меняется на противоположное, при бросании монеты, с вероятностью [math]p = 0.5[/math].

Рассмотрим матрицу, следующего вида: [math]p_{ij}=0.5, i,j=1,2[/math]. Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение [math]\pi = (0.5,0.5)^{\top}[/math], такое что [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, i=1,2[/math].

Ссылки

• Эргодическое распределение - Википедия

• Дискретное распределение - Википедия

Литература

Дж. Кемени, Дж. Снелл "Конечные цепи Маркова" - Издательство "Наука", 1970 г - 129 c.