Эргодическая марковская цепь — различия между версиями
Whiplash (обсуждение | вклад) (→Для циклических цепей) |
Whiplash (обсуждение | вклад) (→Следствия) |
||
Строка 49: | Строка 49: | ||
==Следствия== | ==Следствия== | ||
− | + | {{Теорема | |
+ | |statement=Если <tex>P, A, \alpha</tex> - объекты из предыдущей теоремы. Тогда справедливы факты: | ||
+ | |||
+ | * Для любого вероятностного вектора <tex>\pi</tex> последовательность <tex>\pi P^{n}</tex> суммируема по Эйлеру к <tex>\alpha</tex> | ||
+ | * Вектор <tex>\alpha</tex> является единственным неподвижным вектором матрицы <tex>P</tex> | ||
+ | * <tex>PA = AP = A</tex> | ||
+ | |proof= | ||
+ | Домножим <tex>(1)</tex> на <tex>\pi</tex>. Таким образом, мы получим, что предел последовательности <tex>\pi P^{n}</tex> в смысле Эйлера равен <tex>\pi A = \pi \xi \alpha</tex>. Значит, '''первый факт''' доказан. | ||
+ | |||
+ | |||
+ | Так как вектор <tex>\alpha</tex> был получен из предельной матрицы для <tex>(kl + (1 - k)P)</tex>, являющейся регулярной переходной матрицей, то он будет её единственным неподвижным вероятностным вектором. Но матрица <tex>(kl + (1 - k)P)</tex> должна иметь те же неподвижные векторы, что и <tex>P</tex>, так как из соотношения | ||
+ | :<tex>\pi (kl + (1 - k)P) = \pi</tex>, | ||
+ | следует, что | ||
+ | :<tex>\pi (1 - k) P = \pi (1 - k)</tex> | ||
+ | и поскольку <tex>k \ne 1</tex>, то <tex>\pi P = \pi</tex>. Получается, что '''второй факт''' доказан. | ||
+ | |||
+ | |||
+ | '''Третий факт''' следует из того, что <tex>P \xi = \xi</tex> для любой переходной матрицы и что <tex>\alpha P = \alpha</tex>. | ||
+ | }} | ||
==Пример== | ==Пример== |
Версия 03:35, 7 февраля 2012
Определение: |
Эргодическая марковская цепь — марковская цепь, целиком состоящая из одного эргодического класса. |
Содержание
Стационарный режим
Эргодические марковские цепи описываются сильно связным графом. Это означает, что в такой системе возможен переход из любого состояния в любое состояние за конечное число шагов.
Для эргодических цепей при достаточно большом времени функционирования (
) наступает стационарный режим, при котором вероятности состояний системы не зависят от времени и не зависят от распределения вероятностей в начальный момент времени, т.е. .Классификация эргодических цепей
Определение: |
В эргодической цепи можно выделить циклические классы. Количество циклических классов регулярной. С течением времени текущее состояние движется по циклическим классам в определенном порядке, причем каждые d шагов она оказывается в одном и том же циклическом классе. | называют периодом цепи, если цепь состоит целиком из одного циклического класса, её называют
Таким образом, эргодические цепи делятся на регулярные и циклические.
Эргодическая теорема
Определение: |
Эргодическое (стационарное) распределение - распределение | , такое что и (где - вероятность оказаться в -ом состоянии, выйдя из -ого, через переходов).
Для регулярных цепей
Доказательство теоремы для случая регулярных цепей приведено в конспекте про регулярные цепи.
Для циклических цепей
Теорема (Эргодическая теорема): |
Для любой эргодической цепи последовательность степеней суммируется по Эйлеру к предельной матрице , и эта предельная матрица имеет вид , где - положительный вероятностный вектор. |
Доказательство: |
В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях , которые периодически повторяются. Таким образом, никакая степень матрицы переходов не является положительной матрицей, и различные степени содержат нули на различных местах. С увеличением степени расположение этих нулей периодически повторяется. Следовательно, последовательность не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру.Рассмотрим матрицу при некотором . Эта матрица является переходной матрицей. Она имеет положительные элементы на всех тех же местах, что и , следовательно, она также задает эргодическую цепь. Также диагональные элементы этой матрицы положительны. Значит, в каждое состояние можно возвратиться за один шаг, а это значит, что . Таким образом, новая цепь является регулярной.Из эргодической теоремы для регулярных цепей следует, что стремится к матрице , где - положительный вероятностный вектор. Таким образом: |
Следствия
Теорема: |
Если - объекты из предыдущей теоремы. Тогда справедливы факты:
|
Доказательство: |
Домножим на . Таким образом, мы получим, что предел последовательности в смысле Эйлера равен . Значит, первый факт доказан.
следует, что и поскольку , то . Получается, что второй факт доказан.
|
Пример
Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния. Состояние меняется на противоположное, при бросании монеты, с вероятностью
.Рассмотрим матрицу, следующего вида:
. Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической. С эргодическим распределением , таким что .Ссылки
Литература
Дж. Кемени, Дж. Снелл "Конечные цепи Маркова" - Издательство "Наука", 1970 г - 129 c.