Изменения

|definition='''Эргодическая''' [[Марковская цепь|Марковская марковская цепь]] называется эргодической, если существует дискретное распределение (называемое эргодическим) <tex>\pi = (\pi_1,\pi_2,\ldots англ. ''ergodic Markov chain'')^{\top}</tex>, такое что <tex>\pi_i > 0,\; i \in \mathbb{N---}</tex> и:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_jмарковская цепь, \quad \forall i=1,2, \ldots</tex>целиком состоящая из одного [[Марковская цепь#sort_def| эргодического класса]].

Марковскую цепь обладающую следующими свойствами называют '''слабо эргодическиой''', если она обладает следующими свойствами:==Стационарный режим==# Для любых двух различных вершин графа переходов <tex>iЭргодические марковские цепи описываются [[Отношение связности,j \, (i\neq j)</tex> найдется такая вершина <tex>k</tex> графа («общий сток»)компоненты связности|сильно связным графом]]. Это означает, что существуют ориентированные пути от вершины <tex>i</tex> к вершине <tex>k</tex> и от вершины <tex>j</tex> к вершине <tex>k</tex>. ''Замечание'': в такой системе возможен случай переход из любого состояния <tex>k=iS_i</tex> или в любое состояние <tex>k=S_{j</tex>; в этом случае тривиальный }, (пустой) путь от <tex>i</tex> к <tex>i</tex> или от <tex>j</tex> к <tex>,j= 1,2,\ldots,n)</tex> также считается ориентированным путем.# Нулевое собственное за конечное число матрицы интенсивности невырождено.# При <tex>t \to \infty</tex> матрица переходных вероятностей стремится к матрице, у которой все строки совпадают (и совпадают, очевидно, с равновесным распределением)шагов.

[[Файл:MarkovTriangle.png|thumb|350px|Примеры графов переходов для == Классификация эргодических цепей Маркова: a) цепь не является слабо эргодической (не существует общего стока <ref>'''Общий сток''' - такая <tex>k</tex> вершина графа, что для любых двух различных вершин графа переходов <tex>i,j \, (i\neq j)</tex>, существуют ориентированные пути от вершины <tex>i</tex> к вершине <tex>k</tex> и от вершины <tex>j</tex> к вершине <tex>k</tex>.</ref> для состояний <tex>A_2, \, A_3</tex>); b) слабо эргодическая, но не эргодическая цепь (граф переходов является [[Отношение связности, компоненты связности|слабо-связным]]) c) эргодическая цепь ([[Отношение связности, компоненты связности|сильно-связный]] граф переходов).]]==

{{Определение|definition=В эргодической цепи можно выделить '''циклические классы''' (англ. ''cyclic classes''). Количество циклических классов <tex> d </tex> называют '''периодом цепи''' (англ. ''period of Markov chain''), если цепь состоит целиком из одного циклического класса, её называют [[Регулярная марковская цепь|регулярной]]. С течением времени текущее состояние движется по циклическим классам в определенном порядке, причем каждые <tex>d</tex> шагов она оказывается в одном и том же циклическом классе.}} Таким образом, эргодические цепи делятся на [[Регулярная марковская цепь|регулярные]] и '''циклические'''. =Основная = Эргодическая теорема об эргодических распределениях=={{Определение|definition='''Эргодическое (стационарное) распределение''' (англ. ''stationary distribution'') {{---}} распределение <tex>\alpha = (\alpha_1 \ldots \alpha_n )</tex>, такое что <tex>\alpha_i > 0</tex> и<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \alpha_j</tex> (где <tex>p_{ij}^{(n)}</tex> {{---}} вероятность оказаться в <tex>j</tex>-ом состоянии, выйдя из <tex>i</tex>-ого, через <tex>n</tex> переходов).}} === Для регулярных цепей ===Доказательство теоремы для случая регулярных цепей приведено в конспекте про [[Регулярная марковская цепь#Эргодическая теорема для регулярных цепей | регулярные цепи]]. === Для циклических цепей ===

|about=Основная Эргодическая теорема об эргодических распределениях

Пусть Для любой эргодической цепи последовательность степеней <tex>\{X_n\}_P^{n \ge 0}</tex> - цепь Маркова с дискретным пространством состояний [http://en.wikipedia.org/wiki/Euler_summation суммируется по Эйлеру] к предельной матрице <tex>A</tex>, и матрицей переходных вероятностей эта предельная матрица имеет вид <tex>P A = (p_\xi\alpha</tex>, где <tex>\alpha</tex> {{ij---})} положительный вероятностный вектор,<tex>\; i,jxi</tex> - вектор-столбец из единиц.|proof=1  В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях <tex> n </tex>,2которые периодически повторяются. Таким образом,\ldotsникакая степень матрицы переходов <tex>P</tex>. Тогда эта цепь не является эргодической тогда положительной матрицей, и только тогдаразличные степени содержат нули на различных местах. С увеличением степени расположение этих нулей периодически повторяется. Следовательно, когда она# Неразложима последовательность <tex>P^{[4]n}</tex>;не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру.# Положительно возвратна Рассмотрим матрицу <tex>(kI + (1 - k)P)</tex> при некотором <tex>k, ~ 0 < k < 1</tex>. Эта матрица является ''переходной матрицей''. Она имеет положительные элементы на всех тех же местах, что и <tex>P</tex>, следовательно, она также ''задает эргодическую цепь''. Также диагональные элементы этой матрицы положительны. Значит, в каждое состояние можно возвратиться за один шаг, а это значит, что <tex>^{[5]}d = 1</tex>;. Таким образом, новая цепь является регулярной. Из [[Регулярная марковская цепь# Апериодична Эргодическая теорема для регулярных цепей | эргодической теоремы для регулярных цепей]] следует, что <tex>(kI + (1 - k)P)^{[6]n}</tex>.Эргодическое распределение стремится к матрице <tex>A = \mathbf{xi\alpha</tex>, где <tex>\pi}alpha</tex> тогда является единственным решением системы{{---}} положительный вероятностный вектор. Таким образом: :<tex>A = \sumlim\limits_{i=0x\to \infty}(kI + (1 - k)P)^{\inftyn} \pi_i </tex>: <tex> A = 1,\; lim\pi_j limits_{x\ge 0,to \; \pi_j = infty} \sum\limits_{i=0}^{n} {n\inftychoose i} k^{n - i} (1 - k)^{i} \pi_i\, p_P^{iji}~~~~~ (1)</tex>Но последнее равенство в точности означает,\quad \, j\in \mathbbчто последовательность <tex>P^{Nn}</tex> суммируема по Эйлеру к <tex>A</tex>, причем суммируема при каждом значении <tex>k</tex>.}}

Такая матрица является стохастическойТак как вектор <tex>\alpha</tex> был получен из предельной матрицы для <tex>(kI + (1 - k)P)</tex>, аявляющейся регулярной переходной матрицей, значитто он будет её единственным неподвижным вероятностным вектором. Но матрица <tex>(kI + (1 - k)P)</tex> должна иметь те же неподвижные векторы, корректно определяет марковскую цепь. Такая цепь является эргодическойчто и <tex>P</tex>, так как существует эргодическое распределение из соотношения :<tex>\pi = (0.5,0.5kI + (1 - k)P)^{= \top}pi</tex>, такое следует, что :<tex>\limpi (1 - k) P = \limits_{n \to \infty} p_{ij}^{pi (n1 - k)} = </tex>и поскольку <tex>k \pi_jne 1</tex>, iто <tex>\pi P =1,2\pi</tex>. Получается, что '''второй факт''' доказан.

* [http:'''Третий факт''' следует из того, что <tex>P \xi = \xi</tex> для любой переходной матрицы и что <tex>\alpha P = \alpha</neerctex>.ifmo.ru/mediawiki/index.php/Регулярная_марковская_цепь Регулярная марковская цепь]}}

==ПримечанияПример==[[File:Ergo.jpg‎|thumb|250px|Пример циклической цепи]]Самым простым примером циклической цепи является цепь из двух состояний, с переходной матрицей::<tex>P = \begin{pmatrix}0 & 1 \\ 1 & 0\end{pmatrix}</tex> .

Стационарным распределением этой цепи будет <tex> \alpha = (0.5, 0.5) <references /tex>.

# Если ==См. также==*[[Марковская цепь Маркова такова, что её состояния образуют лишь один неразложимый класс <tex>^{[7]}</tex>, то она называется '''неразложимой'''.]# Возвратное состояние <tex>i</tex> называется '''положительным''', если <tex> \mathbb{E}*[T_i[Регулярная марковская цепь]] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} < \infty</tex> <tex>(</tex>где <tex>f_{ii}^{(n)} = \mathbb{P}(X_n = i,\; X_k \not= i, \, k=1,\ldots, n-1 \mid X_0 = i )</tex> — вероятность, выйдя из состояния <tex>i</tex>, вернуться в него ровно за <tex>n</tex> шагов<tex>)</tex>.# Если <tex>d(j) = 1</tex>, то состояние j называется '''апериодическим''' <tex>(d(j) = \gcd \left(n \in \mathbb{N} \mid p_{jj}^{(n)} > 0 \right)</tex>, где <tex>gcd</tex> обозначает наибольший общий делитель, называется периодом состояния <tex>j</tex>, <tex>p_{jj}^{(n)}</tex> матрица переходных вероятностей за <tex>n</tex> шагов<tex>)</tex>.# Свойство сообщаемости порождает на пространстве состояний *[[Отношение эквивалентности|отношение эквивалентностиПримеры использования Марковских цепей]]. Порождаемые классы эквивалентности называются '''неразложимыми классами'''.

==СсылкиИсточники информации ==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Эргодическое распределение - Википедия]

*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Википедия {{---}} Эргодическое распределение ]*[http://ru.wikipedia.org/wiki/Дискретное_распределение#.D0.94.D0.B8.D1.81.D0.BA.D1.80.D0.B5.D1.82.D0.BD.D1.8B.D0.B5_.D1.80.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D1.8F Википедия {{---}} Дискретное распределение ]*[http://en.wikipedia.org/wiki/Euler_summation Wikipedia {{--- Википедия}} Euler summation]*Дж. Кемени, Дж. Снелл {{---}} Конечные цепи Маркова {{---}} изд. "Наука", 1970 г. {{---}} 129 c.