Изменения

'''Эргодическая''' [[Марковская цепь|марковская цепь]] (англ. ''ergodic Markov chain'') {{---}} марковская цепь, целиком состоящая из одного [[Марковская цепь#sort_def| эргодического класса]].

==Стационарный режим==Эргодические марковские цепи могут быть описываются [[Регулярная марковская цепьОтношение связности, компоненты связности|регулярнымисильно связным графом]] или '''циклическими'''. Циклические цепи отличаются от регулярных темЭто означает, что в процессе переходов через определенное количество шагов такой системе возможен переход из любого состояния <tex>S_i</tex> в любое состояние <tex>S_{j}, (циклi,j = 1,2,\ldots,n) происходит возврат в какое-либо состояние. Регулярные цепи этим свойством не обладают</tex> за конечное число шагов.

называется эргодической, если существует дискретное распределение Для эргодических цепей при достаточно большом времени функционирования (называемое эргодическим) <tex>t \pi = (to \pi_1,\pi_2,\ldots )^{\top}infty</tex>) наступает '''стационарный режим''', такое что при котором вероятности <tex>\pi_i > 0,\; i \in \mathbb{N}alpha_i</tex> состояний системы не зависят от времени ине зависят от распределения вероятностей в начальный момент времени, то есть:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} alpha_i = \pi_j, ~ \forall i \in \mathbb{N}const</tex> (вероятность оказаться в <tex>j</tex>-ом состоянии, выйдя из <tex>i</tex>-ого, через <tex>n</tex> переходов).

==Стационарный режим==Эргодические марковские Таким образом, эргодические цепи описываются делятся на [[Отношение связности, компоненты связностиРегулярная марковская цепь|сильно связным графомрегулярные]]. Это означает, что в такой системе возможен переход из любого состояния <tex>S_i</tex> в любое состояние <tex>S_{j}, (i,j = 1,2,...,n)</tex> за конечное число шагови '''циклические'''.

Для эргодических цепей при достаточно большом времени функционирования == Эргодическая теорема =={{Определение|definition='''Эргодическое (<tex>t \to \infty</tex>стационарное) наступает распределение'''стационарный режим(англ. ''stationary distribution', при котором вероятности ') {{---}} распределение <tex>\pi_ialpha = (\alpha_1 \ldots \alpha_n )</tex> состояний системы не зависят от времени и не зависят от распределения вероятностей в начальный момент времени, т.е. такое что <tex>\pi_i = constalpha_i > 0</tex>.иДля определения стационарных вероятностей <tex>\pi_ilim\limits_{n \to \infty} p_{ij}^{(n)} = \alpha_j</tex> нахождения системы в состоянии (где <tex>S_p_{iij}</tex> нужно составить систему <tex>^{(n)}</tex> линейных однородных алгебраических уравнений с {{---}} вероятность оказаться в <tex>nj</tex> неизвестными: -ом состоянии, выйдя из <tex>\pi_{i} = \sum\limits_{j=1}^{n}(\pi_{j} \times p_{ji})</tex>-ого, где через <tex>i = 1,2,...,n</tex>переходов).}}

Можно заметить, что так как все свободные члены равны нулю, система имеет бесконечное число решений. Однако, у нас есть дополнительные условия на решение: <tex>\sum\limits_{j=1}^{n}\pi_{i} = 1</tex> и <tex> \pi_i > 0 </tex>. Следующая = Для регулярных цепей ===Доказательство теоремы для случая регулярных цепей приведено в конспекте про [[Регулярная марковская цепь#Эргодическая теорема утверждает единственность решения такой системыдля регулярных цепей | регулярные цепи]].

==Основная теорема об эргодических распределениях= Для циклических цепей ===

|about=Основная Эргодическая теорема об эргодических распределениях

Пусть Для любой эргодической цепи последовательность степеней <tex>P^{n}</tex> [http://en.wikipedia.org/wiki/Euler_summation суммируется по Эйлеру] к предельной матрице <tex>A</tex>, и эта предельная матрица имеет вид <tex>A = \xi\alpha</tex>, где <tex>\alpha</tex> {X_n{---}} положительный вероятностный вектор, <tex>\}_xi</tex> - вектор-столбец из единиц.|proof=  В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях <tex> n </tex>, которые периодически повторяются. Таким образом, никакая степень матрицы переходов <tex>P</tex> не является положительной матрицей, и различные степени содержат нули на различных местах. С увеличением степени расположение этих нулей периодически повторяется. Следовательно, последовательность <tex>P^{n \ge 0}</tex> не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру. Рассмотрим матрицу <tex>(kI + (1 - k)P)</tex> при некотором <tex>k, ~ 0 < k < 1</tex>. Эта матрица является ''переходной матрицей''. Она имеет положительные элементы на всех тех же местах, что и <tex>P</tex>, следовательно, она также ''задает эргодическую цепь Маркова с дискретным пространством состояний и ''. Также диагональные элементы этой матрицы положительны. Значит, в каждое состояние можно возвратиться за один шаг, а это значит, что <tex>d = 1</tex>. Таким образом, новая цепь является регулярной. Из [[Марковская Регулярная марковская цепь#Эргодическая теорема для регулярных цепей |матрицей переходных вероятностейэргодической теоремы для регулярных цепей]] следует, что <tex>(kI + (1 - k)P )^{n}</tex> стремится к матрице <tex>A = \xi\alpha</tex>, где <tex>\alpha</tex> {{---}} положительный вероятностный вектор. Таким образом:: <tex> A = \lim\limits_{x\to \infty} (p_kI + (1 - k)P)^{ijn}),</tex>: <tex> A = \lim\limits_{x\to \infty} \sum\; limits_{i,j=0}^{n} {n\choose i} k^{n - i} (1- k)^{i} P^{i} ~~~~~ (1)</tex>Но последнее равенство в точности означает,2что последовательность <tex>P^{n}</tex> суммируема по Эйлеру к <tex>A</tex>,\ldotsпричем суммируема при каждом значении <tex>k</tex>. Тогда эта цепь является эргодической тогда и только тогда}} ==== Следствия ==== {{Теорема|statement=Если <tex>P, когда она# Неразложима (т.е. цепь Маркова таковаA, что её состояния образуют лишь один неразложимый класс \alpha<ref/tex>{{---}} объекты из предыдущей теоремы. Тогда справедливы факты:

Пусть * Для любого вероятностного вектора <tex>\{X_npi</tex> последовательность <tex>\}_pi P^{n \ge 0}</tex> — цепь Маркова с тремя состояниями суммируема по Эйлеру к <tex>\{1,2,3\}alpha</tex>, и её матрица переходных вероятностей имеет вид: * Вектор <tex>P = \left(\begin{matrix}0.5 & 0.5 & 0 \\0.1 & 0.9 & 0 \\0 & 0 & 1\end{matrix}\right).alpha</tex>Состояния этой цепи образуют два '''неразложимых класса''': является единственным неподвижным вектором матрицы <tex>\{1,2\}P</tex> и * <tex>\{3\}PA = AP = A</tex> |proof=Домножим <tex>(1 )</tex> на <tex>\leftrightarrow 2pi</tex>. Таким образом, но мы получим, что предел последовательности <tex>1 \not\rightarrow 3pi P^{n}</tex> и в смысле Эйлера равен <tex>3 \notpi A = \rightarrow 1)pi \xi \alpha</tex>. Т.е. если представить матрицу переходных вероятностей в виде графаЗначит, то он будет иметь две компоненты связности'''первый факт''' доказан.

Рассмотрим матрицу'''Третий факт''' следует из того, следующего вида: <tex>p_{ij}=0.5, i,j=1,2</tex>. Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение что <tex>P \pi xi = (0.5,0.5)^{\top}xi</tex>, такое для любой переходной матрицы и что <tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} alpha P = \pi_j, i=1,2alpha</tex>.}}

==ПримечанияПример==[[File:Ergo.jpg‎|thumb|250px|Пример циклической цепи]]Самым простым примером циклической цепи является цепь из двух состояний, с переходной матрицей::<tex>P = \begin{pmatrix}0 & 1 \\ 1 & 0\end{pmatrix}</tex> .

Стационарным распределением этой цепи будет <tex> \alpha = (0.5, 0.5) <references /tex>.

==СсылкиСм. также==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Эргодическое распределение - Википедия[Марковская цепь]]*[[Регулярная марковская цепь]]*[[Примеры использования Марковских цепей]]

==Литература==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Википедия {{---}} Эргодическое распределение ]*[http://ru.wikipedia.org/wiki/Дискретное_распределение#.D0.94.D0.B8.D1.81.D0.BA.D1.80.D0.B5.D1.82.D0.BD.D1.8B.D0.B5_.D1.80.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D1.8F Википедия {{---}} Дискретное распределение]*[http://en.wikipedia.org/wiki/Euler_summation Wikipedia {{---}} Euler summation]*Дж. Кемени, Дж. Снелл "{{---}} Конечные цепи Маркова" {{--- Издательство }} изд. "Наука", 1970 г . {{--- }} 129 c.

[[Категория: Марковские цепи ]]