Изменения

|definition='''Эргодическая''' [[Марковская цепь|Марковская марковская цепь]] называется эргодической, если существует дискретное распределение (называемое эргодическим) <tex>\pi = (\pi_1,\pi_2,\ldots англ. ''ergodic Markov chain'')^{\top}</tex>, такое что <tex>\pi_i > 0,\; i \in \mathbb{N---}</tex> и:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_jмарковская цепь, ~ \forall i \in \mathbb{N}</tex> (вероятность оказаться в <tex>j</tex>-ом состоянии, выйдя целиком состоящая из <tex>i</tex>-ого, через <tex>n</tex> переходов)одного [[Марковская цепь#sort_def| эргодического класса]].

Эргодические марковские цепи описываются [[Отношение связности, компоненты связности|сильно связным графом]]. Это означает, что в такой системе возможен переход из любого состояния <tex>S_i</tex> в любое состояние <tex>S_{j}, (i,j = 1,2,...\ldots,n)</tex> за конечное число шагов.

Для эргодических цепей при достаточно большом времени функционирования (<tex>t \to \infty</tex>) наступает '''стационарный режим''', при котором вероятности <tex>\pi_ialpha_i</tex> состояний системы не зависят от времени и не зависят от распределения вероятностей в начальный момент времени, т.е. то есть: <tex>\pi_i alpha_i = const</tex>.

<tex>\pi_{i} = \sum\limits_{jОпределение|definition=1}^{n}В эргодической цепи можно выделить '''циклические классы''' (\pi_{j} \times p_{ji}англ. ''cyclic classes''). Количество циклических классов </tex>, где d </tex>i = 1называют '''периодом цепи''' (англ. ''period of Markov chain''),2если цепь состоит целиком из одного циклического класса,её называют [[Регулярная марковская цепь|регулярной]]...С течением времени текущее состояние движется по циклическим классам в определенном порядке,n ~~~~~~~~ (1)причем каждые <tex>d</tex>шагов она оказывается в одном и том же циклическом классе.}}

ПричемТаким образом, искомые вероятности должны удовлетворять условию:эргодические цепи делятся на [[Регулярная марковская цепь|регулярные]] и '''циклические'''.

== Эргодическая теорема =={{Определение|definition='''Эргодическое (стационарное) распределение''' (англ. ''stationary distribution'') {{---}} распределение <tex>\alpha = (\alpha_1 \ldots \alpha_n )</tex>, такое что <tex>\alpha_i > 0</tex> и<tex>\sumlim\limits_{j=1n \to \infty} p_{ij}^{(n)}= \alpha_j</tex> (\pi_где <tex>p_{iij}) = 1 ~~~~~~~~ ^{(2n)}</tex> Это условие необходимо для отбора лишних корней, которые появятся в результате решения системы уравнений (1).  Систему линейных алгебраических уравнений удобно составлять непосредственно по графу состояний. При этом в левой части уравнения записывается {{---}} вероятность состояния, соответствующего рассматриваемой вершине графа, а оказаться в правой части <tex>j</tex>- сумма произведений. Число слагаемых соответствует числу дуг графа, входящих в рассматриваемое состояние. Каждое слагаемое представляет произведение вероятности того состоянияом состоянии, выйдя из которого выходит дуга графа<tex>i</tex>-ого, на переходную вероятность, которой помечена соответствующая дуга графачерез <tex>n</tex> переходов).}}

Получается, === Для регулярных цепей ===Доказательство теоремы для определения стационарных вероятностей нам нужно решить систему уравнений (1). Из которой у нас может получиться бесконечное количество решений. Проверяя полученные решения на выполнение уравнения (2) получим, что система имеет единственное решениеслучая регулярных цепей приведено в конспекте про [[Регулярная марковская цепь#Эргодическая теорема для регулярных цепей | регулярные цепи]].

==Основная теорема об эргодических распределениях= Для циклических цепей ===

|about=Основная Эргодическая теорема об эргодических распределениях

Пусть Для любой эргодической цепи последовательность степеней <tex>\{X_n\}_P^{n \ge 0}</tex> - цепь Маркова с дискретным пространством состояний и [[Марковская цепь|матрицей переходных вероятностей]http://en.wikipedia.org/wiki/Euler_summation суммируется по Эйлеру] к предельной матрице <tex>A</tex>, и эта предельная матрица имеет вид <tex>P A = (p_\xi\alpha</tex>, где <tex>\alpha</tex> {ij{---}})положительный вероятностный вектор,<tex>\; i,jxi</tex> - вектор-столбец из единиц.|proof=1  В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях <tex> n </tex>,2которые периодически повторяются. Таким образом,\ldotsникакая степень матрицы переходов <tex>P</tex>. Тогда эта цепь не является эргодической тогда положительной матрицей, и только тогда, когда она# Неразложима (тразличные степени содержат нули на различных местах.еС увеличением степени расположение этих нулей периодически повторяется. цепь Маркова таковаСледовательно, что её состояния образуют лишь один неразложимый класс последовательность <tex>P^{n}<ref/tex>не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру.

Пусть Рассмотрим матрицу <tex>\{X_n\}_{n \ge 0}(kI + (1 - k)P)</tex> — цепь Маркова с тремя состояниями при некотором <tex>\{1k,2,3\}~ 0 </tex>, и её матрица переходных вероятностей имеет вид: k <tex>P = \left(\begin{matrix}0.5 & 0.5 & 0 \\0.1 & 0.9 & 0 \\0 & 0 & 1\end{matrix}\right).</tex>Состояния этой цепи образуют два . Эта матрица является ''переходной матрицей'неразложимых класса''': <tex>\{1. Она имеет положительные элементы на всех тех же местах,2\}</tex> что и <tex>\{3\}</tex> <tex>(1 \leftrightarrow 2P</tex>, но следовательно, она также ''задает эргодическую цепь''. Также диагональные элементы этой матрицы положительны. Значит, в каждое состояние можно возвратиться за один шаг, а это значит, что <tex>d = 1 \not\rightarrow 3</tex> и <tex>3 \not\rightarrow 1)</tex>. Т.е. если представить матрицу переходных вероятностей в виде графаТаким образом, то он будет иметь две компоненты связностиновая цепь является регулярной.

Из [[Регулярная марковская цепь#Эргодическая теорема для регулярных цепей | эргодической теоремы для регулярных цепей]] следует, что </reftex>);# Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное времяkI + (1 - k);# Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числуP).Эргодическое распределение ^{n}</tex> стремится к матрице <tex>A = \xi\mathbf{alpha</tex>, где <tex>\pi}alpha</tex> тогда является единственным решением системы{{---}} положительный вероятностный вектор. Таким образом: :<tex>A = \sumlim\limits_{i=0x\to \infty}(kI + (1 - k)P)^{\inftyn} \pi_i </tex>: <tex> A = 1,\; lim\pi_j limits_{x\ge 0,to \; \pi_j = infty} \sum\limits_{i=0}^{n} {n\inftychoose i} k^{n - i} (1 - k)^{i} \pi_i\, p_P^{iji}~~~~~ (1)</tex>Но последнее равенство в точности означает,\quad \, j\in \mathbbчто последовательность <tex>P^{Nn}</tex> суммируема по Эйлеру к <tex>A</tex>, причем суммируема при каждом значении <tex>k</tex>.}}

Рассмотрим матрицу'''Третий факт''' следует из того, следующего вида: <tex>p_{ij}=0.5, i,j=1,2</tex>. Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение что <tex>P \pi xi = (0.5,0.5)^{\top}xi</tex>, такое для любой переходной матрицы и что <tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} alpha P = \pi_j, i=1,2alpha</tex>.}}

==ПримечанияПример==[[File:Ergo.jpg‎|thumb|250px|Пример циклической цепи]]Самым простым примером циклической цепи является цепь из двух состояний, с переходной матрицей::<tex>P = \begin{pmatrix}0 & 1 \\ 1 & 0\end{pmatrix}</tex> .

Стационарным распределением этой цепи будет <tex> \alpha = (0.5, 0.5) <references /tex>.

==СсылкиСм. также==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Эргодическое распределение - Википедия[Марковская цепь]]*[[Регулярная марковская цепь]]*[[Примеры использования Марковских цепей]]

==Литература==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Википедия {{---}} Эргодическое распределение ]*[http://ru.wikipedia.org/wiki/Дискретное_распределение#.D0.94.D0.B8.D1.81.D0.BA.D1.80.D0.B5.D1.82.D0.BD.D1.8B.D0.B5_.D1.80.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D1.8F Википедия {{---}} Дискретное распределение]*[http://en.wikipedia.org/wiki/Euler_summation Wikipedia {{---}} Euler summation]*Дж. Кемени, Дж. Снелл "{{---}} Конечные цепи Маркова" {{--- Издательство }} изд. "Наука", 1970 г . {{--- }} 129 c.

[[Категория: Марковские цепи ]]