Изменения

|definition='''Эргодическая''' [[Марковская цепь|Марковская марковская цепь]] называется эргодической, если существует дискретное распределение (называемое эргодическим) <tex>\pi = (\pi_1,\pi_2,\ldots англ. ''ergodic Markov chain'')^{\top}</tex>, такое что <tex>\pi_i > 0,\; i \in \mathbb{N---}</tex> и:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_jмарковская цепь, ~ \forall i \in \mathbb{N}</tex> (вероятность оказаться в <tex>j</tex>-ом состоянии, выйдя целиком состоящая из <tex>i</tex>-ого, через <tex>n</tex> переходов)одного [[Марковская цепь#sort_def| эргодического класса]].

Эргодические марковские цепи описываются [[Отношение связности, компоненты связности|сильно связным графом]]. Это означает, что в такой системе возможен переход из любого состояния <tex>S_i</tex> в любое состояние <tex>S_{j}, (i,j = 1,2,...\ldots,n)</tex> за конечное число шагов.

Для эргодических цепей при достаточно большом времени функционирования (<tex>t \to \infty</tex>) наступает '''стационарный режим''', при котором вероятности <tex>\pi_ialpha_i</tex> состояний системы не зависят от времени и не зависят от распределения вероятностей в начальный момент времени, т.е. то есть: <tex>\pi_i alpha_i = const</tex>.

<tex>\pi_{i} = \sum\limits_{jОпределение|definition=1}^{n}В эргодической цепи можно выделить '''циклические классы''' (\pi_{j} \times p_{ji}англ. ''cyclic classes''). Количество циклических классов </tex>, где d </tex>i = 1называют '''периодом цепи''' (англ. ''period of Markov chain''),2если цепь состоит целиком из одного циклического класса,её называют [[Регулярная марковская цепь|регулярной]]...С течением времени текущее состояние движется по циклическим классам в определенном порядке,nпричем каждые <tex>d</tex>шагов она оказывается в одном и том же циклическом классе.}}

Решив которуюТаким образом, точно получим, что <tex>\pi_{1} = ... = \pi_{n} = 0</tex> является одним из решений системы, т.к. все свободные члены равны 0. Но для нашей задачи данное решение не имеет смысла, значит, требуется еще одно условие для отбора полученных решенийэргодические цепи делятся на [[Регулярная марковская цепь|регулярные]] и '''циклические'''.

Следующая == Эргодическая теорема доказывает единственность решения:=={{Определение|definition='''Эргодическое (стационарное) распределение''' (англ. ''stationary distribution'') {{---}} распределение <tex>\alpha = (\alpha_1 \ldots \alpha_n )</tex>, такое что <tex>\alpha_i > 0</tex> и<tex>\sumlim\limits_{j=1n \to \infty} p_{ij}^{(n)}= \alpha_j</tex> (\pi_где <tex>p_{iij}^{(n) = 1}</tex> {{---}} вероятность оказаться в <tex>j</tex> Т.е. это и есть-ом состоянии, то самое условие необходимо для отбора лишних корнейвыйдя из <tex>i</tex>-ого, которые появятся в результате решения системы уравненийчерез <tex>n</tex> переходов). }}

Систему линейных алгебраических уравнений удобно составлять непосредственно по графу состояний. При этом === Для регулярных цепей ===Доказательство теоремы для случая регулярных цепей приведено в левой части уравнения записывается вероятность состояния, соответствующего рассматриваемой вершине графа, а в правой части - сумма произведений. Число слагаемых соответствует числу дуг графа, входящих в рассматриваемое состояние. Каждое слагаемое представляет произведение вероятности того состояния, из которого выходит дуга графа, на переходную вероятность, которой помечена соответствующая дуга графаконспекте про [[Регулярная марковская цепь#Эргодическая теорема для регулярных цепей | регулярные цепи]].

==Основная теорема об эргодических распределениях= Для циклических цепей ===

|about=Основная Эргодическая теорема об эргодических распределениях

Пусть Для любой эргодической цепи последовательность степеней <tex>\{X_n\}_P^{n \ge 0}</tex> - цепь Маркова с дискретным пространством состояний и [[Марковская цепь|матрицей переходных вероятностей]http://en.wikipedia.org/wiki/Euler_summation суммируется по Эйлеру] к предельной матрице <tex>A</tex>, и эта предельная матрица имеет вид <tex>P A = (p_\xi\alpha</tex>, где <tex>\alpha</tex> {ij{---}})положительный вероятностный вектор,<tex>\; i,jxi</tex> - вектор-столбец из единиц.|proof=1  В случае циклической цепи переходы из одного циклического класса в другой возможны только при определенных значениях <tex> n </tex>,2которые периодически повторяются. Таким образом,\ldotsникакая степень матрицы переходов <tex>P</tex>. Тогда эта цепь не является эргодической тогда положительной матрицей, и только тогда, когда она# Неразложима (тразличные степени содержат нули на различных местах.еС увеличением степени расположение этих нулей периодически повторяется. цепь Маркова таковаСледовательно, что её состояния образуют лишь один неразложимый класс последовательность <tex>P^{n}<ref/tex>не может сходиться в обычном смысле, для нее требуется так называемая суммируемость по Эйлеру.

Пусть Рассмотрим матрицу <tex>\{X_n\}_{n \ge 0}(kI + (1 - k)P)</tex> — цепь Маркова с тремя состояниями при некотором <tex>\{1k,2,3\}~ 0 </tex>, и её матрица переходных вероятностей имеет вид: k <tex>P = \left(\begin{matrix}0.5 & 0.5 & 0 \\0.1 & 0.9 & 0 \\0 & 0 & 1\end{matrix}\right).</tex>Состояния этой цепи образуют два . Эта матрица является ''переходной матрицей'неразложимых класса''': <tex>\{1. Она имеет положительные элементы на всех тех же местах,2\}</tex> что и <tex>\{3\}</tex> <tex>(1 \leftrightarrow 2P</tex>, но следовательно, она также ''задает эргодическую цепь''. Также диагональные элементы этой матрицы положительны. Значит, в каждое состояние можно возвратиться за один шаг, а это значит, что <tex>d = 1 \not\rightarrow 3</tex> и <tex>3 \not\rightarrow 1)</tex>. Т.е. если представить матрицу переходных вероятностей в виде графаТаким образом, то он будет иметь две компоненты связностиновая цепь является регулярной.

Из [[Регулярная марковская цепь#Эргодическая теорема для регулярных цепей | эргодической теоремы для регулярных цепей]] следует, что </reftex>);# Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное времяkI + (1 - k);# Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числуP).Эргодическое распределение ^{n}</tex> стремится к матрице <tex>A = \xi\mathbf{alpha</tex>, где <tex>\pi}alpha</tex> тогда является единственным решением системы{{---}} положительный вероятностный вектор. Таким образом: :<tex>A = \sumlim\limits_{i=0x\to \infty}(kI + (1 - k)P)^{\inftyn} \pi_i </tex>: <tex> A = 1,\; lim\pi_j limits_{x\ge 0,to \; \pi_j = infty} \sum\limits_{i=0}^{n} {n\inftychoose i} k^{n - i} (1 - k)^{i} \pi_i\, p_P^{iji}~~~~~ (1)</tex>Но последнее равенство в точности означает,\quad \, j\in \mathbbчто последовательность <tex>P^{Nn}</tex> суммируема по Эйлеру к <tex>A</tex>, причем суммируема при каждом значении <tex>k</tex>.}}

Рассмотрим матрицу'''Третий факт''' следует из того, следующего вида: <tex>p_{ij}=0.5, i,j=1,2</tex>. Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение что <tex>P \pi xi = (0.5,0.5)^{\top}xi</tex>, такое для любой переходной матрицы и что <tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} alpha P = \pi_j, i=1,2alpha</tex>.}}

==ПримечанияПример==[[File:Ergo.jpg‎|thumb|250px|Пример циклической цепи]]Самым простым примером циклической цепи является цепь из двух состояний, с переходной матрицей::<tex>P = \begin{pmatrix}0 & 1 \\ 1 & 0\end{pmatrix}</tex> .

Стационарным распределением этой цепи будет <tex> \alpha = (0.5, 0.5) <references /tex>.

==СсылкиСм. также==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Эргодическое распределение - Википедия[Марковская цепь]]*[[Регулярная марковская цепь]]*[[Примеры использования Марковских цепей]]

==Литература==*[http://ru.wikipedia.org/wiki/Эргодическое_распределение Википедия {{---}} Эргодическое распределение ]*[http://ru.wikipedia.org/wiki/Дискретное_распределение#.D0.94.D0.B8.D1.81.D0.BA.D1.80.D0.B5.D1.82.D0.BD.D1.8B.D0.B5_.D1.80.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D1.8F Википедия {{---}} Дискретное распределение]*[http://en.wikipedia.org/wiki/Euler_summation Wikipedia {{---}} Euler summation]*Дж. Кемени, Дж. Снелл "{{---}} Конечные цепи Маркова" {{--- Издательство }} изд. "Наука", 1970 г . {{--- }} 129 c.

[[Категория: Марковские цепи ]]