Эргодическая марковская цепь — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 1: Строка 1:
 
{{Определение
 
{{Определение
|definition=Марковская цепь называется эргодической, если существует дискретное распределение (называемое эргодическим) <tex>\pi = (\pi_1,\pi_2,\ldots )^{\top}</tex>, такое что <tex>\pi_i > 0,\; i \in \mathbb{N}</tex> и
+
|definition=[[Марковская цепь|Марковская цепь]] называется эргодической, если существует дискретное распределение (называемое эргодическим) <tex>\pi = (\pi_1,\pi_2,\ldots )^{\top}</tex>, такое что <tex>\pi_i > 0,\; i \in \mathbb{N}</tex> и
 
:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots</tex>.
 
:<tex>\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots</tex>.
 
}}
 
}}
 
{{Определение|definition=Марковская цепь называется эргодической, если любое состояние цепи является эргодическим (состояние цепи Маркова эргодическим, если оно одновременно возвратно и непериодично).}}
 
  
 
[[Файл:MarkovTriangle.png|thumb|350px|Примеры графов переходов для цепей Маркова:
 
[[Файл:MarkovTriangle.png|thumb|350px|Примеры графов переходов для цепей Маркова:

Версия 09:50, 22 декабря 2011

Определение:
Марковская цепь называется эргодической, если существует дискретное распределение (называемое эргодическим) [math]\pi = (\pi_1,\pi_2,\ldots )^{\top}[/math], такое что [math]\pi_i \gt 0,\; i \in \mathbb{N}[/math] и
[math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots[/math].


Примеры графов переходов для цепей Маркова: a) цепь не является слабо эргодической (не существует общего стока для состояний [math]A_2, \, A_3[/math]); b) слабо эргодическая, но не эргодическая цепь (граф переходов не является ориентированно связным) c) эргодическая цепь (граф переходов ориентированно связен).

Основная теорема об эргодических распределениях

Теорема (Основная теорема об эргодических распределениях):
Пусть [math]\{X_n\}_{n \ge 0}[/math] - цепь Маркова с дискретным пространством состояний и матрицей переходных вероятностей [math]P = (p_{ij}),\; i,j=1,2,\ldots[/math]. Тогда эта цепь является эргодической тогда и только тогда, когда она
  1. Неразложима [math]([/math]Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложимой[math])[/math];
  2. Положительно возвратна [math]([/math]Возвратное состояние [math]i[/math] называется положительным, если [math] \mathbb{E}[T_i] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} \lt \infty)[/math];
  3. Апериодична [math]([/math]Если [math]d(j) = 1[/math] (где [math]d(j) = \gcd \left(n \in \mathbb{N} \mid p_{jj}^{(n)} \gt 0 \right)[/math]), то состояние [math]j[/math] называется апериодическим[math])[/math].

Эргодическое распределение [math]\mathbf{\pi}[/math] тогда является единственным решением системы:

[math]\sum\limits_{i=0}^{\infty} \pi_i = 1,\; \pi_j \ge 0,\; \pi_j = \sum\limits_{i=0}^{\infty} \pi_i\, p_{ij},\quad \, j\in \mathbb{N}[/math].


Пример

Пример эргодической цепи

Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния. Рассмотрим матрицу, следующего вида: [math]p_{ij}=0.5, i,j=1,2[/math].

Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение [math]\pi = (0.5,0.5)^{\top}[/math], такое что [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, i=1,2[/math].

См. также

Ссылки

Литература

Дж. Кемени, Дж. Снелл "Конечные цепи Маркова"