Эргодическая марковская цепь — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(→‎Примечания)
Строка 9: Строка 9:
 
|about=Основная теорема об эргодических распределениях
 
|about=Основная теорема об эргодических распределениях
 
|statement=
 
|statement=
−
Пусть <tex>\{X_n\}_{n \ge 0}</tex> - цепь Маркова с дискретным пространством состояний и матрицей переходных вероятностей <tex>P = (p_{ij}),\; i,j=1,2,\ldots</tex>. Тогда эта цепь является эргодической тогда и только тогда, когда она
+
Пусть <tex>\{X_n\}_{n \ge 0}</tex> - цепь Маркова с дискретным пространством состояний и [[Марковская цепь|матрицей переходных вероятностей]] <tex>P = (p_{ij}),\; i,j=1,2,\ldots</tex>. Тогда эта цепь является эргодической тогда и только тогда, когда она
−
# Неразложима (т.е. цепь Маркова такова, что её состояния образуют лишь один неразложимый класс <ref>Свойство сообщаемости порождает на пространстве состояний [[Отношение эквивалентности|отношение эквивалентности]]. Порождаемые классы эквивалентности называются '''неразложимыми классами'''.</ref>);
+
# Неразложима (т.е. цепь Маркова такова, что её состояния образуют лишь один неразложимый класс <ref>
 +
 
 +
 
 +
Пусть <tex>\{X_n\}_{n \ge 0}</tex> — цепь Маркова с тремя состояниями <tex>\{1,2,3\}</tex>, и её матрица переходных вероятностей имеет вид
 +
: <tex>P = \left(
 +
\begin{matrix}
 +
0.5 & 0.5 & 0 \\
 +
0.1 & 0.9 & 0 \\
 +
0 & 0 & 1
 +
\end{matrix}
 +
\right).</tex>
 +
Состояния этой цепи образуют два '''неразложимых класса''': <tex>\{1,2\}</tex> и <tex>\{3\}</tex> <tex>(1 \leftrightarrow 2</tex>, но <tex>1 \not\rightarrow 3</tex> и <tex>3 \not\rightarrow 1)</tex>.
 +
 
 +
</ref>);
 
# Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное время);
 
# Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное время);
 
# Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числу).
 
# Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числу).
Строка 32: Строка 45:
  
 
<references />
 
<references />
−
 
−
Пусть <tex>\{X_n\}_{n \ge 0}</tex> — цепь Маркова с тремя состояниями <tex>\{1,2,3\}</tex>, и её матрица переходных вероятностей имеет вид
 
−
: <tex>P = \left(
 
−
\begin{matrix}
 
−
0.5 & 0.5 & 0 \\
 
−
0.1 & 0.9 & 0 \\
 
−
0 & 0 & 1
 
−
\end{matrix}
 
−
\right).</tex>
 
−
Состояния этой цепи образуют два неразложимых класса: <tex>\{1,2\}</tex> и <tex>\{3\}</tex>. В частности, <tex>1 \leftrightarrow 2</tex>, но <tex>1 \not\rightarrow 3</tex> и <tex>3 \not\rightarrow 1</tex>.
 
−
 
−
Цепь Маркова, задаваемая матрицей переходных вероятностей
 
−
: <tex>
 
−
P = \left(
 
−
\begin{matrix}
 
−
0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0
 
−
\end{matrix}
 
−
\right)</tex>,
 
−
неразложима.
 
  
 
==Ссылки==
 
==Ссылки==

Версия 02:44, 2 января 2012

Определение:
Марковская цепь называется эргодической, если существует дискретное распределение (называемое эргодическим) [math]\pi = (\pi_1,\pi_2,\ldots )^{\top}[/math], такое что [math]\pi_i \gt 0,\; i \in \mathbb{N}[/math] и
[math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots[/math].


Основная теорема об эргодических распределениях

Теорема (Основная теорема об эргодических распределениях):
Пусть [math]\{X_n\}_{n \ge 0}[/math] - цепь Маркова с дискретным пространством состояний и матрицей переходных вероятностей [math]P = (p_{ij}),\; i,j=1,2,\ldots[/math]. Тогда эта цепь является эргодической тогда и только тогда, когда она
  1. Неразложима (т.е. цепь Маркова такова, что её состояния образуют лишь один неразложимый класс [1]);
  2. Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное время);
  3. Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числу).

Эргодическое распределение [math]\mathbf{\pi}[/math] тогда является единственным решением системы:

[math]\sum\limits_{i=0}^{\infty} \pi_i = 1,\; \pi_j \ge 0,\; \pi_j = \sum\limits_{i=0}^{\infty} \pi_i\, p_{ij},\quad \, j\in \mathbb{N}[/math].


Пример

Пример эргодической цепи

Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния. Рассмотрим матрицу, следующего вида: [math]p_{ij}=0.5, i,j=1,2[/math].

Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение [math]\pi = (0.5,0.5)^{\top}[/math], такое что [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, i=1,2[/math].

См. также

Примечания

  1. ↑ Пусть [math]\{X_n\}_{n \ge 0}[/math] — цепь Маркова с тремя состояниями [math]\{1,2,3\}[/math], и её матрица переходных вероятностей имеет вид
    [math]P = \left( \begin{matrix} 0.5 & 0.5 & 0 \\ 0.1 & 0.9 & 0 \\ 0 & 0 & 1 \end{matrix} \right).[/math]
    Состояния этой цепи образуют два неразложимых класса: [math]\{1,2\}[/math] и [math]\{3\}[/math] [math](1 \leftrightarrow 2[/math], но [math]1 \not\rightarrow 3[/math] и [math]3 \not\rightarrow 1)[/math].

Ссылки

Литература

Дж. Кемени, Дж. Снелл "Конечные цепи Маркова" - Издательство "Наука", 1970 г - 129 c.

Источник — «http://neerc.ifmo.ru/wiki/index.php?title=Эргодическая_марковская_цепь&oldid=15488»