Материал из Викиконспекты
| Определение: |
Марковская цепь называется эргодической, если существует дискретное распределение (называемое эргодическим) [math]\pi = (\pi_1,\pi_2,\ldots )^{\top}[/math], такое что [math]\pi_i \gt 0,\; i \in \mathbb{N}[/math] и
- [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots[/math].
|
| Теорема (Основная теорема об эргодических распределениях): |
Пусть [math]\{X_n\}_{n \ge 0}[/math] - цепь Маркова с дискретным пространством состояний и матрицей переходных вероятностей [math]P = (p_{ij}),\; i,j=1,2,\ldots[/math]. Тогда эта цепь является эргодической тогда и только тогда, когда она
- Неразложима (т.е. цепь Маркова такова, что её состояния образуют лишь один неразложимый класс [1]);
- Положительно возвратна (т.е. находится в таком состоянии, выйдя из которого возвращается в него за конечное время);
- Апериодична (т.е. находится в таком состоянии, которое навещается цепью через промежутки времени, не кратные фиксированному числу).
Эргодическое распределение [math]\mathbf{\pi}[/math] тогда является единственным решением системы:
- [math]\sum\limits_{i=0}^{\infty} \pi_i = 1,\; \pi_j \ge 0,\; \pi_j = \sum\limits_{i=0}^{\infty} \pi_i\, p_{ij},\quad \, j\in \mathbb{N}[/math].
|
Пример
Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния.
Рассмотрим матрицу, следующего вида: [math]p_{ij}=0.5, i,j=1,2[/math].
Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является эргодической, так как существует эргодическое распределение [math]\pi = (0.5,0.5)^{\top}[/math], такое что [math]\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, i=1,2[/math].
См. такжеПримечания
- ↑
Пусть [math]\{X_n\}_{n \ge 0}[/math] — цепь Маркова с тремя состояниями [math]\{1,2,3\}[/math], и её матрица переходных вероятностей имеет вид
- [math]P = \left(
\begin{matrix}
0.5 & 0.5 & 0 \\
0.1 & 0.9 & 0 \\
0 & 0 & 1
\end{matrix}
\right).[/math]
Состояния этой цепи образуют два неразложимых класса: [math]\{1,2\}[/math] и [math]\{3\}[/math] [math](1 \leftrightarrow 2[/math], но [math]1 \not\rightarrow 3[/math] и [math]3 \not\rightarrow 1)[/math]. Т.е. если представить матрицу переходных вероятностей в виде графа, то он будет иметь две компоненты связности.
СсылкиЛитература
Дж. Кемени, Дж. Снелл "Конечные цепи Маркова" - Издательство "Наука", 1970 г - 129 c.
