Регулярная марковская цепь

Материал из Викиконспекты
Перейти к: навигация, поиск

Регулярная цепь Маркова

Определение:
Марковская цепь называется регулярной (нормальной), если в матрице перехода P [math]\forall i,j \ \ p_{ij} \neq 0[/math].


В регулярной Марковской цепи из любого состояния можно попасть в другое за некоторое число ходов.

Лемма

Лемма:
Пусть [math]P_{[r\times r]}[/math] — матрица перехода регулярной цепи, [math]\varepsilon[/math] — минимальный элемент этой матрицы. Пусть х — произвольный r-мерный вектор-столбец, имеющий максимальный элемент [math]M_0[/math] и минимальный [math]m_0[/math]. Пусть [math]M_1[/math] и [math]m_1[/math] - максимальный и минимальный элементы [math]Px[/math].
Тогда [math]M_1 \leqslant M_0[/math], [math]m_1 \geqslant m_0[/math] и [math]M_1 - m_1 \leqslant (1 - 2\varepsilon)(M_0 - m_0)[/math]


Эргодическая теорема для регулярной марковской цепи

Теорема:
Для регулярной марковской цепи существует такой вектор [math]\omega = \lim\limits _{n \to +\infty} cP^n, \forall c[/math] такой, что [math]\omega = \omega P[/math].

Литература

Дж. Кемени, Дж. Снелл "Конечные цепи Маркова", стр 93