Регулярная марковская цепь — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 1: Строка 1:
 
== Регулярная цепь Маркова ==
 
== Регулярная цепь Маркова ==
 
{{Определение
 
{{Определение
|definition=Марковская цепь называется регулярной (нормальной), если <tex>p_{ij} > 0, \forall i,j=1,2, \ldots</tex>.
+
|definition=Марковская цепь называется регулярной (нормальной), если в матрице перехода P  <tex>\forall i,j \ \ p_{ij} \neq 0</tex>.
 +
}}
 +
 
 +
 
 +
В регулярной Марковской цепи из любого состояния можно попасть в другое за некоторое число ходов.
 +
 
 +
== Лемма ==
 +
{{Лемма
 +
|statement=Пусть <tex>P_{[r\times r]}</tex> — матрица перехода регулярной цепи, <tex>\varepsilon</tex> — минимальный элемент этой матрицы. Пусть х — произвольный r-мерный вектор-столбец, имеющий максимальный элемент <tex>M_0</tex> и минимальный <tex>m_0</tex>. Пусть <tex>M_1</tex> и <tex>m_1</tex> - максимальный и минимальный элементы <tex>Px</tex>. <br>
 +
Тогда <tex>M_1 \leqslant M_0</tex>, <tex>m_1 \geqslant m_0</tex> и <tex>M_1 - m_1 \leqslant (1 - 2\varepsilon)(M_0 - m_0)</tex>
 
}}
 
}}
=== Пример: ===
 
[[File:Temp.gif|thumb|250px|Пример регулярной цепи]]
 
Рассмотрим эксперимент по бросанию честной монеты. Тогда соответствующая этому эксперименту марковская цепь будет иметь 2 состояния. Рассмотрим матрицу, следующего вида: <tex>p_{ij}=0.5, i,j=1,2</tex>.
 
  
Такая матрица является стохастической, а, значит, корректно определяет марковскую цепь. Такая цепь является регулярной по определению регулярной марковской цепи.
 
  
 
== Эргодическая теорема для регулярной марковской цепи ==
 
== Эргодическая теорема для регулярной марковской цепи ==
Строка 16: Строка 21:
  
 
== Литература ==
 
== Литература ==
Дж. Кемени, Дж. Снелл "Конечные цепи Маркова"
+
Дж. Кемени, Дж. Снелл "Конечные цепи Маркова", стр 93

Версия 06:05, 13 января 2012

Регулярная цепь Маркова

Определение:
Марковская цепь называется регулярной (нормальной), если в матрице перехода P [math]\forall i,j \ \ p_{ij} \neq 0[/math].


В регулярной Марковской цепи из любого состояния можно попасть в другое за некоторое число ходов.

Лемма

Лемма:
Пусть [math]P_{[r\times r]}[/math] — матрица перехода регулярной цепи, [math]\varepsilon[/math] — минимальный элемент этой матрицы. Пусть х — произвольный r-мерный вектор-столбец, имеющий максимальный элемент [math]M_0[/math] и минимальный [math]m_0[/math]. Пусть [math]M_1[/math] и [math]m_1[/math] - максимальный и минимальный элементы [math]Px[/math].
Тогда [math]M_1 \leqslant M_0[/math], [math]m_1 \geqslant m_0[/math] и [math]M_1 - m_1 \leqslant (1 - 2\varepsilon)(M_0 - m_0)[/math]


Эргодическая теорема для регулярной марковской цепи

Теорема:
Для регулярной марковской цепи существует такой вектор [math]\omega = \lim\limits _{n \to +\infty} cP^n, \forall c[/math] такой, что [math]\omega = \omega P[/math].

Литература

Дж. Кемени, Дж. Снелл "Конечные цепи Маркова", стр 93