Марковская цепь — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
Строка 29: Строка 29:
 
Все остальные состояния называют '''непоглощающими (несущественными)'''.
 
Все остальные состояния называют '''непоглощающими (несущественными)'''.
 
}}
 
}}
 +
 +
В примере на рисунке поглощающими являются состояния 3 и 4, а непоглощающими {{---}} 1 и 2.
 +
 
Вероятность того, что через <tex> r </tex> шагов марковская цепь будет находиться в состоянии <tex> j </tex> равна <tex dpi = 150> c_{rj} = (c_0 P^r) [j] </tex>
 
Вероятность того, что через <tex> r </tex> шагов марковская цепь будет находиться в состоянии <tex> j </tex> равна <tex dpi = 150> c_{rj} = (c_0 P^r) [j] </tex>
  

Версия 12:19, 26 декабря 2010

Определение

Определение:
Цепь Маркова — процесс, находящийся в одном из [math]n[/math] состояний.

При этом, если он находиться в состоянии с номером [math]i[/math], то он перейдет в состояние [math]j[/math] с вероятностью [math]p_{ij}[/math].

Матрицу [math]P = ||p_{ij}||[/math] называют матрицей переходов.


Пример марковской цепи

На матрицу переходов накладываются следующие условия:

  1. [math] p_{ij} \geqslant 0 [/math]
  2. [math] \forall i\ \ \sum\limits_{j} p_{ij} = 1 [/math]

Такая матрица называется стохастической.

В общем случае для марковской цепи задают вектор [math] c_0[/math]. [math]\ c_{0i} [/math] — вероятность того, что в начале процесса марковская цепь находиться в состоянии [math] i [/math].

Марковскую цепь можно представить в виде графа, в котором вершины — это состояния процесса, а ребра — переходы между состояниями, и на ребре из [math] i [/math] в [math] j [/math] написана вероятность перехода из [math] i [/math] в [math] j [/math], то есть [math] p_{ij} [/math].

Состояния

Состояния марковской цепи делятся на два класса: поглощающие (существенные) и непоглощающие (несущественные).


Определение:
Состояние [math] i [/math] называют поглощающим (существенным), если оно достижимо и [math] p_{ii} = 1 [/math]. Все остальные состояния называют непоглощающими (несущественными).


В примере на рисунке поглощающими являются состояния 3 и 4, а непоглощающими — 1 и 2.

Вероятность того, что через [math] r [/math] шагов марковская цепь будет находиться в состоянии [math] j [/math] равна [math] c_{rj} = (c_0 P^r) [j] [/math]

Смотри также

На русской википедии:

Литература

  • И.В. Романовский. Дискретный анализ