Изменения

{{Определение | definition ='''Цепь Маркова''' {{---}} — процесс, находящийся в одном из <tex>n</tex> состояний.

В общем случае для марковской цепи задают вектор <tex> c_0</tex>. <tex>\ c_{0i} </tex> {{---}} — вероятность того, что в начале процесса марковская цепь находится в состоянии <tex> i </tex>.

Марковскую цепь можно представить в виде графа, в котором вершины {{---}} — это состояния процесса, а ребра {{---}} — переходы между состояниями, и на ребре из <tex> i </tex> в <tex> j </tex> написана вероятность перехода из <tex> i </tex> в <tex> j </tex>, то есть <tex> p_{ij} </tex>.

Вероятность того, что через == Достижимость и сообщаемость ==Обозначим вероятность попасть из состояния <tex> r i </tex> шагов марковская цепь будет находиться в состоянии состояние <tex> j </tex> равна за <tex> c_n </tex> переходов как <tex> p_{rjij} = ^{(c_0 P^rn) [j] } </tex>.

{{Определение|definition== Классификация цепей и состояний ==Состояние <tex> j </tex> '''достижимо''' (''accesible'') из состояния <tex> i </tex>, если существует такое <tex> n </tex>, что <tex> p_{ij}^{(n)} > 0 </tex>. Достижимость <tex> j </tex> из <tex> i </tex> обозначается <tex> i \rightarrow j </tex>. <br>}}

<tex> p_{ij}^{(n)} </tex> {{---}} вероятность попасть из состояния Состояния <tex> i </tex> в состояние и <tex> j </tex> за <tex> n </tex> переходов'''сообщаются''' (''communicate''), если они достижимы друг из друга.

Состояние <tex> j </tex> '''достижимоНеразложимый класс''' (''accesiblecommunicating class'') из состояния <tex> i </tex>, если существует такое <tex> n </tex>, что <tex> p_{ij}^{(n)} > 0 </tex>— класс эквивалентности множества состояний по отношению сообщаемости. Достижимость <tex> j </tex> из <tex> i </tex> обозначается <tex> i \rightarrow j </tex>. <br>Состояния '''сообщаются''' (''communicate'')Если представить марковскую цепь как граф, если они достижимы друг из друганеразложимый класс будет аналогичен компоненте сильной связности.

'''Неразложимый класс''' (''communicating class'') {{---}} класс эквивалентности множества состояний по отношению сообщаемости. Если представить Марковскую цепь как граф, неразложимый класс будет аналогичен компоненте сильной связности. <br>'''Неразложимая цепь''' (''ireducible chain'') {{---}} — цепь Маркова, в которой все состояния образуют один неразложимый класс.

Упорядочим (очевидно, упорядочение будет частичным) неразложимые классы отношением достижимости. Минимальные элементы в таком упорядочении называются '''эргодическими классами'''. Состояния в эргодических классах называются '''эргодическими''' (''ergodic''), '''возвратными''', или '''существенными'''. Если эргодический класс состоит из одного состояния, такое состояние называется '''поглощающим''' (''absorbing'').<br>Из свойств частичного упорядочения, в любой цепи Маркова найдется хотя бы один эргодический класс. <br>Все остальные неразложимые классы называются '''невозвратными классами'''. Состояния, входящие в них, называются '''невозвратными''' или '''несущественными'''.

|id=absorb|definition=Если эргодический класс состоит из одного состояния, такое состояние называется '''Поглощающейпоглощающим''' (''absorbing chain'') называется марковская цепь.}} Из свойств частичного упорядочения, в которой есть любой цепи Маркова найдется хотя бы одно поглощающее состояние и один эргодический класс. {{Определение|definition='''Эргодическая''' марковская цепь — марковская цепь, целиком состоящая из любого состояния достижимо хотя бы одно поглощающееодного эргодического класса.

В примере Таким образом, эргодические цепи делятся на рисунке поглощающими являются состояния 3 и 4, а непоглощающими {{---}} 1 [[Регулярная марковская цепь|регулярные]] и 2'''циклические'''.

== Смотри также =Поглощающая цепь ==={{Определение|definition='''Поглощающей''' (''absorbing chain'') называется марковская цепь, в которой есть хотя бы одно поглощающее состояние и из любого состояния достижимо хотя бы одно поглощающее.}}

* [[Теорема о поглощении]]* [http://ruВ примере на рисунке поглощающими являются состояния 3 и 4, а непоглощающими — 1 и 2.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BF%D0%B8_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Цепь Маркова]

* И.В. Романовский. ''«Дискретный анализ»''. 3-е изд., 2003. стр. 270—279* Дж. Кемени, Дж. Снелл "Конечные цепи Маркова"* [http://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BF%D0%B8_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Цепь Маркова]