Изменения

Для марковской цепи задают векторМарковскую цепь можно представить в виде графа, в котором вершины — это состояния процесса, а ребра — переходы между состояниями, и на ребре из <tex> i </tex> в <tex> j </tex> написана вероятность перехода из <tex> i </tex> в <tex> j </tex>, то есть <tex> p_{ij} </tex>. == Распределение вероятностей == Марковскую цепь в любой момент времени <tex> t </tex> можно охарактеризовать вектором-строку строкой <tex> c_0 c_t </tex>, где — распределением вероятностей по состояниям цепи (<tex>\ c_{0jti} </tex> — вероятность того, что цепи в начале процесса марковская цепь находится момент времени <tex> t </tex> быть в состоянии <tex> j i </tex>).  Если <tex> c_i </tex> — текущее распределение вероятностей, то можно узнать распределение на следующем шаге, умножив вектор на матрицу перехода:

Для Из ассоциативности произведения матриц следует, что для того, чтобы узнать распределение вероятностей через <tex> t </tex> шагов, нужно умножить <tex> c_0 c_i </tex> на матрицу перехода, возведённую в степень <tex> t </tex>:

Соответственно, можно найти распределение вероятностей на любом шаге, зная лишь Для марковской цепи иногда задают начальное распределение вероятностей: <tex> c_i = c_0 \times P^t </tex>. Марковскую цепь можно представить в виде графа, в котором вершины — это состояния процесса, а ребра — переходы между состояниями, и на ребре из <tex> i </tex> в <tex> j </tex> написана вероятность перехода из <tex> i </tex> в <tex> j </tex>, то есть <tex> p_{ij} </tex>хотя во многих классах марковских цепей распределение по прошествии большого периода времени от него не зависит (такое распределение называют '''предельным''').

Состояния <tex> i </tex> и <tex> j </tex> '''сообщаются''' (''communicate''), если они достижимы друг из друга. Сообщаемость <tex> i </tex> и <tex> j </tex> обозначается <tex> i \leftrightarrow j </tex>.

* достижимыми состояниями являются: <tex> 2 </tex> из <tex> 1 </tex>(непосредственно), <tex> 1 3 </tex> из <tex> 2 1 </tex>(непосредственно), <tex> 6 </tex> из <tex> 3 </tex> из (к примеру, через цепочку состояний <tex> 1 3 \rightarrow 2 \rightarrow 4 \rightarrow 6 </tex> ) и т.д., * сообщаются состояния <tex> 1 </tex> и <tex> 2 </tex>(непосредственно), а также <tex> 6 </tex> и <tex> 7 </tex>;(непосредственно), <tex <tex> 1 </tex> и <tex> 3 </tex> (достижимы друг из друга) и т. д.

* [http://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BF%D0%B8_%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D0%B0 Википедия — Цепь Маркова]