418
правок
Изменения
Нет описания правки
Такая матрица называется ''стохастической''.
Для марковской цепи задают вектор-строку <tex> c_0 </tex>, где <tex>\ c_{0i0j} </tex> — вероятность того, что в начале процесса марковская цепь находится в состоянии <tex> i j </tex>. Тогда Если <tex> c_i </tex> — текущее распределение вероятностей, то можно узнать распределение вероятностей на следующем шаге, умножив вектор на матрицу перехода:
<tex> c_1 c_{i + 1} = c_0 c_{i} \times P </tex>.
Для того, чтобы узнать распределение вероятностей через <tex> t </tex> шагов, найдём вектор <tex> c_t </tex> (вектор через <tex> t </tex> шагов), для чего нужно умножить <tex> c_0 </tex> на матрицу перехода, возведённую в степень <tex> t </tex>:
<tex> c_t c_{i + t} = c_{i} \times P^t </tex>. Соответственно, можно найти распределение вероятностей на любом шаге, зная лишь начальное распределение вероятностей: <tex> c_i = c_0 \times P^t </tex>.
Марковскую цепь можно представить в виде графа, в котором вершины — это состояния процесса, а ребра — переходы между состояниями, и на ребре из <tex> i </tex> в <tex> j </tex> написана вероятность перехода из <tex> i </tex> в <tex> j </tex>, то есть <tex> p_{ij} </tex>.
