Расчёт вероятности поглощения в состоянии

Поглощающее(существенное) состояние цепи Маркова — состояние с вероятностью перехода в самого себя [math]p_{ii}=1[/math]. Составим матрицу [math]\mathtt{G}[/math], элементы которой [math]g_{ij}[/math] равны вероятности того, что, выйдя из [math]i[/math], попадём в поглощающее состояние [math]j[/math].

Теорема:

[math] \mathtt{G} = N \cdot R [/math], где [math]N[/math] — фундаментальная матрица, и [math]R[/math] — матрица перехода из несущественных состояний в существенные.

Доказательство:

[math]\triangleright[/math]

Пусть этот переход будет осуществлён за [math]r[/math] шагов: [math]i[/math] → [math]i_{1}[/math] → [math]i_{2}[/math] → [math]\ldots[/math] → [math]i_{r-1}[/math] → j, где все [math]i, i_{1}, \ldots i_{r-1}[/math] являются несущественными. Тогда рассмотрим сумму [math]\sum\limits_{\forall(i_{1} \ldots i_{r-1})} {p_{i, i_{1}} \cdot p_{i_{1}, i_{2}} \cdot \ldots \cdot p_{i_{r-1}, j}} = Q^{r-1} \cdot R[/math], где [math]Q[/math] — матрица переходов между несущественными состояниями, [math]R[/math] — из несущественного в существенное. Матрица [math]\mathtt{G}[/math] определяется их суммированием по всем длинам пути из i в j: [math]\mathtt{G} = \sum\limits_{r = 1}^{\infty}{Q^{r-1} \cdot R} = (I + Q + Q^{2} + Q^{3} + \ldots) \cdot R = NR[/math], т.к. [math](I + Q + Q^2 + \ldots) \cdot (I - Q) = I - Q + Q - Q^{2} + \ldots = I[/math], а фундаментальная матрица марковской цепи [math]N = (I - Q)^{-1}[/math]

[math]\triangleleft[/math]

Псевдокод

Выведем ответ: в [math]\mathtt{i}[/math]-ой строке вероятность поглощения в [math]\mathtt{i}[/math]-ом состоянии. Естественно, для несущественного состояния это [math]0[/math], в ином случае [math]\mathtt{p_i}=((\sum\limits_{k=1}^{n} G[k][j]+1)/n[/math] где [math]\mathtt{j}[/math] — номер соответствующий [math]\mathtt{i}[/math]-ому состоянию в матрице [math]\mathtt{G}[/math] (т.е. под которым оно располагалось в матрице [math] \mathtt{R} [/math] т.е. значение [math]\mathtt{position}[\mathtt{i}][/math]). Прибавлять [math]1[/math] нужно т.к. вероятность поглотиться в [math]\mathtt{i}[/math]-ом поглощающем состоянии, оказавшись изначально в нем же равна [math]1[/math].

• [math]\mathtt{probability}[\mathtt{i}][/math] — вероятность поглощения в [math]\mathtt{i}[/math]-ом состоянии
• [math]\mathtt{absorbing}[\mathtt{i}][/math] — является ли [math]\mathtt{i}[/math]-е состояние поглощающим

float[] getAbsorbingProbability(absorbing: boolean[n], G: float[n][n]):
   float probability[n]
   for i = 0 to n - 1
      float prob = 0
      if absorbing[i]
         for j = 0 to nonabs - 1
            prob += G[j][position[i]]
         prob++
         prob /= n
      probability[i] = prob
   return probability

См. также

• Марковская цепь
• Подсчет количества поглощающих состояний и построение матриц переходов марковской цепи
• Фундаментальная матрица
• Теорема о поглощении
• Математическое ожидание времени поглощения

Источники информации

• Википедия — Цепи Маркова
• Кемени Дж. и Снелл Дж., "Конечные цепи Маркова"