Изменения

[[Марковская цепь#Поглощающая цепь| Поглощающее(существенное) состояние цепи Маркова - ]] — состояние с вероятностью перехода в самого себя <tex>p_{ii}=1</tex>. Составим матрицу <tex>\mathtt{G}</tex>, элементы которой <tex>g_{ij}</tex> равны вероятности того, что, выйдя из <tex>i</tex>, попадём в поглощающее состояние <tex>j</tex>.

<tex> \mathtt{G } = N \cdot R </tex>, где <tex>N</tex> — фундаментальная матрица, и <tex>R</tex> — матрица перехода из несущественных состояний в существенные.

Пусть этот переход будет осуществлён за <tex>r </tex> шагов: <tex>i </tex> &rarr; <tex>i_{1}</tex> &rarr; <tex>i_{2}</tex> &rarr; ... <tex>\ldots</tex> &rarr; <tex>i_{r-1}</tex> &rarr; j, где все <tex>i, i_{1}, ... \ldots i_{r-1}</tex> являются несущественными.Тогда рассмотрим сумму <tex>\sum\limits_{\forall(i_{1} ... \ldots i_{r-1})} {p_{i, i_{1}} \cdot p_{i_{1}, i_{2}} \cdot ... \ldots \cdot p_{i_{r-1}, j}} = Q^{r-1} \cdot R</tex>, где <tex>Q - </tex> — матрица переходов между несущественными состояниями, <tex>R - </tex> — из несущественного в существенное. Матрица <tex>\mathtt{G }</tex> определяется их суммированием по всем длинам пути из i в j: <tex>\mathtt{G } = \sum\limits_{r = 1}^{\infty}{Q^{r-1} \cdot R} = (I + Q + Q^{2} + Q^{3} + ...\ldots) \cdot R = NR</tex>, т.к. <tex>(I + Q + Q^2 + ...\ldots) \cdot (I - Q) = I - Q + Q - Q^{2} + ... \ldots = I</tex>, а фундаментальная матрица марковской цепи <tex>N = (I - Q)^{-1}</tex> }}==Псевдокод==Выведем ответ: в <tex>n\mathtt{i}</tex> - количество состояний Марковской цепи, ой строке вероятность поглощения в <tex>m\mathtt{i}</tex> - количество переходовом состоянии. Состояния и переходы пронумерованы от 0 до Естественно, для несущественного состояния это <tex>n - 10</tex>. Пусть входные данные хранятся , в массиве ином случае <tex>input\mathtt{p_i}=\left(\sum\limits_{k=1}^{n} \mathtt{G}[k][j]+1\right)/n</tex> где <tex>i\mathtt{j}</tex>-ая строка характеризует — номер соответствующий <tex>\mathtt{i}</tex>-ый переход таким образом: ому состоянию в матрице <tex>input[i][2]\mathtt{G}</tex> - вероятность перехода из состояния (т.е. под которым оно располагалось в матрице <tex>input[i][0]\mathtt{R} </tex> в состояние т.е. значение <tex>input\mathtt{position}[\mathtt{i][1}]</tex>).Создадим массив Прибавлять <tex>absorbing1</tex> типа Boolean, где нужно т.к. вероятность поглотиться в <tex>\mathtt{i}</tex>-ое <tex>true</tex> обозначает что <tex>iом поглощающем состоянии, оказавшись изначально в нем же равна </tex>-ое состояние является поглощающим. Если состояние поглощающее то с вероятностью 1 оно переходит само в себя. Найдем такие состояния. Также посчитаем количество поглощающих состояний <tex>abs</tex>_<tex>num</tex>.*<code style = "display: inline-block;"tex> for i=0 to n-1 if (input\mathtt{probability}[\mathtt{i}][0] == input[i][1] && input[i][2] == 1) absorbing[input[i][0]] = true; abs_num++;</code>Найдем число несущественных состояний <tex>nonabs=n-abs</tex>_<tex>num</tex>. Теперь нужно заполнить массивы Q (переходов между несущественными состояниями) и R (переходов из несущественных состояний — вероятность поглощения в поглощающие). Для этого создадим сначала массив <tex>position\mathtt{i}</tex> где -ом состоянии*<tex>\mathtt{absorbing}[\mathtt{i}]</tex>-ый элемент указывает под каким номером будет находиться — является ли <tex>\mathtt{i}</tex>-ое е состояние среди существенных если оно существенное или несущественных в обратном случаепоглощающим  '''float[]''' getAbsorbingProbability(absorbing: '''boolean'''[n], и заполним эти массивы.<code style = "displayG: inline-block;"> count_q = 0; count_r = 0; for i = 0 to '''float'''[n - 1 if abs][in] , position: '''int'''[in] = count_r; count_r++;): else position'''float''' probability[in] = count_q; count_q++; '''for ''' i = 0 '''to m ''' n - 1 '''float''' prob = 0 '''if ''' absorbing[input[i][1]] if absabsorbing[input[i][ '''for''' j = 0]]'''to''' nonabs - 1 R prob += G[position[input[i][0]]j][position[input[i][1]]] prob++ prob /= inputn probability[i][2];= prob else'''return''' probability  Q[position[input[i][0]]][position[input[i][1]]] = input[i][2];</code>Найдем Матрицу E = I - Q и создадим единичную матрицу NСм.<code style также= "display: inline-block;"> for i=0 to nonabs N*[[iМарковская цепь][i]=1;' E*[[iПодсчет количества поглощающих состояний и построение матриц переходов марковской цепи][i]=1; for j=0 to nonabs E*[i][jФундаментальная матрица]-=Q[i]*[j]; </code>Теперь приведем матрицу E к единичной методом Гаусса—Жордана, применяя те же преобразования к матрице N. В результате <tex>N=E^{-1}</tex> т.е. N - фундаментальная матрица Марковской цепи.<code style = "display: inline-block;"> for i = 0 to nonabs if E[iТеорема о поглощении][i] != 1 mul = E*[i][iМатематическое ожидание времени поглощения]; for j = 0 to nonabs E[i][j] /= mul; N[i][j] /= mul; for row = 0 to nonabs if i != row mul Источники информации= E[row][i]; for j = 0 to nonabs E[row][j] -= mul * E[ihttp://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BF%D1%8C_%28%D0%BC%D0%B0%D1%82%D0%B5%D0%BC.%29 Википедия — Цепи Маркова][j]; N* [row][j] http://www.studmed.ru/kemeni-dzh-snell-dzh-konechnye-cepi-= mul * N[imarkova_eb290d9f6f2.html Кемени Дж. и Снелл Дж., "Конечные цепи Маркова"][j];</code>