Математическое ожидание времени поглощения

Пусть [math] b_0 [/math] - вектор вероятностей начальных состояний, то есть [math] b_0[j] [/math] - вероятность для цепи Маркова начать в состоянии [math] j [/math]. Определим [math] b_r[j] [/math] как вероятность находиться в состоянии [math] j [/math] после первых [math] r [/math] шагов. За значение случайной величины в формуле математического ожидания [math] E\xi = \sum \xi(\omega)p(\omega) [/math] примем [math] \xi = \left\{ \begin{array}{ll} 1,& b_i[j] \gt 0 \\ 0,& b_i[j] = 0, \forall i \end{array} \right. \Rightarrow \xi\cdot b_i[j] = b_i[j] [/math]. После [math] r [/math] шагов [math] b_r = b_0 Q^r [/math] (доказательство аналогично части теоремы о поглощении).

Пусть [math] p^r_j [/math] - количество раз, которое цепь Маркова находится в состоянии [math] j [/math] за первые [math] r [/math] шагов. Рассмотрим [math] v[j] [/math] - среднее количество раз, которое мы побываем в состоянии [math] j [/math]:

[math] v[j] = E(p^r_j) = E(p^{r-1}_j) + \xi\cdot b_{r}[j] = E(p^{r-2}_j) + b_{r-1}[j] + b_{r}[j] = (\sum\limits_{t = 0}^{r}b_{t})[j] = b_0(\sum\limits_{t = 0}^{r}Q^{t})[j] [/math].

Отсюда [math] v = b_0 \sum\limits_{t = 0}^{r}Q^{t} = b_0 N[/math], где [math] N [/math] - фундаментальная матрица.

Математическое ожидание можно посчитать как сумму всех элементов вектора [math] v [/math].

См. также

• Расчет вероятности поглощения в состоянии
• Примеры использования Марковских цепей

Источники информации

• Кемени Дж., Снелл Дж. Конечные цепи Маркова. — М. : Наука, 1970. — 272 c.