Математическое ожидание времени поглощения

Пусть [math] b_0 [/math] - вектор вероятностей начальных состояний, то есть [math] b_0[j] [/math] - вероятность для цепи Маркова начать в состоянии j. Определим [math] b_r[j][/math] как вероятность находиться в состоянии [math] j [/math] после первых [math] r [/math] шагов.

Лемма:

[math] b_r = b_0 Q^r [/math]

Доказательство:

[math]\triangleright[/math]

Доказательство аналогично части теоремы о поглощении.

[math]\triangleleft[/math]

Пусть [math] p^r_j [/math] - количество раз, которое цепь Маркова находится в состоянии [math] j [/math] за первые [math] r [/math] шагов. Рассмотрим [math] v_j [/math] - среднее количество раз, которое мы побываем в состоянии j:

[math] v[j] = E(p^r_j) = E(p^{r-1}_j) + b_{r}[j] = (\sum\limits_{t = 0}^{r}b_{t})[j] = b_0(\sum\limits_{t = 0}^{r}b_{t})[j] [/math]

Отсюда [math] v = b_0 \sum\limits_{t = 0}^{r}b_{t} = b_0 N[/math], где N - фундаментальная матрица.

Математическое ожидание можно посчитать как сумму всех элементов вектора v.