Примеры использования Марковских цепей

Обозначения

Предположим, что проводится серия экспериментов с возможными исходами [math]s_1,s_2,s_3,...s_n[/math].Назовём эти исходы состояниями.

• [math]p_1^{(0)} - [/math] вероятность того, что мы начинаем в состоянии [math]s_i[/math]
• [math]p_{ij} - [/math] вероятность того, что в результате эксперимента состояние было изменено от состояния [math]s_i[/math] к состоянию [math]s_j[/math].

Если [math]p_i^{(1)}[/math] вероятность того, что исходом эксперимента будет состояние [math]s_i[/math].Тогда

[math]p_i^{(1)} = p_1^{(0)}p_{1i} + p_2^{(0)}p_{2i} + p_3^{(0)}p_{3i} + ... +p_n^{(0)}p_{ni}(*)[/math]

а это означает, что вероятность исхода в состоянии [math]s_i[/math] равна сумме вероятностей начать эксперимент в некотором другом состоянии и окончить в [math]s_i[/math]. Также заметим что:

[math]p_{j1}+p_{j2}+p_{j3}+ ... +p_{jn} = 1[/math]

• Матрица T называется матрицей перехода.В общем случае она имеет вид:

[math] \begin{bmatrix} p_{11} & p_{12} & p_{13} & ... & p_{1n} \\ p_{21} & p_{22} & p_{23} & ... & p_{2n} \\ p_{31} & p_{32} & p_{33} & ... & p_{3n} \\ p_{41} & p_{42} & p_{43} & ... & p_{4n} \\ . & . & . & ... & .\\ . & . & . & ... & .\\ . & . & . & ... & .\\ p_{n1} & p_{n2} & p_{n3} & ... & p_{nn} \\ \end{bmatrix} [/math]

Пусть [math] p^{(0)}=[/math][math](p_1^{(0)},p_2^{(0)},p_3^{(0)},... ,p_n^{(0)})[/math] и [math] p^{(1)}=[/math][math](p_1^{(1)},p_2^{(1)},p_3^{(1)},...,p_n^{(1)})[/math]

тогда [math] (p_1^{(1)},p_2^{(1)},p_3^{(1)}... ,p_n^{(1)})=[/math] [math](p_1^{(0)},p_2^{(0)},p_3^{(0)}.. ,p_n^{(0)})[/math] [math] \begin{bmatrix} p_{11} & p_{12} & p_{13} & ... & p_{1n} \\ p_{21} & p_{22} & p_{23} & ... & p_{2n} \\ p_{31} & p_{32} & p_{33} & ... & p_{3n} \\ p_{41} & p_{42} & p_{43} & ... & p_{4n} \\ . & . & . & ... & .\\ . & . & . & ... & .\\ . & . & . & ... & .\\ p_{n1} & p_{n2} & p_{n3} & ... & p_{nn} \\ \end{bmatrix} [/math]

Использование матриц приводит к более компактной записи условий.По своей сути, перемножение строки [math] p_i^{(0)} [/math] с матрицей [math] T [/math] эквивалентно уравнению [math] (*) [/math] ,рассмотренному ранее.

---

Пример: Прогноз погоды

Условие:

Погода классифицируется в прогнозах как ясная, умеренно пасмурная и пасмурная.

1)Если погода ясная, то вероятность, что она будет ясной на следующий день, составляет 0.5; вероятность, что она будет умеренно пасмурной, равна 0.4;а вероятность пасмурной погоды на следующий день составляет 0.1.

2)Если погода умеренно пасмурная, то вероятность, что на следующий день она будет ясной, равна 0.3; вероятность, что погода останется умеренно пасмурной, равна 0.5; а вероятность пасмурной погоды на следующий день составляет 0.2.

3)Если же погода пасмурная то вероятность, что на следующий день она останется пасмурной, равна 0.4; вероятность, что она станет умеренно пасмурной, равна 0.4; а вероятность того, что она будет ясной на следующий день составляет 0.2.

Вопрос 1:Если вероятность ясной погоды в воскресенье равна 0.6, а вероятность умеренно пасмурности - 0.4, то какова вероятность, что погода в понедельник будет ясной?

Вопрос 2:Какова вероятность, что во вторник погода будет умеренно пасмурной?

Если порядок, в котором перечисляются погодные условия, таков: ясно, умеренно пасмурно и пасмурно, то:

[math]p^{(0)} =[/math] [math](0.6,0.4,0)[/math]

[math] T = \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math]

следовательно, [math]p^{(1)} = [/math] [math](0.6,0.4,0) \times[/math] [math] \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math] [math] = [/math] [math](0.42,0.44,0.14)[/math] и вероятность, что в понедельник будет ясная погода,равна [math]0.42[/math].

Пусть [math]p_1^{(2)} -[/math] вероятность того, что во вторник будет ясная погода, [math]p_2^{(2)} -[/math] вероятность того, что во вторник будет умеренно пасмурно и [math]p_3^{(2)} -[/math] вероятность того, что во вторник будет пасмурно.Пусть [math]p^{(2)} = [/math] [math] (p_1^{(2)},p_2^{(2)},p_3^{(2)})[/math].Тогда

[math]p^{(2)} = [/math] [math] (0.42,0.44,0.14) \times[/math] [math] \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math] [math] = [/math] [math](0.37,0.444,0.186)[/math] Следовательно, вероятность того, что во вторник будет умеренно пасмурная погода равна [math]0.444.[/math]

Пусть [math]p_i^{(m)} -[/math] вероятность ,что исходом m-го проведения эксперимента будет состояние [math]s_i[/math] и

[math]p^{(m)} =[/math] [math](p_1^{(m)},p_2^{(m)},p_3^{(m)},...,p_n^{(m)}).[/math]

Теорема:

Для любого положительного целого числа m выполняется [math]p^{(m)} =[/math] [math]p^{(0)} \times T^{(m)}[/math]

Доказательство:

[math]\triangleright[/math]

Докажем теорему, используя индукцию.Было показано(в примере про погоду), что для [math] m = 1 [/math] утверждение справедливо.Предположим,что оно справедливо для [math]n=k[/math] ,так что [math]p^{(k)} =[/math] [math]p^{(0)} \times T^{(k)}.[/math]Поскольку [math]p_j^{(k+1)} = [/math] [math]p_1^{(k)}p_{1j} +[/math] [math]p_2^{(k)}p_{2j} +[/math] [math]p_3^{(k)}p_{3j} +[/math] [math]p_n^{(k)}p_{nj} [/math] то [math]p^{(k+1)} = [/math] [math]p^{(k)} T =[/math] [math]p^{(0)} T^k T =[/math] [math]p^{(0)} T^{k+1}.[/math]

[math]\triangleleft[/math]

Заключение

Цепи Маркова также применяются при оценке будущих продаж.Например, сделав опрос среди покупателей той или иной марки автомобиля о их следующем выборе, можно составить матрицу [math] T [/math]. Например, 60% владельцев автомобиля марки A, сказали, что опять выбрали бы эту марку;30% сказали, что предпочтут марке A, марку B; и 10% сказали ,что выберут C и.т.д.