Примеры использования Марковских цепей

Обозначения

Предположим, что проводится серия экспериментов с возможными исходами [math]s_1,s_2,s_3,...s_n[/math]. Назовём эти исходы состояниями.

• [math]p_i^{(0)} [/math] — вероятность того, что мы начинаем в состоянии [math]s_i[/math]
• [math]p_{ij} [/math] — вероятность того, что в результате эксперимента состояние было изменено от состояния [math]s_i[/math] к состоянию [math]s_j[/math].

Если [math]p_i^{(1)}[/math] вероятность того, что исходом эксперимента будет состояние [math]s_i[/math]. Тогда

[math]p_i^{(1)} = p_1^{(0)}p_{1i} + p_2^{(0)}p_{2i} + p_3^{(0)}p_{3i} + ... +p_n^{(0)}p_{ni}(*)[/math]

Это означает, что вероятность исхода в состоянии [math]s_i[/math] равна сумме вероятностей начать эксперимент в некотором другом состоянии и окончить в [math]s_i[/math]. Также заметим что:

[math]p_{j1}+p_{j2}+p_{j3}+ ... +p_{jn} = 1[/math]

• Матрица T называется матрицей перехода. В общем случае она имеет вид:

[math] \begin{bmatrix} p_{11} & p_{12} & p_{13} & ... & p_{1n} \\ p_{21} & p_{22} & p_{23} & ... & p_{2n} \\ p_{31} & p_{32} & p_{33} & ... & p_{3n} \\ p_{41} & p_{42} & p_{43} & ... & p_{4n} \\ . & . & . & ... & .\\ . & . & . & ... & .\\ . & . & . & ... & .\\ p_{n1} & p_{n2} & p_{n3} & ... & p_{nn} \\ \end{bmatrix} [/math]

Пусть [math] p^{(0)}=[/math] [math](p_1^{(0)},p_2^{(0)},p_3^{(0)},... ,p_n^{(0)})[/math] и [math] p^{(1)}=[/math] [math](p_1^{(1)},p_2^{(1)},p_3^{(1)},...,p_n^{(1)})[/math]

тогда [math] (p_1^{(1)},p_2^{(1)},p_3^{(1)}... ,p_n^{(1)})=[/math] [math](p_1^{(0)},p_2^{(0)},p_3^{(0)}.. ,p_n^{(0)})[/math] [math] \begin{bmatrix} p_{11} & p_{12} & p_{13} & ... & p_{1n} \\ p_{21} & p_{22} & p_{23} & ... & p_{2n} \\ p_{31} & p_{32} & p_{33} & ... & p_{3n} \\ p_{41} & p_{42} & p_{43} & ... & p_{4n} \\ . & . & . & ... & .\\ . & . & . & ... & .\\ . & . & . & ... & .\\ p_{n1} & p_{n2} & p_{n3} & ... & p_{nn} \\ \end{bmatrix} [/math]

Использование матриц приводит к более компактной записи условий.По своей сути, перемножение строки [math] p_i^{(0)} [/math] с матрицей [math] T [/math] эквивалентно уравнению [math] (*) [/math], рассмотренному ранее.

Прогноз погоды

Условие

Погода классифицируется в прогнозах как ясная, умеренно пасмурная и пасмурная.

1. Если погода ясная, то вероятность, что она будет ясной на следующий день, составляет 0.5; вероятность, что она будет умеренно пасмурной, равна 0.4; а вероятность пасмурной погоды на следующий день составляет 0.1.
2. Если погода умеренно пасмурная, то вероятность, что на следующий день она будет ясной, равна 0.3; вероятность, что погода останется умеренно пасмурной, равна 0.5; а вероятность пасмурной погоды на следующий день составляет 0.2.
3. Если же погода пасмурная то вероятность, что на следующий день она останется пасмурной, равна 0.4; вероятность, что она станет умеренно пасмурной, равна 0.4; а вероятность того, что она будет ясной на следующий день составляет 0.2.

Вопрос 1 : Если вероятность ясной погоды в воскресенье равна 0.6, а вероятность умеренно пасмурности — 0.4, то какова вероятность, что погода в понедельник будет ясной?

Вопрос 2 : Какова вероятность, что во вторник погода будет умеренно пасмурной?

Решение

Если порядок, в котором перечисляются погодные условия, таков: ясно, умеренно пасмурно и пасмурно, то:

[math]p^{(0)} =[/math] [math](0.6,0.4,0)[/math]

[math] T = \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math]

следовательно, [math]p^{(1)} = [/math] [math](0.6,0.4,0) \times[/math] [math] \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math] [math] = [/math] [math](0.42,0.44,0.14)[/math] и вероятность, что в понедельник будет ясная погода, равна [math]0.42[/math].

Пусть [math]p_1^{(2)} [/math] — вероятность того, что во вторник будет ясная погода, [math]p_2^{(2)} [/math] — вероятность того, что во вторник будет умеренно пасмурно и [math]p_3^{(2)} [/math] — вероятность того, что во вторник будет пасмурно.

Пусть [math]p^{(2)} = [/math] [math] (p_1^{(2)},p_2^{(2)},p_3^{(2)})[/math].

Тогда [math]p^{(2)} = [/math] [math] (0.42,0.44,0.14) \times[/math] [math] \begin{bmatrix} 0.5 & 0.4 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{bmatrix} [/math] [math] = [/math] [math](0.37,0.444,0.186)[/math]

Следовательно, вероятность того, что во вторник будет умеренно пасмурная погода равна [math]0.444[/math].

Пусть [math]p_i^{(m)} [/math] — вероятность, что исходом m-го проведения эксперимента будет состояние [math]s_i[/math] и

[math]p^{(m)} =[/math] [math](p_1^{(m)},p_2^{(m)},p_3^{(m)},...,p_n^{(m)}).[/math]

Теорема:

Для любого положительного целого числа m выполняется [math]p^{(m)} =[/math] [math]p^{(0)} \times T^{(m)}[/math]

Доказательство:

[math]\triangleright[/math]

Докажем теорему, используя индукцию.Было показано(в примере про погоду), что для [math] m = 1 [/math] утверждение справедливо. Предположим,что оно справедливо для [math]n=k[/math] , так что [math]p^{(k)} =[/math] [math]p^{(0)} \times T^{(k)}.[/math]Поскольку [math]p_j^{(k+1)} = [/math] [math]p_1^{(k)}p_{1j} +[/math] [math]p_2^{(k)}p_{2j} +[/math] [math]p_3^{(k)}p_{3j} +[/math] [math]p_n^{(k)}p_{nj} [/math] то [math]p^{(k+1)} = [/math] [math]p^{(k)} T =[/math] [math]p^{(0)} T^k T =[/math] [math]p^{(0)} T^{k+1}.[/math]

[math]\triangleleft[/math]

Оценка будущих продаж

Цепи Маркова также применяются при оценке будущих продаж. Например, сделав опрос среди покупателей той или иной марки автомобиля о их следующем выборе, можно составить матрицу [math] T [/math].

Условие

В процессе опроса владельцев автомобилей трех американских марок: марки A, марки B, марки С, им был задан вопрос о том, какую торговую марку они бы выбрали для следующей покупки.

1. Среди владельцев автомобилей марки A 20% сказали, что они бы перешли на марку B, а 30% заявили, что предпочли бы марку С.
2. Среди владельцев автомобилей марки B 20% сказали, что перейдут на марку A, в то время как 70% заявили, что приобрели бы опять автомобиль марки B, а 10% заявили, что в следующий раз предпочли бы марку C.
3. Среди владельцев автомобилей С, 30% ответили, что перешли бы на марку A, 30% сказали, что перешли бы на марку B, а 40% заявили, что остались бы верны той же марке С.

Вопрос 1 : Если некто приобрел автомобиль марки A, то какова вероятность, что его второй машиной будет автомобиль марки C?

Вопрос 2 : Если при покупке первой машины покупатель подбросил монету, выбирая между автомобилями марки B и С, то какова вероятность, что его третьей машиной станет автомобиль марки B?

Решение

Матрица перехода для этого события имеет вид:

[math] \begin{bmatrix} 0.2 & 0.5 & 0.3 \\ 0.2 & 0.7 & 0.1 \\ 0.3 & 0.3 & 0.4 \end{bmatrix} [/math]

Для ответа на первый вопрос имеем: [math]p^{(0)} =[/math] [math](1,0,0)[/math] поэтому

[math]p^{(1)} = [/math] [math](1,0,0) \times[/math] [math] \begin{bmatrix} 0.2 & 0.5 & 0.3 \\ 0.2 & 0.7 & 0.1 \\ 0.3 & 0.3 & 0.4 \end{bmatrix} [/math] [math] = [/math] [math](0.2,0.5,0.3)[/math]

Вероятность того, что вторая машина будет марки С, равна 0.3.Для вопроса (2) требуется найти

[math]T^{(2)} = [/math] [math] \begin{bmatrix} 0.23 & 0.54 & 0.23 \\ 0.21 & 0.62 & 0.17 \\ 0.24 & 0.48 & 0.28 \end{bmatrix} [/math]

Для (2) имеем [math]p^{(2)} = [/math] [math](0,0.5,0.5) \times[/math] и

[math]p^{(2)} = [/math] [math](0,0.5,0.5) \times[/math] [math] \begin{bmatrix} 0.23 & 0.54 & 0.23 \\ 0.21 & 0.62 & 0.17 \\ 0.24 & 0.48 & 0.28 \end{bmatrix} [/math] [math] = [/math] [math](0.225,0.55,0.225)[/math] поэтому вероятность того, что второй автомобиль будет марки A равна 0.225.

Литература

• Марков А. А., Распространение закона больших чисел на величины, зависящие друг от друга. — Известия физико-математического общества при Казанском университете. — 2-я серия. — Том 15. (1906) — С. 135—156.
• Kemeny J. G., Snell J. L., Finite Markov chains. — The University Series in Undergraduate Mathematics. — Princeton: Van Nostrand, 1960 (перевод: Кемени Дж. Дж., Снелл Дж. Л. Конечные цепи Маркова. — М.: Наука. 1970. — 272 с.)