Викиконспекты - Вклад участника [ru]

Ковариация случайных величин

2017-03-22T22:22:02Z

78.25.123.44: /* Матрица ковариаций */

{{Определение
|definition=
Пусть <tex>\eta,\xi</tex> {{---}} две [[Дискретная случайная величина|случайные величины]], определённые на одном и том же вероятностном пространстве. Тогда ковариацией случайных величин (англ. ''covariance'') <tex>\eta</tex> и <tex>\xi</tex> называется выражение следующего вида:
: <tex>\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)</tex>.
}}

== Вычисление ==

В силу линейности математического ожидания, ковариация может быть записана как:

:<tex>\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = </tex>
:<tex>= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta </tex>

Итого, <tex>\mathrm{Cov}(\eta, \xi) = E(\xi\eta) - E\xi E\eta </tex>

== Свойства ковариации ==

* Ковариация симметрична:
: <tex>\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)</tex>.
* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j</tex> их две произвольные линейные комбинации. Тогда
: <tex>\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j \mathrm{Cov}(\eta_i,\eta_j)</tex>.
* Ковариация случайной величины с собой равна её дисперсии:
: <tex>\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D(\eta)</tex>.
{{Утверждение
|statement=Если <tex>\eta,\xi</tex> [[Независимые случайные величины|независимые случайные величины]], то
: <tex>\mathrm{Cov}(\eta,\xi) = 0</tex>.
|proof=
:<tex>\mathrm{Cov}(\xi, \eta) = E(\xi\eta) - E\xi E\eta </tex>, а так как <tex>\xi</tex> и <tex>\eta</tex> {{---}} независимые, то [[Математическое ожидание случайной величины#.D0.A1.D0.B2.D0.BE.D0.B9.D1.81.D1.82.D0.B2.D0.B0_.D0.BC.D0.B0.D1.82.D0.B5.D0.BC.D0.B0.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D0.BE.D0.B6.D0.B8.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F|математическое ожидание их произведения]], равно произведению их математических ожиданий:
:<tex>E(\xi\eta) = E\xi\cdot E\eta </tex>, а значит
:<tex> \mathrm{Cov}(\xi, \eta) = 0 </tex>
}}
{{Утверждение
|statement=
Если <tex>\mathrm{Cov}(\eta, \xi) = 0</tex>, то <tex>\eta</tex> и <tex>\xi</tex> не обязательно являются [[Независимые случайные величины#Определения | независимыми]]
}}

== Неравенство Коши — Буняковского ==

{{Утверждение
| statement =
Ковариация есть [[Функциональный анализ#12..09.D0.9E.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D0.B5_.D1.81.D0.BA.D0.B0.D0.BB.D1.8F.D1.80.D0.BD.D0.BE.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D0.B8.D0.B7.D0.B2.D0.B5.D0.B4.D0.B5.D0.BD.D0.B8.D1.8F.2C_.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.BF.D0.B0.D1.80.D0.B0.D0.BB.D0.BB.D0.B5.D0.BB.D0.BE.D0.B3.D1.80.D0.B0.D0.BC.D0.BC.D0.B0.2C_.D0.BD.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A8.D0.B2.D0.B0.D1.80.D1.86.D0.B0.|скалярное произведение]] двух случайных величин

|proof=
Докажем три аксиомы скалярного произведения:

:1. Линейность по первому аргументу: <tex> \mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)</tex>

::Раскроем ковариацию по определению:

::<tex>\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi </tex>

::В силу [[Математическое ожидание случайной величины#Линейность математического ожидания | линейности математического ожидания]]:

::<tex>
E(\mu_{1}\cdot\eta_{1}\cdot\xi) +
E(\mu_{2}\cdot\eta_{2}\cdot\xi) -
E(\mu_{1}\cdot\eta_{1})\cdot E\xi -
E(\mu_{2}\cdot\eta_{2})\cdot E\xi =
\mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) +
\mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) =
\mu_{1} \cdot \mathrm{Cov}(\eta_{1}, \xi) +
\mu_{2} \cdot \mathrm{Cov}(\eta_{2}, \xi)
</tex>

:2. Симметричность: <tex> \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)</tex>

:3. Положительная определенность: <tex> \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 </tex>

<tex> \mathrm{Cov} </tex> удовлетвотряет трем аксиомам, а значит <tex> \mathrm{Cov} </tex> можно использовать в качестве скалярного произведения.
}}

{{Теорема
| about =
неравенство Коши — Буняковского
| statement =
Если принять в качестве скалярного произведения двух случайных величин ковариацию <tex>\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и неравенство Коши-Буняковского запишется в виде:
: <tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.

|proof= Для этого предположим, что <tex> t </tex> {{---}} некоторое вещественное число, и рассмотрим очевидное неравенство

<tex> E((V+tW)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.

Используя линейность математического ожидания, мы получаем такое неравенство:

<tex> E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 </tex>

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>.

Мы имеем:

<tex> E(V^2)=\sigma_\eta ^2</tex>, <tex> E(W^2)=\sigma_\xi ^2</tex> и <tex> E(VW)=\mathrm{Cov}(\eta,\xi); </tex>

Итак, наш квадратный трехчлен выглядит следующим образом:

<tex>\sigma_\xi ^2t^2+2\mathrm{Cov}(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0</tex>

Для того, чтобы неравенство выполнялось для всех значений <tex>t</tex>, дискриминант должен быть неположительным, то есть:

<tex> 4\mathrm{Cov}^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0</tex>

<tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2</tex>

<tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>

}}

== Матрица ковариаций ==
Матрица ковариаций (англ. ''covariance matrix'') {{---}} это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.
Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.
{{Определение
|definition=
Пусть <tex>\xi, \eta</tex> {{---}} случайные вектора размерности <tex>n</tex> и <tex>m</tex> соответственно. <tex>\xi_i, \eta_j</tex> {{---}} случайные величины. Тогда матрицей ковариаций векторов <tex>\xi, \eta</tex> называется
: <tex>\Sigma = \mathrm{Cov}(\xi, \eta) = E((\xi - E\xi)(\eta - E\eta)^{\top})</tex>
}}
Например, ковариационная матрица для случайного вектора <tex>\xi</tex> выглядит следующим образом:

<tex>
\Sigma
= \begin{bmatrix}
\mathrm{E}((\xi_1 - E\xi_1)(\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1)(\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_1 - E\xi_1)(\xi_n - E\xi_n)) \\ \\
\mathrm{E}((\xi_2 - E\xi_2)(\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2)(\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2)(\xi_n - E\xi_n)) \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
\mathrm{E}((\xi_n - E\xi_n)(\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n)(\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n)(\xi_n - E\xi_n))
\end{bmatrix}.
</tex>

 Замечание 

*Если <tex>\xi = \eta</tex>, то <tex>\Sigma</tex> называется матрицей ковариации вектора <tex>\xi</tex> и обозначается как <tex>\mathrm{Var}(\xi)</tex> {{---}} вариация (дисперсия) случайного вектора.

 Свойства 
*Матрица ковариации случайного вектора неотрицательно определена: <tex>\mathrm{Cov}(\xi) \geqslant 0 </tex>
*Перестановка аргументов: <tex> \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^{\top} </tex>
*Матрица ковариации аддитивна по каждому аргументу:
: <tex>\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) </tex>
: <tex>\mathrm{Cov}(\xi, \eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1) + \mathrm{Cov}(\xi, \eta_2) </tex>
* Если <tex>\mathrm{Cov}(\xi, \eta) = 0</tex>, то <tex> \mathrm{Cov}(\xi + \eta) = \mathrm{Cov}(\xi) + \mathrm{Cov}(\eta) </tex>

== Расстояние Махаланобиса ==
Расстояние Махаланобиса (англ. ''Mahalanobis distance'') {{---}} мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.
{{Определение
|definition=
Пусть <tex>\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^{\top}</tex> {{---}} многомерный вектор, <tex>\Sigma</tex> {{---}} матрица ковариации, тогда расстояние Махаланобиса от <tex>\xi</tex> до множества со средним значением <tex>\mu = (\mu_1, \mu_2, \mu_3, \ldots, \mu_n)^{\top}</tex> определяется как <tex> D_M (\xi) = \sqrt{(\xi - \mu)\Sigma (\xi - \mu)^{\top}}</tex>

}}
Расстояние Махаланобиса двух случайных векторов <tex>\xi, \eta</tex> с матрицей ковариации <tex>\Sigma</tex> {{---}} это мера различия между ними.

Замечание
: Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.

== См. также ==
*[[Корреляция случайных величин|Корреляция случайных величин]]
*[[Дисперсия случайной величины|Дисперсия случайной величины]]

== Источники информации ==

*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html НГУ {{---}} Ковариация двух случайных величин]
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация]
*[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 Википедия {{---}} Матрица ковариации]
*[https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D1%85%D0%B0%D0%BB%D0%B0%D0%BD%D0%BE%D0%B1%D0%B8%D1%81%D0%B0 Википедия {{---}} Расстояние Махалонобиса]
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия {{---}} неравенство Коши — Буняковского (доказательство)]

[[Категория:Дискретная математика и алгоритмы]]

[[Категория: Теория вероятности ]]

Независимые события

2017-03-22T21:10:16Z

78.25.123.44: /* Примеры */

{{Определение
|definition =
Два события A и B называются '''независимыми (independent)''', если <tex> p(A \cap B) = p(A)p(B) </tex>
}}

{{Определение
|definition =
Два события A и B называются '''несовместными (mutually exclusive)''', если <tex> A \cap B = \emptyset </tex>
}}

==Примеры==
*Игральная кость
<tex> A = \{2,4,6\}\ p(A)=\frac{1}{2} </tex> - вероятность выпадения чётной цифры

<tex> B=\{1,2,3\}\ p(B)=\frac{1}{2} </tex> - вероятность выпадения одной из первых трёх цифр

<tex> p(A \cap B)=p(\{2\})=\frac{1}{6}</tex>

<tex>p(A)p(B)=\frac{1}{2}\cdot\frac{1}{2}=\frac{1}{4}</tex>

Получаем, что <tex>p(A \cap B) \neq p(A)p(B)</tex>, значит эти события не независимы.
*Карты
<tex> A = \{(1,j)\}\ p(A)=\frac{1}{4} </tex> - вероятность выпадения карты заданной масти

<tex> B=\{(i,1)\}\ p(B)=\frac{1}{13} </tex> - вероятность выпадения карты заданного достоинства

<tex> p(A \cap B)=p(\{(1,1)\})=\frac{1}{52}</tex> - вероятность выпадения карты заданной масти и заданного достоинства

<tex>p(A)p(B)=\frac{1}{4}\cdot\frac{1}{13}=\frac{1}{52}</tex>

Получаем, что <tex>p(A \cap B)=p(A)p(B)</tex>, значит эти события независимы.

{{Определение
|definition =
События называются независимыми в совокупности, если для <tex>\forall I\subset \{1, ..., k\}</tex> <tex>p(\bigcap\limits_{i \in I} A_{i}) = \prod\limits_{i \in I} p(A_{i})</tex>
}}

{{Определение
|definition =
События <tex>A_{1}, ...,A_{n}</tex> называются попарно независимыми, если для <tex>\forall i \neq j</tex> <tex>\Rightarrow A_{i}</tex> и <tex>A_{j}</tex> - независимы.

}}

{{Утверждение
|statement =
Несовместные события <tex>A</tex> и <tex>B</tex> являются независимыми, тогда и только тогда если хотя бы одно из них является пустым множеством.
|proof =
<tex>\Rightarrow </tex>:

Если несовместные события являются независимыми, то выполняется <tex> p(A \cap B) = p(A)\cdot p(B) </tex>. Также для несовместных событий выполняется <tex> A \cap B = \emptyset </tex>. Следовательно <tex> p(\emptyset) = p(A) \cdot p(B) </tex>. А это выполняется тогда и только тогда когда <tex> p(A) = 0 </tex> или <tex> p(B) = 0 </tex>.

<tex> \Leftarrow </tex>:
Допустим <tex>A</tex> является пустым множеством, тогда <tex> A \cap B = \emptyset</tex>. Значит <tex> p(A \cap B) = 0 </tex> и <tex> p(A) \cdot p(B) = 0</tex>. Следовательно события <tex>A</tex> и <tex>B</tex> являются независимыми.
}}

==Замечание==

Попарно независимые события и события, независимые в совокупности - это не одно и то же. Пример: тетраэдр Бернштейна.
Рассмотрим правильный тетраэдр, три грани которого окрашены соответственно в красный, синий, зелёный цвета, а четвёртая грань содержит все три цвета. Событие А (соответственно, В, С) означает, что выпала грань, содержащая красный (соответственно, синий, зелёный) цвета.

Вероятность каждого из этих событий равна 1/2, так как каждый цвет есть на двух гранях из четырёх. Вероятность пересечения любых двух из них равна 1/4, так как только одна грань из четырёх содержит два цвета. А так как 1/4 = 1/2 · 1/2, то все события попарно независимы.

Но вероятность пересечения всех трёх тоже равна 1/4, а не 1/8, т.е. события не являются независимыми в совокупности.

== Ссылки и источники ==
*[http://nsu.ru/mmf/tvims/chernova/tv/lec/node13.html Независимость событий]

*[http://ru.wikipedia.org/wiki/Независимость_(теория_вероятностей) Википедия: Независимость (теория вероятностей)]

*Дискретный анализ, Романовский И. В.

[[Категория: Дискретная математика и алгоритмы]]
[[Категория: Теория вероятности]]