Ковариация случайных величин — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Добавлено другая доказательство, для того чтобы было удобно объяснить утверждении на теме корреляции.)
м (rollbackEdits.php mass rollback)
 
(не показано 45 промежуточных версий 11 участников)
Строка 1: Строка 1:
 
{{Определение
 
{{Определение
 
|definition=
 
|definition=
<b>Ковариация случайных величин</b>: пусть <tex>\eta,\xi</tex> две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
+
Пусть <tex>\eta,\xi</tex> {{---}} две [[Дискретная случайная величина|случайные величины]], определённые на одном и том же вероятностном пространстве. Тогда <b>ковариацией случайных величин</b> (англ. ''covariance'') <tex>\eta</tex> и <tex>\xi</tex> называется выражение следующего вида:
:  <tex>Cov(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)</tex>.
+
:  <tex>\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi-E\xi)\big)</tex>.
 
}}
 
}}
  
Строка 9: Строка 9:
 
В силу линейности математического ожидания, ковариация может быть записана как:
 
В силу линейности математического ожидания, ковариация может быть записана как:
  
:<tex>Cov(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = </tex>
+
:<tex>\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi \cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = </tex>
:<tex>= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta </tex>
+
:<tex>= E(\xi \cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex>
  
Итого, <tex>Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta </tex>
+
Итого, <tex>\mathrm{Cov}(\eta, \xi) = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex>
  
 
== Свойства ковариации ==
 
== Свойства ковариации ==
  
 
* Ковариация симметрична:
 
* Ковариация симметрична:
: <tex>Cov(\eta,\xi) = Cov(\xi,\eta)</tex>.
+
: <tex>\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)</tex>.
* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j</tex> их две произвольные линейные комбинации. Тогда
+
* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j</tex> их две произвольные линейные комбинации. Тогда
: <tex>Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)</tex>.
+
: <tex>\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)</tex>.
 
* Ковариация случайной величины с собой равна её дисперсии:
 
* Ковариация случайной величины с собой равна её дисперсии:
: <tex>Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta]</tex>.
+
: <tex>\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D(\eta)</tex>.
* Если <tex>\eta,\xi</tex> независимые случайные величины, то
+
{{Утверждение
: <tex>Cov(\eta,\xi) = 0</tex>.
+
|statement=Если <tex>\eta,\xi</tex> [[Независимые случайные величины|независимые случайные величины]], то
Обратное, вообще говоря, неверно.
+
: <tex>\mathrm{Cov}(\eta,\xi) = 0</tex>.
 +
|proof=
 +
:<tex>\mathrm{Cov}(\xi, \eta) = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex>, а так как <tex>\xi</tex> и <tex>\eta</tex> {{---}} независимые, то [[Математическое ожидание случайной величины#.D0.A1.D0.B2.D0.BE.D0.B9.D1.81.D1.82.D0.B2.D0.B0_.D0.BC.D0.B0.D1.82.D0.B5.D0.BC.D0.B0.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D0.BE.D0.B6.D0.B8.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F|математическое ожидание их произведения]], равно произведению их математических ожиданий:
 +
:<tex>E(\xi \cdot \eta) = E\xi \cdot E\eta </tex>, а значит
 +
:<tex> \mathrm{Cov}(\xi, \eta) = 0 </tex>
 +
}}
 +
{{Утверждение
 +
|statement=
 +
Если <tex>\mathrm{Cov}(\eta, \xi) = 0</tex>, то <tex>\eta</tex> и <tex>\xi</tex> не обязательно являются [[Независимые случайные величины#Определения | независимыми]]
 +
}}
  
 +
== Неравенство Коши {{---}} Буняковского ==
  
== Неравенство Коши — Буняковского ==
 
  
{{Теорема
+
{{Утверждение
| about =
 
неравенство Коши — Буняковского
 
 
| statement =  
 
| statement =  
Если принять в качестве скалярного произведения двух случайных величин ковариацию  <tex>\langle \eta, \xi \rangle = Cov (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>Неравенство Коши-Буняковского</b> запишется в виде:
+
Ковариация есть [[Функциональный анализ#12..09.D0.9E.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D0.B5_.D1.81.D0.BA.D0.B0.D0.BB.D1.8F.D1.80.D0.BD.D0.BE.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D0.B8.D0.B7.D0.B2.D0.B5.D0.B4.D0.B5.D0.BD.D0.B8.D1.8F.2C_.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.BF.D0.B0.D1.80.D0.B0.D0.BB.D0.BB.D0.B5.D0.BB.D0.BE.D0.B3.D1.80.D0.B0.D0.BC.D0.BC.D0.B0.2C_.D0.BD.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A8.D0.B2.D0.B0.D1.80.D1.86.D0.B0.|скалярное произведение]] двух случайных величин
: <tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
 
  
| proof =  
+
|proof=
 +
Докажем три аксиомы скалярного произведения:
  
Запишем неравенство в другом виде:
+
:1. Линейность по первому аргументу: <tex> \mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi)  = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)</tex>
: <tex>|Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}</tex>.
 
  
Введём в рассмотрение случайную величину <tex>Z_{1}= \sigma_{Y} X- \sigma_{X} Y</tex> (где  <tex> \sigma</tex> — среднеквадратическое отклонение) и найдём её дисперсию <tex> D(Z_{1})= M[ Z-m_{Z1}]^2</tex>. Выполнив выкладки получим:
+
::Раскроем ковариацию по определению:
  
<tex>
+
::<tex>\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E(  ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi  </tex>
D(Z_{1})=2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi).
+
 
 +
::В силу [[Математическое ожидание случайной величины#Линейность математического ожидания | линейности математического ожидания]]:
 +
 
 +
::<tex>
 +
E(\mu_{1}\cdot\eta_{1}\cdot\xi) +
 +
E(\mu_{2}\cdot\eta_{2}\cdot\xi) -
 +
E(\mu_{1}\cdot\eta_{1})\cdot E\xi -
 +
E(\mu_{2}\cdot\eta_{2})\cdot E\xi =
 +
\mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) +
 +
\mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi )  =
 +
\mu_{1} \cdot \mathrm{Cov}(\eta_{1}, \xi) +
 +
\mu_{2} \cdot \mathrm{Cov}(\eta_{2}, \xi)
 
</tex>
 
</tex>
  
Любая дисперсия неотрицательна, поэтому
 
  
<tex>
+
:2. Симметричность: <tex> \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)</tex>
2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi) \geqslant 0
+
 
</tex>
+
 
 +
:3. Положительная определенность: <tex> \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 </tex>
  
Отсюда
 
  
<tex>
+
<tex> \mathrm{Cov} </tex> удовлетвотряет трем аксиомам, а значит <tex> \mathrm{Cov} </tex> можно использовать в качестве скалярного произведения.
Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
+
}}
</tex>
 
  
Введя случайную величину <tex> Z_{2}= \sigma_{Y} X+ \sigma_{X} Y</tex>, аналогично
 
  
<tex>
+
{{Теорема
Cov(\eta, \xi)\geqslant - \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
+
| about =
</tex>
+
неравенство Коши {{---}} Буняковского
 +
| statement =
 +
Если принять в качестве скалярного произведения двух случайных величин ковариацию  <tex>\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>неравенство Коши-Буняковского</b> запишется в виде:
 +
: <tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
  
Объединив полученные неравенства имеем
+
|proof= Для этого предположим, что <tex>  t </tex> {{---}} некоторое вещественное число, и рассмотрим очевидное неравенство
  
<tex>
+
<tex> E((V+t \cdot W)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
- \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}\leqslant Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
  
Или
+
Используя линейность математического ожидания, мы получаем такое неравенство:
  
<tex>
+
<tex> E(V^2)+2 \cdot t \cdot E(V \cdot W)+t^2 \cdot E(W^2) \geqslant 0 </tex>
|Cov(\eta, \xi)|\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
  
Итак,
+
Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>.
  
<tex>
+
Мы имеем:
|Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}.
 
</tex>
 
  
А значит, верно и исходное неравенство:
+
<tex> E(V^2)=\sigma_\eta ^2</tex>, <tex> E(W^2)=\sigma_\xi ^2</tex> и <tex> E(V \cdot W)=\mathrm{Cov}(\eta,\xi); </tex>
  
<tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>
+
Итак, наш квадратный трехчлен выглядит следующим образом:
}}
 
  
 +
<tex>\sigma_\xi ^2 \cdot t^2+2 \cdot \mathrm{Cov}(\eta,\xi) \cdot t+\sigma_\eta ^2 \geqslant 0</tex>
  
{{Теорема
+
Для того, чтобы неравенство выполнялось для всех значений <tex>t</tex>, дискриминант должен быть неположительным, то есть:
|statement= <tex>Cov^2(\eta, \xi) \le \sigma_\eta ^2\sigma_\xi ^2</tex> (где<tex>\sigma</tex>  — среднеквадратическое отклонение)
 
|proof= Для этого предположим, что <tex> t </tex> некоторое вещественное число, которое мы выберем позже, и рассмотреть очевидное неравенство
 
  
<tex> E((V+tW)^2) \ge 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
+
<tex> 4 \cdot \mathrm{Cov}^2(\eta,\xi)-4 \cdot \sigma_\eta ^2 \cdot \sigma_\xi ^2 \leqslant 0</tex>
  
Используя линейность математического ожидание, мы получим эту неравенству
+
<tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2 \cdot \sigma_\xi ^2</tex>
  
<tex> E(V^2)+2tE(VW)+t^2E(W^2) \ge 0 </tex>
+
<tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>
 +
 +
}}
  
Обратите внимание, что левая часть квадратный трехчлен зависимо на <tex> t </tex>.
+
== Матрица ковариаций ==
 +
<b>Матрица ковариаций</b> (англ. ''covariance matrix'') {{---}} это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.
 +
Ковариационная матрица случайного вектора {{---}} квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы {{---}} ковариации между компонентами.
 +
{{Определение
 +
|definition=
 +
Пусть <tex>\xi, \eta</tex> {{---}} случайные вектора размерности <tex>n</tex> и <tex>m</tex> соответственно.  <tex>\xi_i, \eta_j</tex> {{---}} случайные величины. Тогда матрицей ковариаций векторов <tex>\xi, \eta</tex> называется
 +
: <tex>\Sigma = \mathrm{Cov}(\xi, \eta) = E((\xi - E\xi) \cdot (\eta - E\eta)^{\top})</tex>
 +
}}
 +
Например, ковариационная матрица для случайного вектора <tex>\xi</tex> выглядит следующим образом:
  
Мы имеем <tex> E(V^2)=\sigma_\eta ^2</tex>, <tex> E(W^2)=\sigma_\xi ^2</tex> и <tex> E(VW)=Cov(\eta,\xi); </tex>
+
<tex>
 +
\Sigma
 +
= \begin{bmatrix}
 +
\mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_n - E\xi_n)) \\ \\
 +
\mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2) \cdot(\xi_n - E\xi_n)) \\ \\
 +
\vdots & \vdots & \ddots & \vdots \\ \\
 +
\mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_n - E\xi_n))
 +
\end{bmatrix}.
 +
</tex>
  
И так, наш квадратный трехчлен выглядит так
+
<b> Замечание </b>
  
<tex>\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \ge 0</tex>
+
*Если <tex>\xi = \eta</tex>, то <tex>\Sigma</tex> называется матрицей ковариации вектора <tex>\xi</tex> и обозначается как <tex>\mathrm{Var}(\xi)</tex> {{---}} вариация (дисперсия) случайного вектора.
  
Из этого неравенства мы видим, что единственный способ левой стороне может быть 0
+
<b> Свойства </b>
, если многочлен имеет двойной корень (т.е. это касается оси <tex>x</tex> в одном
+
*Матрица ковариации случайного вектора неотрицательно определена: <tex>\mathrm{Cov}(\xi) \geqslant 0 </tex>
точкe), которая могла произойти только если дискриминант равен 0. Таким образом, дискриминант
+
*Перестановка аргументов: <tex> \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^{\top} </tex>
всегда должен быть отрицательным или 0, что означает
+
*Матрица ковариации аддитивна по каждому аргументу:
 +
: <tex>\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) </tex>
 +
: <tex>\mathrm{Cov}(\xi, \eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1) + \mathrm{Cov}(\xi, \eta_2) </tex>
 +
* Если <tex>\mathrm{Cov}(\xi, \eta) = 0</tex>, то <tex> \mathrm{Cov}(\xi + \eta) = \mathrm{Cov}(\xi) + \mathrm{Cov}(\eta) </tex>
  
<tex> 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \le 0</tex>
+
== Расстояние Махаланобиса ==
 +
<b>Расстояние Махаланобиса</b> (англ. ''Mahalanobis distance'') {{---}} мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.
 +
{{Определение
 +
|definition=
 +
Пусть <tex>\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^{\top}</tex> {{---}} многомерный вектор, <tex>\Sigma</tex> {{---}} матрица ковариации, тогда <b>расстояние Махаланобиса</b> от <tex>\xi</tex> до множества со средним значением <tex>\mu = (\mu_1, \mu_2, \mu_3, \ldots, \mu_n)^{\top}</tex> определяется как <tex> D_M (\xi) = \sqrt{(\xi - \mu) \cdot \Sigma (\xi - \mu)^{\top}}</tex>
  
<tex>Cov^2(\eta,\xi) \le \sigma_\eta ^2\sigma_\xi ^2</tex>
 
что и нужно было доказывать.
 
 
}}
 
}}
 +
Расстояние Махаланобиса двух случайных векторов <tex>\xi, \eta</tex> с матрицей ковариации <tex>\Sigma</tex> {{---}} это мера различия между ними.
 +
 +
<b>Замечание</b>
 +
: Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.
 +
 +
== См. также ==
 +
*[[Корреляция случайных величин|Корреляция случайных величин]]
 +
*[[Дисперсия случайной величины|Дисперсия случайной величины]]
  
== Ссылки ==  
+
== Источники информации ==  
  
*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html]
+
*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html НГУ {{---}} Ковариация двух случайных величин]
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия]
+
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация]
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия (доказательство неравенства Коши — Буняковского)]
+
*[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 Википедия {{---}} Матрица ковариации]
 +
*[https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D1%85%D0%B0%D0%BB%D0%B0%D0%BD%D0%BE%D0%B1%D0%B8%D1%81%D0%B0 Википедия {{---}} Расстояние Махалонобиса]
 +
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия {{---}} неравенство Коши {{---}} Буняковского (доказательство)]
  
 
[[Категория:Дискретная математика и алгоритмы]]
 
[[Категория:Дискретная математика и алгоритмы]]
  
 
[[Категория: Теория вероятности ]]
 
[[Категория: Теория вероятности ]]

Текущая версия на 19:33, 4 сентября 2022

Определение:
Пусть [math]\eta,\xi[/math] — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда ковариацией случайных величин (англ. covariance) [math]\eta[/math] и [math]\xi[/math] называется выражение следующего вида:
[math]\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi-E\xi)\big)[/math].


Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

[math]\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi \cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = [/math]
[math]= E(\xi \cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math]

Итого, [math]\mathrm{Cov}(\eta, \xi) = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math]

Свойства ковариации

  • Ковариация симметрична:
[math]\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)[/math].
  • Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j[/math] их две произвольные линейные комбинации. Тогда
[math]\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)[/math].
  • Ковариация случайной величины с собой равна её дисперсии:
[math]\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D(\eta)[/math].
Утверждение:
Если [math]\eta,\xi[/math] независимые случайные величины, то
[math]\mathrm{Cov}(\eta,\xi) = 0[/math].
[math]\triangleright[/math]
[math]\mathrm{Cov}(\xi, \eta) = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math], а так как [math]\xi[/math] и [math]\eta[/math] — независимые, то математическое ожидание их произведения, равно произведению их математических ожиданий:
[math]E(\xi \cdot \eta) = E\xi \cdot E\eta [/math], а значит
[math] \mathrm{Cov}(\xi, \eta) = 0 [/math]
[math]\triangleleft[/math]
Утверждение:
Если [math]\mathrm{Cov}(\eta, \xi) = 0[/math], то [math]\eta[/math] и [math]\xi[/math] не обязательно являются независимыми

Неравенство Коши — Буняковского

Утверждение:
Ковариация есть скалярное произведение двух случайных величин
[math]\triangleright[/math]

Докажем три аксиомы скалярного произведения:

1. Линейность по первому аргументу: [math] \mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)[/math]
Раскроем ковариацию по определению:
[math]\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi [/math]
В силу линейности математического ожидания:
[math] E(\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi) - E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi = \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) = \mu_{1} \cdot \mathrm{Cov}(\eta_{1}, \xi) + \mu_{2} \cdot \mathrm{Cov}(\eta_{2}, \xi) [/math]


2. Симметричность: [math] \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)[/math]


3. Положительная определенность: [math] \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 [/math]


[math] \mathrm{Cov} [/math] удовлетвотряет трем аксиомам, а значит [math] \mathrm{Cov} [/math] можно использовать в качестве скалярного произведения.
[math]\triangleleft[/math]


Теорема (неравенство Коши — Буняковского):
Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и неравенство Коши-Буняковского запишется в виде:
[math]\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].
Доказательство:
[math]\triangleright[/math]

Для этого предположим, что [math] t [/math] — некоторое вещественное число, и рассмотрим очевидное неравенство

[math] E((V+t \cdot W)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math].

Используя линейность математического ожидания, мы получаем такое неравенство:

[math] E(V^2)+2 \cdot t \cdot E(V \cdot W)+t^2 \cdot E(W^2) \geqslant 0 [/math]

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math].

Мы имеем:

[math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(V \cdot W)=\mathrm{Cov}(\eta,\xi); [/math]

Итак, наш квадратный трехчлен выглядит следующим образом:

[math]\sigma_\xi ^2 \cdot t^2+2 \cdot \mathrm{Cov}(\eta,\xi) \cdot t+\sigma_\eta ^2 \geqslant 0[/math]

Для того, чтобы неравенство выполнялось для всех значений [math]t[/math], дискриминант должен быть неположительным, то есть:

[math] 4 \cdot \mathrm{Cov}^2(\eta,\xi)-4 \cdot \sigma_\eta ^2 \cdot \sigma_\xi ^2 \leqslant 0[/math]

[math]\mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2 \cdot \sigma_\xi ^2[/math]

[math]\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]
[math]\triangleleft[/math]

Матрица ковариаций

Матрица ковариаций (англ. covariance matrix) — это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов. Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Определение:
Пусть [math]\xi, \eta[/math] — случайные вектора размерности [math]n[/math] и [math]m[/math] соответственно. [math]\xi_i, \eta_j[/math] — случайные величины. Тогда матрицей ковариаций векторов [math]\xi, \eta[/math] называется
[math]\Sigma = \mathrm{Cov}(\xi, \eta) = E((\xi - E\xi) \cdot (\eta - E\eta)^{\top})[/math]

Например, ковариационная матрица для случайного вектора [math]\xi[/math] выглядит следующим образом:

[math] \Sigma = \begin{bmatrix} \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_n - E\xi_n)) \\ \\ \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2) \cdot(\xi_n - E\xi_n)) \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_n - E\xi_n)) \end{bmatrix}. [/math]

Замечание

  • Если [math]\xi = \eta[/math], то [math]\Sigma[/math] называется матрицей ковариации вектора [math]\xi[/math] и обозначается как [math]\mathrm{Var}(\xi)[/math] — вариация (дисперсия) случайного вектора.

Свойства

  • Матрица ковариации случайного вектора неотрицательно определена: [math]\mathrm{Cov}(\xi) \geqslant 0 [/math]
  • Перестановка аргументов: [math] \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^{\top} [/math]
  • Матрица ковариации аддитивна по каждому аргументу:
[math]\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) [/math]
[math]\mathrm{Cov}(\xi, \eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1) + \mathrm{Cov}(\xi, \eta_2) [/math]
  • Если [math]\mathrm{Cov}(\xi, \eta) = 0[/math], то [math] \mathrm{Cov}(\xi + \eta) = \mathrm{Cov}(\xi) + \mathrm{Cov}(\eta) [/math]

Расстояние Махаланобиса

Расстояние Махаланобиса (англ. Mahalanobis distance) — мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.

Определение:
Пусть [math]\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^{\top}[/math] — многомерный вектор, [math]\Sigma[/math] — матрица ковариации, тогда расстояние Махаланобиса от [math]\xi[/math] до множества со средним значением [math]\mu = (\mu_1, \mu_2, \mu_3, \ldots, \mu_n)^{\top}[/math] определяется как [math] D_M (\xi) = \sqrt{(\xi - \mu) \cdot \Sigma (\xi - \mu)^{\top}}[/math]

Расстояние Махаланобиса двух случайных векторов [math]\xi, \eta[/math] с матрицей ковариации [math]\Sigma[/math] — это мера различия между ними.

Замечание

Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.

См. также

Источники информации