Ковариация случайных величин — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Скалярное произведение)
(Отмена правки 34729 участника Sultan (обсуждение))
Строка 1: Строка 1:
== Неравенство Коши Буняковского ==
+
{{Определение
 +
|definition=
 +
<b>Ковариация случайных величин</b>: пусть <tex>\eta,\xi</tex> две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
 +
:  <tex>Cov(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)</tex>.
 +
}}
  
{{Теорема
+
== Вычисление ==
| about =  
 
неравенство Коши — Буняковского
 
| statement =  
 
Если принять в качестве скалярного произведения двух случайных величин ковариацию  <tex>\langle \eta, \xi \rangle = Cov (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>Неравенство Коши-Буняковского</b> запишется в виде:
 
: <tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
 
  
|proof= Докажем, что ковариацию можно использовать в качестве скалярного произведения:
+
В силу линейности математического ожидания, ковариация может быть записана как:
  
1. Линейность по первому аргументу:
+
:<tex>Cov(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = </tex>
<tex> Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = Cov( \mu_{1}\eta, \xi) + Cov( \mu_{2}\eta, \xi)</tex>
+
:<tex>= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta </tex>
  
Раскроем ковариацию по определению:
+
Итого, <tex>Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta </tex>
  
<tex>Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E(  ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2} )\cdot E\xi  </tex>
+
== Свойства ковариации ==
  
В силу линейности математического ожидания:
+
* Ковариация симметрична:
 +
: <tex>Cov(\eta,\xi) = Cov(\xi,\eta)</tex>.
 +
* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j</tex> их две произвольные линейные комбинации. Тогда
 +
: <tex>Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)</tex>.
 +
* Ковариация случайной величины с собой равна её дисперсии:
 +
: <tex>Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta]</tex>.
 +
* Если <tex>\eta,\xi</tex> независимые случайные величины, то
 +
: <tex>Cov(\eta,\xi) = 0</tex>.
 +
Обратное, вообще говоря, неверно.
  
<tex>
 
E(\mu_{1}\cdot\eta_{1}\cdot\xi) +
 
E(\mu_{2}\cdot\eta_{2}\cdot\xi) -
 
E(\mu_{1}\cdot\eta_{1})\cdot E\xi -
 
E(\mu_{2}\cdot\eta_{2})\cdot E\xi =
 
\mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) +
 
\mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi )  =
 
\mu_{1} \cdot Cov(\eta_{1}, \xi) + \mu_{2} \cdot Cov(\eta_{2}, \xi)
 
</tex>
 
  
2. Симметричность:
+
== Неравенство Коши — Буняковского ==
<tex> Cov(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = Cov(\xi, \eta)</tex>
 
  
3. Положительная определенность:
+
{{Теорема
<tex> Cov(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 </tex>
+
| about =
 
+
неравенство Коши — Буняковского
<tex> Cov </tex> удовлетвотряет трем аксиомам, значит <tex> Cov </tex> можно использовать в качестве скалярного произведения.
+
| statement =
 
+
Если принять в качестве скалярного произведения двух случайных величин ковариацию  <tex>\langle \eta, \xi \rangle = Cov (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>Неравенство Коши-Буняковского</b> запишется в виде:
Докажем неравенстов Коши-Буняковского:
+
: <tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
  
Для этого предположим, что <tex>  t </tex> {{---}} некоторое вещественное число, и рассмотрим очевидное неравенство  
+
|proof= Для этого предположим, что <tex>  t </tex> {{---}} некоторое вещественное число, и рассмотрим очевидное неравенство  
  
 
<tex> E((V+tW)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
 
<tex> E((V+tW)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
Строка 67: Строка 64:
 
что и требовалось доказать.  
 
что и требовалось доказать.  
 
}}
 
}}
 +
 +
== Ссылки ==
 +
 +
*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html]
 +
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация]
 +
*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия (доказательство неравенства Коши — Буняковского)]
 +
 +
[[Категория:Дискретная математика и алгоритмы]]
 +
 +
[[Категория: Теория вероятности ]]

Версия 16:50, 29 декабря 2013

Определение:
Ковариация случайных величин: пусть [math]\eta,\xi[/math] — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
[math]Cov(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)[/math].


Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

[math]Cov(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = [/math]
[math]= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta [/math]

Итого, [math]Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta [/math]

Свойства ковариации

  • Ковариация симметрична:
[math]Cov(\eta,\xi) = Cov(\xi,\eta)[/math].
  • Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j[/math] их две произвольные линейные комбинации. Тогда
[math]Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)[/math].
  • Ковариация случайной величины с собой равна её дисперсии:
[math]Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta][/math].
  • Если [math]\eta,\xi[/math] независимые случайные величины, то
[math]Cov(\eta,\xi) = 0[/math].

Обратное, вообще говоря, неверно.


Неравенство Коши — Буняковского

Теорема (неравенство Коши — Буняковского):
Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = Cov (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и Неравенство Коши-Буняковского запишется в виде:
[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].
Доказательство:
[math]\triangleright[/math]

Для этого предположим, что [math] t [/math] — некоторое вещественное число, и рассмотрим очевидное неравенство

[math] E((V+tW)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math].

Используя линейность математического ожидания, мы получаем такое неравенство:

[math] E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 [/math]

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math].

Мы имеем:

[math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(VW)=Cov(\eta,\xi); [/math]

Итак, наш квадратный трехчлен выглядит следующим образом:

[math]\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0[/math]

Для того, чтобы неравенство выполнялось для всех значений [math]t[/math], дискриминант должен быть неположительным, то есть:

[math] 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0[/math]

[math]Cov^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2[/math]

[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]

что и требовалось доказать.
[math]\triangleleft[/math]

Ссылки