Ковариация случайных величин — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Неравенство Коши — Буняковского)
(Неравенство Коши — Буняковского)
Строка 36: Строка 36:
 
: <tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
 
: <tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>.
  
| proof =
 
 
Запишем неравенство в другом виде:
 
: <tex>|Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}</tex>.
 
 
Введём в рассмотрение случайную величину <tex>Z_{1}= \sigma_{Y} X- \sigma_{X} Y</tex> (где  <tex> \sigma</tex> — среднеквадратическое отклонение) и найдём её дисперсию <tex> D(Z_{1})= M[ Z-m_{Z1}]^2</tex>. Выполнив выкладки получим:
 
 
<tex>
 
D(Z_{1})=2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi).
 
</tex>
 
 
Любая дисперсия неотрицательна, поэтому
 
 
<tex>
 
2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi) \geqslant 0
 
</tex>
 
 
Отсюда
 
 
<tex>
 
Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
 
Введя случайную величину <tex> Z_{2}= \sigma_{Y} X+ \sigma_{X} Y</tex>, аналогично
 
 
<tex>
 
Cov(\eta, \xi)\geqslant - \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
 
Объединив полученные неравенства имеем
 
 
<tex>
 
- \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}\leqslant Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
 
Или
 
 
<tex>
 
|Cov(\eta, \xi)|\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}.
 
</tex>
 
 
Итак,
 
 
<tex>
 
|Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}.
 
</tex>
 
 
А значит, верно и исходное неравенство:
 
 
<tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>
 
}}
 
 
 
{{Теорема
 
|statement= <tex>Cov^2(\eta, \xi) \le \sigma_\eta ^2\sigma_\xi ^2</tex> (где <tex>\sigma</tex>  — среднеквадратическое отклонение)
 
 
|proof= Для этого предположим, что <tex>  t </tex> {{---}} некоторое вещественное число, которое мы выберем позже, и рассмотрим очевидное неравенство  
 
|proof= Для этого предположим, что <tex>  t </tex> {{---}} некоторое вещественное число, которое мы выберем позже, и рассмотрим очевидное неравенство  
  
<tex> E((V+tW)^2) \ge 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
+
<tex> E((V+tW)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>.
  
 
Используя линейность математического ожидания, мы получаем такое неравенство:
 
Используя линейность математического ожидания, мы получаем такое неравенство:
  
<tex> E(V^2)+2tE(VW)+t^2E(W^2) \ge 0 </tex>
+
<tex> E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 </tex>
  
 
Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>.
 
Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>.
Строка 107: Строка 52:
 
Итак, наш квадратный трехчлен выглядит следующим образом:
 
Итак, наш квадратный трехчлен выглядит следующим образом:
  
<tex>\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \ge 0</tex>
+
<tex>\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0</tex>
  
Из этого неравенства мы видим, что левая сторона может равняться <tex>0</tex> только тогда, когда многочлен имеет двойной корень (т.е. график касается оси <tex>x</tex> в одной точкe), что может быть только при нулевом дискриминанте. Таким образом, дискриминант
+
Из этого неравенства мы видим, что левая сторона может равняться <tex>0</tex> только тогда, когда многочлен имеет двойной корень (т.е. график касается оси <tex>x</tex> в одной точке), что может быть только при нулевом дискриминанте. Таким образом, дискриминант
всегда должен быть неположительным, что означает:
+
всегда должен быть не положительным, что означает:
  
<tex> 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \le 0</tex>
+
<tex> 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0</tex>
  
<tex>Cov^2(\eta,\xi) \le \sigma_\eta ^2\sigma_\xi ^2</tex>
+
<tex>Cov^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2</tex>
 +
 
 +
<tex>Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>
  
 
что и требовалось доказывать.  
 
что и требовалось доказывать.  

Версия 01:27, 13 января 2013

Определение:
Ковариация случайных величин: пусть [math]\eta,\xi[/math] — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
[math]Cov(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)[/math].


Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

[math]Cov(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = [/math]
[math]= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta [/math]

Итого, [math]Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta [/math]

Свойства ковариации

  • Ковариация симметрична:
[math]Cov(\eta,\xi) = Cov(\xi,\eta)[/math].
  • Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j[/math] их две произвольные линейные комбинации. Тогда
[math]Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)[/math].
  • Ковариация случайной величины с собой равна её дисперсии:
[math]Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta][/math].
  • Если [math]\eta,\xi[/math] независимые случайные величины, то
[math]Cov(\eta,\xi) = 0[/math].

Обратное, вообще говоря, неверно.


Неравенство Коши — Буняковского

Теорема (неравенство Коши — Буняковского):
Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = Cov (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и Неравенство Коши-Буняковского запишется в виде:
[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].
Доказательство:
[math]\triangleright[/math]

Для этого предположим, что [math] t [/math] — некоторое вещественное число, которое мы выберем позже, и рассмотрим очевидное неравенство

[math] E((V+tW)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math].

Используя линейность математического ожидания, мы получаем такое неравенство:

[math] E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 [/math]

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math].

Мы имеем:

[math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(VW)=Cov(\eta,\xi); [/math]

Итак, наш квадратный трехчлен выглядит следующим образом:

[math]\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0[/math]

Из этого неравенства мы видим, что левая сторона может равняться [math]0[/math] только тогда, когда многочлен имеет двойной корень (т.е. график касается оси [math]x[/math] в одной точке), что может быть только при нулевом дискриминанте. Таким образом, дискриминант всегда должен быть не положительным, что означает:

[math] 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0[/math]

[math]Cov^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2[/math]

[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]

что и требовалось доказывать.
[math]\triangleleft[/math]

Ссылки