Ковариация случайных величин

Определение:

Ковариация случайных величин — мера линейной зависимости случайных величин.

Вычисление

Обозначается как [math]Cov(\eta, \xi) [/math], где [math]\eta, \xi[/math] - случайные величины.

В силу линейности математического ожидания, ковариация может быть записана как:

[math]Cov(\eta, \xi) = E(\xi - E\xi)(\eta - E\eta) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = [/math]

[math]= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta [/math]

Итого, [math]Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta [/math]

Свойства ковариации

• Ковариация симметрична:

[math]Cov(\eta,\xi) = Cov(\xi,\eta)[/math].

• Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j[/math] их две произвольные линейные комбинации. Тогда

[math]Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)[/math].

• Ковариация случайной величины с собой равна её дисперсии:

[math]Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta][/math].

• Если [math]\eta,\xi[/math] независимые случайные величины, то

[math]Cov(\eta,\xi) = 0[/math].

Обратное, вообще говоря, неверно.

• Неравенство Коши — Буняковского:

если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = Cov (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и Неравенство Коши-Буняковского запишется в виде:

[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].

Доказательство  

Запишем неравенство в другом виде:

[math]|Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}[/math].

Введём в рассмотрение случайную величину [math]Z_{1}= \sigma_{Y} X- \sigma_{X} Y[/math] (где [math] \sigma[/math] — среднеквадратическое отклонение) и найдём её дисперсию [math] D(Z_{1})= M[ Z-m_{Z1}]^2[/math]. Выполнив выкладки получим:

[math] D(Z_{1})=2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi). [/math]

Любая дисперсия неотрицательна, поэтому

[math] 2 \sigma^2_{X} \sigma^2_{Y}-2 \sigma_{X} \sigma_{Y}Cov(\eta, \xi) \geqslant 0 [/math]

Отсюда

[math] Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}. [/math]

Введя случайную величину [math] Z_{2}= \sigma_{Y} X+ \sigma_{X} Y[/math], аналогично

[math] Cov(\eta, \xi)\geqslant - \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}. [/math]

Объединив полученные неравенства имеем

[math] - \mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}\leqslant Cov(\eta, \xi)\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}. [/math]

Или

[math] |Cov(\eta, \xi)|\leqslant\mathrm{\sigma}_{X}\mathrm{\sigma}_{Y}. [/math]

Итак,

[math] |Cov(\eta, \xi)|\leqslant\sqrt{D[\eta]D[\xi]}. [/math]

А значит, верно и исходное неравенство:

[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]

Ссылки

• http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html
• Википедия