Ковариация случайных величин

Определение:

Ковариация случайных величин — мера линейной зависимости случайных величин.

Вычисление

Обозначается как [math]Cov(\eta, \xi) [/math], где [math]\eta, \xi[/math] - случайные величины.

[math]Cov(\eta, \xi) = E(\xi - E\xi)(\eta - E\eta) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = [/math] [math]E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta [/math]

Итого, [math]Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta [/math]

Замечания

• Если [math]\eta,\xi\in L^2[/math], то есть имеют конечный второй момент, то ковариация определена и конечна.
• В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом [math]L^2_0 \equiv \{\eta \in L^2 \mid E\eta = 0 \}[/math] ковариация имеет вид [math]Cov(\eta,\xi) = E[\eta \cdot \xi][/math] и играет роль скалярного произведения.

Свойства ковариации

• Ковариация симметрична:

[math]Cov(\eta,\xi) = Cov(\xi,\eta)[/math].

• В силу линейности математического ожидания, ковариация может быть записана как

[math]Cov(\eta,\xi) = E[\eta \cdot \xi] - E[\eta] \cdot E[\xi][/math].

• Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j[/math] их две произвольные линейные комбинации. Тогда

[math]Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)[/math].

В частности ковариация (в отличие от коэффициента корреляции) не инварианта относительно смены масштаба, что не всегда удобно в приложениях.

• Ковариация случайной величины с собой равна её дисперсии:

[math]Cov(\eta,\eta) = \mathrm{D}[\eta][/math].

• Если [math]\eta,\xi[/math] независимые случайные величины, то

[math]Cov(\eta,\xi) = 0[/math].

Обратное, вообще говоря, неверно.

• Неравенство Коши — Буняковского:

[math]Cov^2(\eta,\xi) \leq \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].

Ссылки

• http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html
• Википедия