Ковариация случайных величин — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
м
(Свойства ковариации)
Строка 25: Строка 25:
 
: <tex>Cov(\eta,\xi) = 0</tex>.
 
: <tex>Cov(\eta,\xi) = 0</tex>.
 
Обратное, вообще говоря, неверно.
 
Обратное, вообще говоря, неверно.
 +
=== Пример ===
 +
Пусть задано вероятностное пространство с четырьмя равновероятными элементарными исходами. Возьмем на этом пространстве следующую случайную величину: <tex> \eta </tex>
  
 +
<tex> \eta(w_{1}) = -2 </tex> 
 +
 +
<tex>\eta(w_{2} ) = -1</tex>
 +
 +
<tex>\eta(w_{3} ) = 1 </tex>
 +
 +
<tex>\eta(w_{4} ) = 2 </tex>
 +
 +
Тогда пусть случайная величная <tex> \xi(w) = \eta ^ {2} (w)</tex>. Эти две величины не являются независимыми(достаточно проверить это при <tex> a = 1 , b = 1 </tex>). Найдем их ковариацию:
 +
 +
<tex>
 +
Cov(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = </tex>
 +
 +
<tex>\sum \limits_{i=1}^{4} (\eta(w_{i})\cdot \xi(w_{i}) \cdot p(w_{i})) - (\sum \limits_{j=1}^{4} \eta(w_{i}) \cdot p(w_{i})) \cdot (\sum \limits_{k=1}^{4} \xi(w_{i})\cdot p(w_{i}) ) = </tex>
 +
 +
<tex>\frac{1}{4} \cdot ( (-2)\cdot4 + (-1)\cdot1 + 1\cdot1 + 2\cdot4 ) - \frac{1}{8}\cdot( (-2) + (-1) + 1 + 2 )(4 + 1 + 1 + 4) = 0 </tex>
 +
 +
Как видно <tex> Cov(\eta, \xi) = 0 </tex>, но <tex>\eta</tex> и <tex>\xi</tex> не являются независимыми случайными величинами.
  
 
== Неравенство Коши — Буняковского ==
 
== Неравенство Коши — Буняковского ==

Версия 20:00, 5 января 2014

Определение:
Ковариация случайных величин (covariance): пусть [math]\eta,\xi[/math] — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:
[math]Cov(\eta,\xi)=E\big((\eta-E\eta)(\xi-E\xi)\big)[/math].


Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

[math]Cov(\eta, \xi) = E\big((\xi - E\xi)(\eta - E\eta)\big) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = [/math]
[math]= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta [/math]

Итого, [math]Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta [/math]

Свойства ковариации

  • Ковариация симметрична:
[math]Cov(\eta,\xi) = Cov(\xi,\eta)[/math].
  • Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j[/math] их две произвольные линейные комбинации. Тогда
[math]Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)[/math].
  • Ковариация случайной величины с собой равна её дисперсии:
[math]Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[\eta][/math].
  • Если [math]\eta,\xi[/math] независимые случайные величины, то
[math]Cov(\eta,\xi) = 0[/math].

Обратное, вообще говоря, неверно.

Пример

Пусть задано вероятностное пространство с четырьмя равновероятными элементарными исходами. Возьмем на этом пространстве следующую случайную величину: [math] \eta [/math]

[math] \eta(w_{1}) = -2 [/math]

[math]\eta(w_{2} ) = -1[/math]

[math]\eta(w_{3} ) = 1 [/math]

[math]\eta(w_{4} ) = 2 [/math]

Тогда пусть случайная величная [math] \xi(w) = \eta ^ {2} (w)[/math]. Эти две величины не являются независимыми(достаточно проверить это при [math] a = 1 , b = 1 [/math]). Найдем их ковариацию:

[math] Cov(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = [/math]

[math]\sum \limits_{i=1}^{4} (\eta(w_{i})\cdot \xi(w_{i}) \cdot p(w_{i})) - (\sum \limits_{j=1}^{4} \eta(w_{i}) \cdot p(w_{i})) \cdot (\sum \limits_{k=1}^{4} \xi(w_{i})\cdot p(w_{i}) ) = [/math]

[math]\frac{1}{4} \cdot ( (-2)\cdot4 + (-1)\cdot1 + 1\cdot1 + 2\cdot4 ) - \frac{1}{8}\cdot( (-2) + (-1) + 1 + 2 )(4 + 1 + 1 + 4) = 0 [/math]

Как видно [math] Cov(\eta, \xi) = 0 [/math], но [math]\eta[/math] и [math]\xi[/math] не являются независимыми случайными величинами.

Неравенство Коши — Буняковского

Утверждение:
Ковариация есть скалярное произведение двух случайных величин
[math]\triangleright[/math]

Докажем три аксиомы скалярного произведения:

1. Линейность по первому аргументу: [math] Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = Cov( \mu_{1}\cdot\eta, \xi) + Cov( \mu_{2}\cdot\eta, \xi)[/math]

Раскроем ковариацию по определению:

[math]Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi [/math]

В силу линейности математического ожидания:

[math] E(\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi) - E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi = \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) = \mu_{1} \cdot Cov(\eta_{1}, \xi) + \mu_{2} \cdot Cov(\eta_{2}, \xi) [/math]

2. Симметричность: [math] Cov(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = Cov(\xi, \eta)[/math]

3. Положительная определенность: [math] Cov(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 [/math]

[math] Cov [/math] удовлетвотряет трем аксиомам, значит [math] Cov [/math] можно использовать в качестве скалярного произведения.
[math]\triangleleft[/math]


Теорема (неравенство Коши — Буняковского):
Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = Cov (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и неравенство Коши-Буняковского запишется в виде:
[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].
Доказательство:
[math]\triangleright[/math]

Для этого предположим, что [math] t [/math] — некоторое вещественное число, и рассмотрим очевидное неравенство

[math] E((V+tW)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math].

Используя линейность математического ожидания, мы получаем такое неравенство:

[math] E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 [/math]

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math].

Мы имеем:

[math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(VW)=Cov(\eta,\xi); [/math]

Итак, наш квадратный трехчлен выглядит следующим образом:

[math]\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0[/math]

Для того, чтобы неравенство выполнялось для всех значений [math]t[/math], дискриминант должен быть неположительным, то есть:

[math] 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0[/math]

[math]Cov^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2[/math]

[math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]

что и требовалось доказать.
[math]\triangleleft[/math]

Ссылки