Ковариация случайных величин

Неравенство Коши — Буняковского

Теорема (неравенство Коши — Буняковского):

Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = Cov (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и Неравенство Коши-Буняковского запишется в виде: [math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].

Доказательство:

[math]\triangleright[/math]

Докажем, что ковариацию можно использовать в качестве скалярного произведения: 1. Линейность по первому аргументу: [math] Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = Cov( \mu_{1}\eta, \xi) + Cov( \mu_{2}\eta, \xi)[/math] Раскроем ковариацию по определению: [math]Cov( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2} )\cdot E\xi [/math] В силу линейности математического ожидания: [math] E(\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi) - E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi = \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) = \mu_{1} \cdot Cov(\eta_{1}, \xi) + \mu_{2} \cdot Cov(\eta_{2}, \xi) [/math] 2. Симметричность: [math] Cov(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = Cov(\xi, \eta)[/math] 3. Положительная определенность: [math] Cov(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 [/math] [math] Cov [/math] удовлетвотряет трем аксиомам, значит [math] Cov [/math] можно использовать в качестве скалярного произведения. Докажем неравенстов Коши-Буняковского: Для этого предположим, что [math] t [/math] — некоторое вещественное число, и рассмотрим очевидное неравенство [math] E((V+tW)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math]. Используя линейность математического ожидания, мы получаем такое неравенство: [math] E(V^2)+2tE(VW)+t^2E(W^2) \geqslant 0 [/math] Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math]. Мы имеем: [math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(VW)=Cov(\eta,\xi); [/math] Итак, наш квадратный трехчлен выглядит следующим образом: [math]\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \geqslant 0[/math] Для того, чтобы неравенство выполнялось для всех значений [math]t[/math], дискриминант должен быть неположительным, то есть: [math] 4Cov^2(\eta,\xi)-4\sigma_\eta ^2\sigma_\xi ^2 \leqslant 0[/math] [math]Cov^2(\eta,\xi) \leqslant \sigma_\eta ^2\sigma_\xi ^2[/math] [math]Cov^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math] что и требовалось доказать.

[math]\triangleleft[/math]