Изменения

'''Ковариация Пусть <tex>\eta,\xi</tex> {{---}} две [[Дискретная случайная величина|случайные величины]], определённые на одном и том же вероятностном пространстве. Тогда <b>ковариацией случайных величин</b> (англ. ''covariance' ') <tex>\eta</tex> и <tex>\xi</tex> называется выражение следующего вида:: <tex>\mathrm{{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi--}} 1E\xi) мера линейной зависимости случайных величин; 2\big) числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений случайных величин от их математических ожиданий</tex>.

:<tex>\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi\cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = </tex>:<tex>= E(\xi\cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi\cdot \eta) - E\xi \cdot E\eta </tex>

Итого, <tex>\mathrm{Cov}(\eta, \xi) = E(\xi\cdot \eta) - E\xi \cdot E\eta </tex>

: <tex>\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)</tex>.* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j</tex> их две произвольные линейные комбинации. Тогда: <tex>\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)</tex>.

: <tex>\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[(\eta])</tex>.* {{Утверждение|statement=Если <tex>\eta,\xi</tex> [[Независимые случайные величины|независимые случайные величины]], то: <tex>\mathrm{Cov}(\eta,\xi) = 0</tex>.Обратное, вообще говоря, неверно.|proof=* Неравенство Коши — Буняковского:: если принять в качестве скалярного произведения двух случайных величин ковариацию <tex>\langle mathrm{Cov}(\xi, \eta) = E(\xi \cdot \eta, ) - E\xi \rangle = Cov (cdot E\eta</tex>, а так как <tex>\xi)</tex>и <tex>\eta</tex> {{---}} независимые, то квадрат нормы [[Математическое ожидание случайной величины будет равен дисперсии #.D0.A1.D0.B2.D0.BE.D0.B9.D1.81.D1.82.D0.B2.D0.B0_.D0.BC.D0.B0.D1.82.D0.B5.D0.BC.D0.B0.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D0.BE.D0.B6.D0.B8.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F|математическое ожидание их произведения]], равно произведению их математических ожиданий::<tex> ||E(\xi \cdot \eta||^2 ) = D [ E\xi \cdot E\eta ], </tex> и Неравенство Коши-Буняковского запишется в виде:, а значит:: <tex>\mathrm{Cov^2}(\etaxi,\xieta) \leqslant = 0 </tex>}}{{Утверждение|statement=Если <tex>\mathrm{DCov}[(\eta] , \cdot xi) = 0</tex>, то <tex>\mathrm{D}[\xi]eta</tex>.и <btex>Доказательство:\xi</btex>не обязательно являются [[Независимые случайные величины#Определения | независимыми]]}} == Неравенство Коши {{---}} Буняковского ==

Введём в рассмотрение случайную величину <tex>Z_{1}= \sigma_{Y} X- \sigma_{X} Y</tex> (где <tex> \sigma</tex> — среднеквадратическое отклонение) и найдём её дисперсию <tex> D(Z_{1})Утверждение| statement = MКовариация есть [ Z-m_{Z1}[Функциональный анализ#12..09.D0.9E.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D0.B5_.D1.81.D0.BA.D0.B0.D0.BB.D1.8F.D1.80.D0.BD.D0.BE.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D0.B8.D0.B7.D0.B2.D0.B5.D0.B4.D0.B5.D0.BD.D0.B8.D1.8F.2C_.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.BF.D0.B0.D1.80.D0.B0.D0.BB.D0.BB.D0.B5.D0.BB.D0.BE.D0.B3.D1.80.D0.B0.D0.BC.D0.BC.D0.B0.2C_.D0.BD.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A8.D0.B2.D0.B0.D1.80.D1.86.D0.B0.|скалярное произведение]]^2</tex>. Выполнив выкладки получим:двух случайных величин

|proof=Докажем три аксиомы скалярного произведения: :1. Линейность по первому аргументу: <tex>\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)</tex> ::Раскроем ковариацию по определению: ::<tex>\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( D(Z_\mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2})\cdot E\xi </tex> ::В силу [[Математическое ожидание случайной величины#Линейность математического ожидания | линейности математического ожидания]]: ::<tex> E(\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi) - E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi =2 \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \sigma^2_mu_{X2} ( E(\sigma^2_eta_{Y2}\cdot\xi) -E\eta_{2 }\cdot E\xi ) = \mu_{1} \cdot \mathrm{Cov}(\sigma_eta_{X1} , \sigma_xi) + \mu_{Y2}\cdot \mathrm{Cov}(\etaeta_{2}, \xi).

:2. Симметричность: <tex> \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)</tex>  :3. Положительная определенность: <tex> \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 </tex>  <tex> \mathrm{Cov} </tex> удовлетвотряет трем аксиомам, а значит <tex> \mathrm{Cov} </tex> можно использовать в качестве скалярного произведения.}}  {{Теорема| about = неравенство Коши {{---}} Буняковского| statement = Если принять в качестве скалярного произведения двух случайных величин ковариацию <tex>\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>неравенство Коши-Буняковского</b> запишется в виде:: <tex>\sigmamathrm{Cov}^2_2(\eta,\xi) \leqslant \mathrm{XD} [\sigma^2_eta] \cdot \mathrm{D}[\xi]</tex>. |proof= Для этого предположим, что <tex> t </tex> {{Y---}}некоторое вещественное число, и рассмотрим очевидное неравенство  <tex> E((V+t \cdot W)^2) \geqslant 0 </tex>, где <tex> V = \eta -E\eta </tex> и <tex> W = \xi - E\xi </tex>. Используя линейность математического ожидания, мы получаем такое неравенство: <tex> E(V^2)+2 \cdot t \cdot E(V \cdot W)+t^2 \cdot E(W^2) \geqslant 0 </tex> Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>. Мы имеем: <tex> E(V^2)=\sigma_\eta ^2</tex>, <tex> E(W^2 )=\sigma_\xi ^2</tex> и <tex> E(V \cdot W)=\mathrm{XCov} (\eta,\xi); </tex> Итак, наш квадратный трехчлен выглядит следующим образом: <tex>\sigma_\xi ^2 \cdot t^2+2 \cdot \mathrm{YCov}Cov(\eta, \xi) \cdot t+\sigma_\eta ^2 \geqslant 0</tex> Для того, чтобы неравенство выполнялось для всех значений <tex>t</tex>, дискриминант должен быть неположительным, то есть: <tex> 4 \cdot \mathrm{Cov}^2(\eta,\xi)-4 \cdot \sigma_\eta ^2 \cdot \sigma_\xi ^2 \leqslant 0</tex>

<tex>\mathrm{Cov}^2(\eta, \xi)\leqslant\mathrm{D}[\sigma}_{X}eta] \cdot \mathrm{D}[\sigma}_{Y}.xi]</tex> }}

Введя случайную величину == Матрица ковариаций ==<b>Матрица ковариаций</b> (англ. ''covariance matrix'') {{---}} это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.Ковариационная матрица случайного вектора {{---}} квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы {{---}} ковариации между компонентами.{{Определение|definition= Пусть <tex>\xi, \eta</tex> Z_{2{---}} случайные вектора размерности <tex>n</tex> и <tex>m</tex> соответственно. <tex>\xi_i, \eta_j</tex> {{---}} случайные величины. Тогда матрицей ковариаций векторов <tex>\xi, \eta</tex> называется: <tex>\Sigma = \sigma_mathrm{YCov} X+ (\xi, \eta) = E((\xi - E\xi) \cdot (\eta - E\sigma_eta)^{X\top} Y)</tex>}}Например, аналогичноковариационная матрица для случайного вектора <tex>\xi</tex> выглядит следующим образом:

Cov\Sigma= \begin{bmatrix} \mathrm{E}((\eta, xi_1 - E\xixi_1)\geqslant cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_2 - E\xi_2)) & \cdots & \sigmamathrm{E}_((\xi_1 - E\xi_1) \cdot (\xi_n - E\xi_n)) \\ \\ \mathrm{XE}((\xi_2 - E\xi_2) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_2 - E\sigmaxi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2) \cdot(\xi_n - E\xi_n)) \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}_((\xi_n - E\xi_n) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_n - E\xi_n))\end{Ybmatrix}.

*Если <tex>\xi = \eta</tex>, то <tex>\Sigma</tex> называется матрицей ковариации вектора <tex>\xi</tex> и обозначается как <tex>- \mathrm{Var}(\sigmaxi)</tex> {{---}}_вариация (дисперсия) случайного вектора. <b> Свойства </b>*Матрица ковариации случайного вектора неотрицательно определена: <tex>\mathrm{XCov}(\xi) \geqslant 0 </tex>*Перестановка аргументов: <tex> \mathrm{Cov}(\xi, \eta) = \sigmamathrm{Cov}_(\eta, \xi)^{Y\top}</tex>*Матрица ковариации аддитивна по каждому аргументу:: <tex>\leqslant mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) </tex>: <tex>\mathrm{Cov}(\xi, \eta_1 + \eta_2)= \mathrm{Cov}(\leqslantxi, \eta_1) + \mathrm{Cov}(\sigmaxi, \eta_2) </tex>* Если <tex>\mathrm{Cov}_(\xi, \eta) = 0</tex>, то <tex> \mathrm{XCov}(\xi + \eta) = \mathrm{Cov}(\sigma}_xi) + \mathrm{YCov}.(\eta) </tex>

}}Расстояние Махаланобиса двух случайных векторов <tex>|Cov(\etaxi, \xi)|eta</tex> с матрицей ковариации <tex>\leqslant\mathrm{\sigma}_Sigma</tex> {X}\mathrm{\sigma---}_{Y}это мера различия между ними.</tex>

Итак<b>Замечание</b>: Если матрица ковариации равняется единичной матрице,то расстояние Махалонобиса равняется расстоянию Евклида.

<tex>== См. также ==*[[Корреляция случайных величин|Cov(\eta, \xi)Корреляция случайных величин]]*[[Дисперсия случайной величины|\leqslant\sqrt{D[\etaДисперсия случайной величины]D[\xi]}.</tex>

<tex>Cov^2(\eta,\xi) \leqslant \mathrm*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html НГУ {{D---}} Ковариация двух случайных величин]*[\etahttp://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация] \cdot \mathrm*[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 Википедия {D{---}}Матрица ковариации]*[\xihttps://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D1%85%D0%B0%D0%BB%D0%B0%D0%BD%D0%BE%D0%B1%D0%B8%D1%81%D0%B0 Википедия {{---}} Расстояние Махалонобиса]<*[http://ru.wikipedia.org/wiki/tex>%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия {{---}} неравенство Коши {{---}} Буняковского (доказательство)]

*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html http[Категория://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.htmlТеория вероятности ]*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия]