Изменения

<b>Ковариация случайных величин</b>: пусть Пусть <tex>\eta,\xi</tex> — {{---}} две [[Дискретная случайная величина|случайные величины]], определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом<b>ковариацией случайных величин</b> (англ. ''covariance'') <tex>\eta</tex> и <tex>\xi</tex> называется выражение следующего вида:: <tex>\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi-E\xi)\big)</tex>.

:<tex>\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi\cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = </tex>:<tex>= E(\xi\cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi\cdot \eta) - E\xi \cdot E\eta </tex>

Итого, <tex>\mathrm{Cov}(\eta, \xi) = E(\xi\cdot \eta) - E\xi \cdot E\eta </tex>

: <tex>\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)</tex>.* Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j</tex> их две произвольные линейные комбинации. Тогда: <tex>\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)</tex>.

: <tex>\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D[(\eta])</tex>.* {{Утверждение|statement=Если <tex>\eta,\xi</tex> [[Независимые случайные величины|независимые случайные величины]], то: <tex>\mathrm{Cov}(\eta,\xi) = 0</tex>.Обратное|proof=:<tex>\mathrm{Cov}(\xi, вообще говоря\eta) = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex>, неверноа так как <tex>\xi</tex> и <tex>\eta</tex> {{---}} независимые, то [[Математическое ожидание случайной величины#.D0.A1.D0.B2.D0.BE.D0.B9.D1.81.D1.82.D0.B2.D0.B0_.D0.BC.D0.B0.D1.82.D0.B5.D0.BC.D0.B0.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D0.BE.D0.B6.D0.B8.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F|математическое ожидание их произведения]], равно произведению их математических ожиданий::<tex>E(\xi \cdot \eta) = E\xi \cdot E\eta </tex>, а значит:<tex> \mathrm{Cov}(\xi, \eta) = 0 </tex>}}{{Утверждение|statement=Если <tex>\mathrm{Cov}(\eta, \xi) = 0</tex>, то <tex>\eta</tex> и <tex>\xi</tex> не обязательно являются [[Независимые случайные величины#Определения | независимыми]]}}

{{Теорема| about = неравенство Коши — БуняковскогоУтверждение

Если принять в качестве скалярного произведения Ковариация есть [[Функциональный анализ#12..09.D0.9E.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D0.B5_.D1.81.D0.BA.D0.B0.D0.BB.D1.8F.D1.80.D0.BD.D0.BE.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D0.B8.D0.B7.D0.B2.D0.B5.D0.B4.D0.B5.D0.BD.D0.B8.D1.8F.2C_.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.BF.D0.B0.D1.80.D0.B0.D0.BB.D0.BB.D0.B5.D0.BB.D0.BE.D0.B3.D1.80.D0.B0.D0.BC.D0.BC.D0.B0.2C_.D0.BD.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A8.D0.B2.D0.B0.D1.80.D1.86.D0.B0.|скалярное произведение]] двух случайных величин ковариацию  |proof=Докажем три аксиомы скалярного произведения: :1. Линейность по первому аргументу: <tex>\langle mathrm{Cov}( \eta, mu_{1}\cdot\eta_{1} + \xi mu_{2}\rangle = Cov (cdot\etaeta_{2}, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>Неравенство Коши-Буняковского</b> запишется в виде:: <tex>mathrm{Cov^2}(\mu_{1}\cdot\eta,\xi) \leqslant + \mathrm{DCov}[( \eta] mu_{2}\cdot \mathrm{D}[eta, \xi])</tex>.

Запишем неравенство в другом виде:: <tex>|\mathrm{Cov}(\etamu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi)|= E( ( \mu_{1}\cdot\leqslanteta_{1} + \sqrtmu_{D[2}\eta]D[cdot\eta_{2}) \cdot \xi]) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2})\cdot E\xi </tex>.

Введём в рассмотрение случайную величину <tex>Z_{1}= \sigma_{Y} X- \sigma_{X} Y</tex> (где <tex> \sigma</tex> — среднеквадратическое отклонение) и найдём её дисперсию <tex> D(Z_{1})= M::В силу [ Z-m_{Z1}[Математическое ожидание случайной величины#Линейность математического ожидания | линейности математического ожидания]]^2</tex>. Выполнив выкладки получим:

::<tex> D E(Z_\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi)- E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi =2 \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \sigma^2_mu_{X2} ( E(\sigma^2_eta_{Y2}\cdot\xi) -E\eta_{2 }\cdot E\xi ) = \mu_{1} \cdot \sigma_mathrm{XCov} (\sigma_eta_{Y1}, \xi) + \mu_{2} \cdot \mathrm{Cov}(\etaeta_{2}, \xi).

:2. Симметричность: <tex>2 \sigma^2_mathrm{XCov} (\eta, \xi) = E(\eta\cdot\sigma^2_{Y}xi) -2 E\eta \cdot E\sigma_{X} xi = \sigma_mathrm{YCov}Cov(\etaxi, \xieta) \geqslant 0</tex>

:3. Положительная определенность: <tex>\mathrm{Cov}(\eta, \xieta)= D(\leqslanteta) = E(\mathrm{eta - E\sigma}_{X}\mathrm{\sigma}_{Y}.eta)^2 </tex>

<tex>Cov(\eta, \xi)\geqslant - \mathrm{\sigma}_{XCov}</tex> удовлетвотряет трем аксиомам, а значит <tex> \mathrm{\sigma}_{YCov}.</tex>можно использовать в качестве скалярного произведения.}}

{{Теорема| about = неравенство Коши {{---}} Буняковского| statement = Если принять в качестве скалярного произведения двух случайных величин ковариацию <tex>- \langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\sigma}_{X}eta||^2 = D [ \eta ], </tex> и <b>неравенство Коши-Буняковского</b> запишется в виде:: <tex>\mathrm{\sigmaCov}_{Y}\leqslant Cov^2(\eta, \xi)\leqslant\mathrm{D}[\sigma}_{X}eta] \cdot \mathrm{D}[\sigma}_{Y}.xi]</tex>.

<tex>|CovE((V+t \eta, \xicdot W)^2)|\leqslantgeqslant 0 </tex>, где <tex> V = \mathrm{eta - E\sigma}_{X}eta </tex> и <tex> W = \mathrm{xi - E\sigma}_{Y}.xi </tex>.

ИтакИспользуя линейность математического ожидания,мы получаем такое неравенство:

<tex>|CovE(V^2)+2 \cdot t \eta, cdot E(V \xicdot W)|+t^2 \leqslant\sqrt{D[\eta]D[cdot E(W^2) \xi]}.geqslant 0 </tex>

А значитОбратим внимание, верно и исходное неравенство:что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>.

{{Теорема|statement= <tex>Cov^2(\etaИтак, \xi) \le \sigma_\eta ^2\sigma_\xi ^2</tex> (где <tex>\sigma</tex> — среднеквадратическое отклонение)|proof= Для этого предположим, что <tex> t </tex> {{---}} некоторое вещественное число, которое мы выберем позже, и рассмотрим очевидное неравенство наш квадратный трехчлен выглядит следующим образом:

<tex> E((V\sigma_\xi ^2 \cdot t^2+tW)^2) \ge 0 </tex>, где <tex> V = cdot \eta - Emathrm{Cov}(\eta </tex> и <tex> W = ,\xi - E) \cdot t+\sigma_\eta ^2 \xi geqslant 0</tex>.

Используя линейность математического ожиданияДля того, мы получаем такое чтобы неравенствовыполнялось для всех значений <tex>t</tex>, дискриминант должен быть неположительным, то есть:

<tex> E(V4 \cdot \mathrm{Cov}^2)+2tE(VW\eta,\xi)+t-4 \cdot \sigma_\eta ^2E(W2 \cdot \sigma_\xi ^2) \ge leqslant 0 </tex>

Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t \mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2 \cdot \sigma_\xi ^2</tex>.

== Матрица ковариаций ==<b>Матрица ковариаций<tex/b> E(V^2англ. ''covariance matrix''){{---}} это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов.Ковариационная матрица случайного вектора {{---}} квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы {{---}} ковариации между компонентами.{{Определение|definition=Пусть <tex>\sigma_xi, \eta ^2</tex>{{---}} случайные вектора размерности <tex>n</tex> и <tex>m</tex> соответственно. <tex>\xi_i, \eta_j</tex> {{---}} случайные величины. Тогда матрицей ковариаций векторов <tex> E(W^2)=\sigma_xi, \xi ^2eta</tex> и называется: <tex> \Sigma = \mathrm{Cov}(\xi, \eta) = E(VW(\xi - E\xi)=Cov\cdot (\eta- E\eta)^{\top})</tex>}}Например,ковариационная матрица для случайного вектора <tex>\xi); </tex>выглядит следующим образом:

<texb>\sigma_\xi ^2t^2+2Cov(\eta,\xi)t+\sigma_\eta ^2 \ge 0Замечание </texb>

Из этого неравенства мы видим*Если <tex>\xi = \eta</tex>, что левая сторона может равняться то <tex>\Sigma</tex> называется матрицей ковариации вектора <tex>0\xi</tex> только тогда, когда многочлен имеет двойной корень (т.е. график касается оси и обозначается как <tex>x\mathrm{Var}(\xi)</tex> в одной точкe{{---}} вариация (дисперсия), что может быть только при нулевом дискриминантеслучайного вектора. Таким образом, дискриминантвсегда должен быть неположительным, что означает:

<b> Свойства </b>*Матрица ковариации случайного вектора неотрицательно определена: <tex>\mathrm{Cov}(\xi) \geqslant 0 </tex> 4Cov*Перестановка аргументов: <tex> \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^2{\top} </tex>*Матрица ковариации аддитивна по каждому аргументу:: <tex>\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) </tex>: <tex>\mathrm{Cov}(\xi,\eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1)-4+ \sigma_mathrm{Cov}(\xi, \eta_2) </tex>* Если <tex>\mathrm{Cov}(\xi, \eta) = 0</tex>, то <tex> \mathrm{Cov}(\xi + \eta ^2) = \sigma_mathrm{Cov}(\xi ^2 ) + \mathrm{Cov}(\le 0eta) </tex>

== Расстояние Махаланобиса == <b>Расстояние Махаланобиса</b> (англ. ''Mahalanobis distance'') {{---}} мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.{{Определение|definition=Пусть <tex>Cov\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^2{\top}</tex> {{---}} многомерный вектор, <tex>\Sigma</tex> {{---}} матрица ковариации, тогда <b>расстояние Махаланобиса</b> от <tex>\xi</tex> до множества со средним значением <tex>\mu = (\etamu_1,\mu_2, \mu_3, \ldots, \mu_n)^{\top}</tex> определяется как <tex> D_M (\xi) = \le sqrt{(\sigma_xi - \eta ^2mu) \sigma_cdot \Sigma (\xi - \mu)^2{\top}}</tex>

== Ссылки Источники информации ==

*[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html НГУ {{---}} Ковариация двух случайных величин]*[http://wwwru.nsuwikipedia.ruorg/mmfwiki/tvims/chernova/tv/lec/node48.html%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация]*[httphttps://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 Википедия {{---}} Матрица ковариации]*[https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F %D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D1%85%D0%B0%D0%BB%D0%B0%D0%BD%D0%BE%D0%B1%D0%B8%D1%81%D0%B0 Википедия{{---}} Расстояние Махалонобиса]*[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия {{---}} неравенство Коши {{---}} Буняковского (доказательство неравенства Коши — Буняковского)]