Ковариация случайных величин — различия между версиями
Rukin (обсуждение | вклад) |
м (rollbackEdits.php mass rollback) |
||
(не показано 58 промежуточных версий 14 участников) | |||
Строка 1: | Строка 1: | ||
{{Определение | {{Определение | ||
|definition= | |definition= | ||
− | + | Пусть <tex>\eta,\xi</tex> {{---}} две [[Дискретная случайная величина|случайные величины]], определённые на одном и том же вероятностном пространстве. Тогда <b>ковариацией случайных величин</b> (англ. ''covariance'') <tex>\eta</tex> и <tex>\xi</tex> называется выражение следующего вида: | |
+ | : <tex>\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi-E\xi)\big)</tex>. | ||
}} | }} | ||
== Вычисление == | == Вычисление == | ||
− | |||
− | |||
В силу линейности математического ожидания, ковариация может быть записана как: | В силу линейности математического ожидания, ковариация может быть записана как: | ||
− | :<tex>Cov(\eta, \xi) = E(\xi - E\xi)(\eta - E\eta) = E(\xi\eta - \eta E\xi + E\xi E\eta - \xi E\eta) = </tex> | + | :<tex>\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi \cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = </tex> |
− | :<tex>= E(\xi\eta) - E\xi E\eta - E\xi E\eta + E\xi E\eta = E(\xi\eta) - E\xi E\eta </tex> | + | :<tex>= E(\xi \cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex> |
− | Итого, <tex>Cov(\eta, \xi) = E(\xi\eta) - E\xi E\eta </tex> | + | Итого, <tex>\mathrm{Cov}(\eta, \xi) = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex> |
== Свойства ковариации == | == Свойства ковариации == | ||
* Ковариация симметрична: | * Ковариация симметрична: | ||
− | : <tex>Cov(\eta,\xi) = Cov(\xi,\eta)</tex>. | + | : <tex>\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)</tex>. |
− | * Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \eta_j</tex> их две произвольные линейные комбинации. Тогда | + | * Пусть <tex>\eta_1,\ldots, \eta_n</tex> случайные величины, а <tex>\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j</tex> их две произвольные линейные комбинации. Тогда |
− | : <tex>Cov(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j Cov(\eta_i,\eta_j)</tex>. | + | : <tex>\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)</tex>. |
* Ковариация случайной величины с собой равна её дисперсии: | * Ковариация случайной величины с собой равна её дисперсии: | ||
− | : <tex>Cov(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D | + | : <tex>\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D(\eta)</tex>. |
− | + | {{Утверждение | |
− | : <tex>Cov(\eta,\xi) = 0</tex>. | + | |statement=Если <tex>\eta,\xi</tex> [[Независимые случайные величины|независимые случайные величины]], то |
− | + | : <tex>\mathrm{Cov}(\eta,\xi) = 0</tex>. | |
− | + | |proof= | |
− | : | + | :<tex>\mathrm{Cov}(\xi, \eta) = E(\xi \cdot \eta) - E\xi \cdot E\eta </tex>, а так как <tex>\xi</tex> и <tex>\eta</tex> {{---}} независимые, то [[Математическое ожидание случайной величины#.D0.A1.D0.B2.D0.BE.D0.B9.D1.81.D1.82.D0.B2.D0.B0_.D0.BC.D0.B0.D1.82.D0.B5.D0.BC.D0.B0.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D0.BE.D0.B6.D0.B8.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F|математическое ожидание их произведения]], равно произведению их математических ожиданий: |
− | + | :<tex>E(\xi \cdot \eta) = E\xi \cdot E\eta </tex>, а значит | |
− | {{ | + | :<tex> \mathrm{Cov}(\xi, \eta) = 0 </tex> |
− | + | }} | |
− | + | {{Утверждение | |
− | + | |statement= | |
− | + | Если <tex>\mathrm{Cov}(\eta, \xi) = 0</tex>, то <tex>\eta</tex> и <tex>\xi</tex> не обязательно являются [[Независимые случайные величины#Определения | независимыми]] | |
− | + | }} | |
+ | |||
+ | == Неравенство Коши {{---}} Буняковского == | ||
+ | |||
+ | |||
+ | {{Утверждение | ||
+ | | statement = | ||
+ | Ковариация есть [[Функциональный анализ#12..09.D0.9E.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D0.B5.D0.BD.D0.B8.D0.B5_.D1.81.D0.BA.D0.B0.D0.BB.D1.8F.D1.80.D0.BD.D0.BE.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D0.B8.D0.B7.D0.B2.D0.B5.D0.B4.D0.B5.D0.BD.D0.B8.D1.8F.2C_.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.BF.D0.B0.D1.80.D0.B0.D0.BB.D0.BB.D0.B5.D0.BB.D0.BE.D0.B3.D1.80.D0.B0.D0.BC.D0.BC.D0.B0.2C_.D0.BD.D0.B5.D1.80.D0.B0.D0.B2.D0.B5.D0.BD.D1.81.D1.82.D0.B2.D0.BE_.D0.A8.D0.B2.D0.B0.D1.80.D1.86.D0.B0.|скалярное произведение]] двух случайных величин | ||
+ | |||
+ | |proof= | ||
+ | Докажем три аксиомы скалярного произведения: | ||
− | + | :1. Линейность по первому аргументу: <tex> \mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)</tex> | |
− | + | ||
− | <tex> | + | ::Раскроем ковариацию по определению: |
− | + | ||
+ | ::<tex>\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi </tex> | ||
+ | |||
+ | ::В силу [[Математическое ожидание случайной величины#Линейность математического ожидания | линейности математического ожидания]]: | ||
+ | |||
+ | ::<tex> | ||
+ | E(\mu_{1}\cdot\eta_{1}\cdot\xi) + | ||
+ | E(\mu_{2}\cdot\eta_{2}\cdot\xi) - | ||
+ | E(\mu_{1}\cdot\eta_{1})\cdot E\xi - | ||
+ | E(\mu_{2}\cdot\eta_{2})\cdot E\xi = | ||
+ | \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + | ||
+ | \mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) = | ||
+ | \mu_{1} \cdot \mathrm{Cov}(\eta_{1}, \xi) + | ||
+ | \mu_{2} \cdot \mathrm{Cov}(\eta_{2}, \xi) | ||
</tex> | </tex> | ||
− | </ | + | |
− | + | ||
− | < | + | :2. Симметричность: <tex> \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)</tex> |
+ | |||
+ | |||
+ | :3. Положительная определенность: <tex> \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 </tex> | ||
+ | |||
+ | |||
+ | <tex> \mathrm{Cov} </tex> удовлетвотряет трем аксиомам, а значит <tex> \mathrm{Cov} </tex> можно использовать в качестве скалярного произведения. | ||
+ | }} | ||
+ | |||
+ | |||
+ | {{Теорема | ||
+ | | about = | ||
+ | неравенство Коши {{---}} Буняковского | ||
+ | | statement = | ||
+ | Если принять в качестве скалярного произведения двух случайных величин ковариацию <tex>\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)</tex>, то квадрат нормы случайной величины будет равен дисперсии <tex> ||\eta||^2 = D [ \eta ], </tex> и <b>неравенство Коши-Буняковского</b> запишется в виде: | ||
+ | : <tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex>. | ||
+ | |||
+ | |proof= Для этого предположим, что <tex> t </tex> {{---}} некоторое вещественное число, и рассмотрим очевидное неравенство | ||
+ | |||
+ | <tex> E((V+t \cdot W)^2) \geqslant 0 </tex>, где <tex> V = \eta - E\eta </tex> и <tex> W = \xi - E\xi </tex>. | ||
+ | |||
+ | Используя линейность математического ожидания, мы получаем такое неравенство: | ||
+ | |||
+ | <tex> E(V^2)+2 \cdot t \cdot E(V \cdot W)+t^2 \cdot E(W^2) \geqslant 0 </tex> | ||
+ | |||
+ | Обратим внимание, что левая часть является квадратным трехчленом, зависимым от <tex> t </tex>. | ||
+ | |||
+ | Мы имеем: | ||
+ | |||
+ | <tex> E(V^2)=\sigma_\eta ^2</tex>, <tex> E(W^2)=\sigma_\xi ^2</tex> и <tex> E(V \cdot W)=\mathrm{Cov}(\eta,\xi); </tex> | ||
+ | |||
+ | Итак, наш квадратный трехчлен выглядит следующим образом: | ||
+ | |||
+ | <tex>\sigma_\xi ^2 \cdot t^2+2 \cdot \mathrm{Cov}(\eta,\xi) \cdot t+\sigma_\eta ^2 \geqslant 0</tex> | ||
+ | |||
+ | Для того, чтобы неравенство выполнялось для всех значений <tex>t</tex>, дискриминант должен быть неположительным, то есть: | ||
+ | |||
+ | <tex> 4 \cdot \mathrm{Cov}^2(\eta,\xi)-4 \cdot \sigma_\eta ^2 \cdot \sigma_\xi ^2 \leqslant 0</tex> | ||
+ | |||
+ | <tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2 \cdot \sigma_\xi ^2</tex> | ||
+ | |||
+ | <tex>\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi]</tex> | ||
+ | |||
+ | }} | ||
+ | |||
+ | == Матрица ковариаций == | ||
+ | <b>Матрица ковариаций</b> (англ. ''covariance matrix'') {{---}} это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов. | ||
+ | Ковариационная матрица случайного вектора {{---}} квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы {{---}} ковариации между компонентами. | ||
+ | {{Определение | ||
+ | |definition= | ||
+ | Пусть <tex>\xi, \eta</tex> {{---}} случайные вектора размерности <tex>n</tex> и <tex>m</tex> соответственно. <tex>\xi_i, \eta_j</tex> {{---}} случайные величины. Тогда матрицей ковариаций векторов <tex>\xi, \eta</tex> называется | ||
+ | : <tex>\Sigma = \mathrm{Cov}(\xi, \eta) = E((\xi - E\xi) \cdot (\eta - E\eta)^{\top})</tex> | ||
+ | }} | ||
+ | Например, ковариационная матрица для случайного вектора <tex>\xi</tex> выглядит следующим образом: | ||
+ | |||
<tex> | <tex> | ||
− | + | \Sigma | |
+ | = \begin{bmatrix} | ||
+ | \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_n - E\xi_n)) \\ \\ | ||
+ | \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2) \cdot(\xi_n - E\xi_n)) \\ \\ | ||
+ | \vdots & \vdots & \ddots & \vdots \\ \\ | ||
+ | \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_n - E\xi_n)) | ||
+ | \end{bmatrix}. | ||
</tex> | </tex> | ||
− | </ | + | |
− | + | <b> Замечание </b> | |
− | < | + | |
− | <tex> | + | *Если <tex>\xi = \eta</tex>, то <tex>\Sigma</tex> называется матрицей ковариации вектора <tex>\xi</tex> и обозначается как <tex>\mathrm{Var}(\xi)</tex> {{---}} вариация (дисперсия) случайного вектора. |
− | + | ||
− | < | + | <b> Свойства </b> |
− | </ | + | *Матрица ковариации случайного вектора неотрицательно определена: <tex>\mathrm{Cov}(\xi) \geqslant 0 </tex> |
− | + | *Перестановка аргументов: <tex> \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^{\top} </tex> | |
− | + | *Матрица ковариации аддитивна по каждому аргументу: | |
− | <tex> | + | : <tex>\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) </tex> |
− | Cov(\ | + | : <tex>\mathrm{Cov}(\xi, \eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1) + \mathrm{Cov}(\xi, \eta_2) </tex> |
− | </tex> | + | * Если <tex>\mathrm{Cov}(\xi, \eta) = 0</tex>, то <tex> \mathrm{Cov}(\xi + \eta) = \mathrm{Cov}(\xi) + \mathrm{Cov}(\eta) </tex> |
− | + | ||
− | + | == Расстояние Махаланобиса == | |
− | + | <b>Расстояние Махаланобиса</b> (англ. ''Mahalanobis distance'') {{---}} мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния. | |
− | <tex> | + | {{Определение |
− | + | |definition= | |
− | </tex> | + | Пусть <tex>\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^{\top}</tex> {{---}} многомерный вектор, <tex>\Sigma</tex> {{---}} матрица ковариации, тогда <b>расстояние Махаланобиса</b> от <tex>\xi</tex> до множества со средним значением <tex>\mu = (\mu_1, \mu_2, \mu_3, \ldots, \mu_n)^{\top}</tex> определяется как <tex> D_M (\xi) = \sqrt{(\xi - \mu) \cdot \Sigma (\xi - \mu)^{\top}}</tex> |
− | + | ||
− | |||
− | |||
− | <tex> | ||
− | |||
− | </tex> | ||
− | < | ||
− | |||
− | < | ||
− | <tex> | ||
− | |||
− | </tex> | ||
− | </ | ||
− | |||
− | |||
− | <tex> | ||
− | </ | ||
− | < | ||
− | |||
− | |||
− | |||
− | |||
}} | }} | ||
+ | Расстояние Махаланобиса двух случайных векторов <tex>\xi, \eta</tex> с матрицей ковариации <tex>\Sigma</tex> {{---}} это мера различия между ними. | ||
+ | |||
+ | <b>Замечание</b> | ||
+ | : Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида. | ||
+ | |||
+ | == См. также == | ||
+ | *[[Корреляция случайных величин|Корреляция случайных величин]] | ||
+ | *[[Дисперсия случайной величины|Дисперсия случайной величины]] | ||
+ | |||
+ | == Источники информации == | ||
+ | |||
+ | *[http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node48.html НГУ {{---}} Ковариация двух случайных величин] | ||
+ | *[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D1%8F Википедия {{---}} Ковариация] | ||
+ | *[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 Википедия {{---}} Матрица ковариации] | ||
+ | *[https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B5_%D0%9C%D0%B0%D1%85%D0%B0%D0%BB%D0%B0%D0%BD%D0%BE%D0%B1%D0%B8%D1%81%D0%B0 Википедия {{---}} Расстояние Махалонобиса] | ||
+ | *[http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F#.D0.9F.D0.B0.D1.80.D0.B0.D0.BC.D0.B5.D1.82.D1.80.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D0.B5_.D0.BF.D0.BE.D0.BA.D0.B0.D0.B7.D0.B0.D1.82.D0.B5.D0.BB.D0.B8_.D0.BA.D0.BE.D1.80.D1.80.D0.B5.D0.BB.D1.8F.D1.86.D0.B8.D0.B8 Википедия {{---}} неравенство Коши {{---}} Буняковского (доказательство)] | ||
− | + | [[Категория:Дискретная математика и алгоритмы]] | |
− | + | [[Категория: Теория вероятности ]] | |
− |
Текущая версия на 19:33, 4 сентября 2022
Определение: |
Пусть случайные величины, определённые на одном и том же вероятностном пространстве. Тогда ковариацией случайных величин (англ. covariance) и называется выражение следующего вида:
| — две
Вычисление
В силу линейности математического ожидания, ковариация может быть записана как:
Итого,
Свойства ковариации
- Ковариация симметрична:
- .
- Пусть случайные величины, а их две произвольные линейные комбинации. Тогда
- .
- Ковариация случайной величины с собой равна её дисперсии:
- .
Утверждение: |
Если независимые случайные величины, то
|
|
Утверждение: |
Если независимыми , то и не обязательно являются |
Неравенство Коши — Буняковского
Утверждение: |
Ковариация есть скалярное произведение двух случайных величин |
Докажем три аксиомы скалярного произведения:
|
Теорема (неравенство Коши — Буняковского): |
Если принять в качестве скалярного произведения двух случайных величин ковариацию , то квадрат нормы случайной величины будет равен дисперсии и неравенство Коши-Буняковского запишется в виде:
|
Доказательство: |
Для этого предположим, что — некоторое вещественное число, и рассмотрим очевидное неравенство, где и . Используя линейность математического ожидания, мы получаем такое неравенство:
Обратим внимание, что левая часть является квадратным трехчленом, зависимым от .Мы имеем: , и Итак, наш квадратный трехчлен выглядит следующим образом:
Для того, чтобы неравенство выполнялось для всех значений , дискриминант должен быть неположительным, то есть:
|
Матрица ковариаций
Матрица ковариаций (англ. covariance matrix) — это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов. Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.
Определение: |
Пусть | — случайные вектора размерности и соответственно. — случайные величины. Тогда матрицей ковариаций векторов называется
Например, ковариационная матрица для случайного вектора
выглядит следующим образом:
Замечание
- Если , то называется матрицей ковариации вектора и обозначается как — вариация (дисперсия) случайного вектора.
Свойства
- Матрица ковариации случайного вектора неотрицательно определена:
- Перестановка аргументов:
- Матрица ковариации аддитивна по каждому аргументу:
- Если , то
Расстояние Махаланобиса
Расстояние Махаланобиса (англ. Mahalanobis distance) — мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.
Определение: |
Пусть | — многомерный вектор, — матрица ковариации, тогда расстояние Махаланобиса от до множества со средним значением определяется как
Расстояние Махаланобиса двух случайных векторов
с матрицей ковариации — это мера различия между ними.Замечание
- Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.