Ковариация случайных величин

Определение:

Пусть [math]\eta,\xi[/math] — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда ковариацией случайных величин (англ. covariance) [math]\eta[/math] и [math]\xi[/math] называется выражение следующего вида: [math]\mathrm{Cov}(\eta,\xi)=E\big((\eta-E\eta)\cdot(\xi-E\xi)\big)[/math].

Вычисление

В силу линейности математического ожидания, ковариация может быть записана как:

[math]\mathrm{Cov}(\eta, \xi) = E\big((\xi - E\xi)\cdot(\eta - E\eta)\big) = E(\xi \cdot \eta - \eta \cdot E\xi + E\xi \cdot E\eta - \xi \cdot E\eta) = [/math]

[math]= E(\xi \cdot \eta) - E\xi \cdot E\eta - E\xi \cdot E\eta + E\xi \cdot E\eta = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math]

Итого, [math]\mathrm{Cov}(\eta, \xi) = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math]

Свойства ковариации

• Ковариация симметрична:

[math]\mathrm{Cov}(\eta,\xi) = \mathrm{Cov}(\xi,\eta)[/math].

• Пусть [math]\eta_1,\ldots, \eta_n[/math] случайные величины, а [math]\xi_1 = \sum\limits_{i=1}^n a_i \cdot \eta_i,\; \xi_2 = \sum\limits_{j=1}^m b_j \cdot \eta_j[/math] их две произвольные линейные комбинации. Тогда

[math]\mathrm{Cov}(\xi_1,\xi_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i \cdot b_j \cdot \mathrm{Cov}(\eta_i,\eta_j)[/math].

• Ковариация случайной величины с собой равна её дисперсии:

[math]\mathrm{Cov}(\eta,\eta) = E(\eta^2) - (E(\eta))^2 = D(\eta)[/math].

Утверждение:

Если [math]\eta,\xi[/math] независимые случайные величины, то [math]\mathrm{Cov}(\eta,\xi) = 0[/math].

[math]\triangleright[/math]

[math]\mathrm{Cov}(\xi, \eta) = E(\xi \cdot \eta) - E\xi \cdot E\eta [/math], а так как [math]\xi[/math] и [math]\eta[/math] — независимые, то математическое ожидание их произведения, равно произведению их математических ожиданий: [math]E(\xi \cdot \eta) = E\xi \cdot E\eta [/math], а значит [math] \mathrm{Cov}(\xi, \eta) = 0 [/math]

[math]\triangleleft[/math]

Утверждение:

Если [math]\mathrm{Cov}(\eta, \xi) = 0[/math], то [math]\eta[/math] и [math]\xi[/math] не обязательно являются независимыми

Неравенство Коши — Буняковского

Утверждение:

Ковариация есть скалярное произведение двух случайных величин

[math]\triangleright[/math]

Докажем три аксиомы скалярного произведения: 1. Линейность по первому аргументу: [math] \mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = \mathrm{Cov}( \mu_{1}\cdot\eta, \xi) + \mathrm{Cov}( \mu_{2}\cdot\eta, \xi)[/math] Раскроем ковариацию по определению: [math]\mathrm{Cov}( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}, \xi) = E( ( \mu_{1}\cdot\eta_{1} + \mu_{2}\cdot\eta_{2}) \cdot \xi ) - E( \mu_{1}\cdot\eta_{2} + \mu_{2}\cdot\eta_{2} )\cdot E\xi [/math] В силу линейности математического ожидания: [math] E(\mu_{1}\cdot\eta_{1}\cdot\xi) + E(\mu_{2}\cdot\eta_{2}\cdot\xi) - E(\mu_{1}\cdot\eta_{1})\cdot E\xi - E(\mu_{2}\cdot\eta_{2})\cdot E\xi = \mu_{1}( E(\eta_{1}\cdot\xi) - E\eta_{1}\cdot E\xi ) + \mu_{2}( E(\eta_{2}\cdot\xi) - E\eta_{2}\cdot E\xi ) = \mu_{1} \cdot \mathrm{Cov}(\eta_{1}, \xi) + \mu_{2} \cdot \mathrm{Cov}(\eta_{2}, \xi) [/math] 2. Симметричность: [math] \mathrm{Cov}(\eta, \xi) = E(\eta\cdot\xi) - E\eta \cdot E\xi = \mathrm{Cov}(\xi, \eta)[/math] 3. Положительная определенность: [math] \mathrm{Cov}(\eta, \eta) = D(\eta) = E(\eta - E\eta)^2 [/math] [math] \mathrm{Cov} [/math] удовлетвотряет трем аксиомам, а значит [math] \mathrm{Cov} [/math] можно использовать в качестве скалярного произведения.

[math]\triangleleft[/math]

Теорема (неравенство Коши — Буняковского):

Если принять в качестве скалярного произведения двух случайных величин ковариацию [math]\langle \eta, \xi \rangle = \mathrm{Cov} (\eta, \xi)[/math], то квадрат нормы случайной величины будет равен дисперсии [math] ||\eta||^2 = D [ \eta ], [/math] и неравенство Коши-Буняковского запишется в виде: [math]\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math].

Доказательство:

[math]\triangleright[/math]

Для этого предположим, что [math] t [/math] — некоторое вещественное число, и рассмотрим очевидное неравенство [math] E((V+t \cdot W)^2) \geqslant 0 [/math], где [math] V = \eta - E\eta [/math] и [math] W = \xi - E\xi [/math]. Используя линейность математического ожидания, мы получаем такое неравенство: [math] E(V^2)+2 \cdot t \cdot E(V \cdot W)+t^2 \cdot E(W^2) \geqslant 0 [/math] Обратим внимание, что левая часть является квадратным трехчленом, зависимым от [math] t [/math]. Мы имеем: [math] E(V^2)=\sigma_\eta ^2[/math], [math] E(W^2)=\sigma_\xi ^2[/math] и [math] E(V \cdot W)=\mathrm{Cov}(\eta,\xi); [/math] Итак, наш квадратный трехчлен выглядит следующим образом: [math]\sigma_\xi ^2 \cdot t^2+2 \cdot \mathrm{Cov}(\eta,\xi) \cdot t+\sigma_\eta ^2 \geqslant 0[/math] Для того, чтобы неравенство выполнялось для всех значений [math]t[/math], дискриминант должен быть неположительным, то есть: [math] 4 \cdot \mathrm{Cov}^2(\eta,\xi)-4 \cdot \sigma_\eta ^2 \cdot \sigma_\xi ^2 \leqslant 0[/math] [math]\mathrm{Cov}^2(\eta,\xi) \leqslant \sigma_\eta ^2 \cdot \sigma_\xi ^2[/math] [math]\mathrm{Cov}^2(\eta,\xi) \leqslant \mathrm{D}[\eta] \cdot \mathrm{D}[\xi][/math]

[math]\triangleleft[/math]

Матрица ковариаций

Матрица ковариаций (англ. covariance matrix) — это матрица, элементы которой являются попарными ковариациями элементов одного или двух случайных векторов. Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Определение:

Пусть [math]\xi, \eta[/math] — случайные вектора размерности [math]n[/math] и [math]m[/math] соответственно. [math]\xi_i, \eta_j[/math] — случайные величины. Тогда матрицей ковариаций векторов [math]\xi, \eta[/math] называется [math]\Sigma = \mathrm{Cov}(\xi, \eta) = E((\xi - E\xi) \cdot (\eta - E\eta)^{\top})[/math]

Например, ковариационная матрица для случайного вектора [math]\xi[/math] выглядит следующим образом:

[math] \Sigma = \begin{bmatrix} \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_1 - E\xi_1) \cdot (\xi_n - E\xi_n)) \\ \\ \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_2 - E\xi_2) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_2 - E\xi_2) \cdot(\xi_n - E\xi_n)) \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_1 - E\xi_1)) & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_2 - E\xi_2)) & \cdots & \mathrm{E}((\xi_n - E\xi_n) \cdot (\xi_n - E\xi_n)) \end{bmatrix}. [/math]

Замечание

• Если [math]\xi = \eta[/math], то [math]\Sigma[/math] называется матрицей ковариации вектора [math]\xi[/math] и обозначается как [math]\mathrm{Var}(\xi)[/math] — вариация (дисперсия) случайного вектора.

Свойства

• Матрица ковариации случайного вектора неотрицательно определена: [math]\mathrm{Cov}(\xi) \geqslant 0 [/math]
• Перестановка аргументов: [math] \mathrm{Cov}(\xi, \eta) = \mathrm{Cov}(\eta, \xi)^{\top} [/math]
• Матрица ковариации аддитивна по каждому аргументу:

[math]\mathrm{Cov}(\xi_1 + \xi_2, \eta) = \mathrm{Cov}(\xi_1, \eta) + \mathrm{Cov}(\xi_2, \eta) [/math]

[math]\mathrm{Cov}(\xi, \eta_1 + \eta_2) = \mathrm{Cov}(\xi, \eta_1) + \mathrm{Cov}(\xi, \eta_2) [/math]

• Если [math]\mathrm{Cov}(\xi, \eta) = 0[/math], то [math] \mathrm{Cov}(\xi + \eta) = \mathrm{Cov}(\xi) + \mathrm{Cov}(\eta) [/math]

Расстояние Махаланобиса

Расстояние Махаланобиса (англ. Mahalanobis distance) — мера расстояния между векторами случайных величин, обобщающая понятие евклидова расстояния.

Определение:

Пусть [math]\xi = (\xi_1, \xi_2, \xi_3, \ldots, \xi_n)^{\top}[/math] — многомерный вектор, [math]\Sigma[/math] — матрица ковариации, тогда расстояние Махаланобиса от [math]\xi[/math] до множества со средним значением [math]\mu = (\mu_1, \mu_2, \mu_3, \ldots, \mu_n)^{\top}[/math] определяется как [math] D_M (\xi) = \sqrt{(\xi - \mu) \cdot \Sigma (\xi - \mu)^{\top}}[/math]

Расстояние Махаланобиса двух случайных векторов [math]\xi, \eta[/math] с матрицей ковариации [math]\Sigma[/math] — это мера различия между ними.

Замечание

Если матрица ковариации равняется единичной матрице, то расстояние Махалонобиса равняется расстоянию Евклида.

См. также

• Корреляция случайных величин
• Дисперсия случайной величины

Источники информации

• НГУ — Ковариация двух случайных величин
• Википедия — Ковариация
• Википедия — Матрица ковариации
• Википедия — Расстояние Махалонобиса
• Википедия — неравенство Коши — Буняковского (доказательство)