Ковариация

Пусть ${\displaystyle X,Y}$ — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

${\displaystyle \mathrm {cov} (X,Y)=\mathbb {M} \left[(X-\mathbb {M} X)(Y-\mathbb {M} Y)\right]}$,

где ${\displaystyle \mathbb {M} }$— математическое ожидание (в англоязычной литературе принято обозначение ${\displaystyle \mathbb {E} }$).

Предполагается, что все математические ожидания ${\displaystyle \mathbb {M} }$ в правой части данного выражения определены.

Замечания

• Если ${\displaystyle X,Y\in L^{2}}$, то есть имеют конечный второй момент, то ковариация определена и конечна.
• В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом ${\displaystyle L_{0}^{2}\equiv \{X\in L^{2}\mid \mathbb {M} X=0\}}$ ковариация имеет вид ${\displaystyle \mathrm {cov} (X,Y)=\mathbb {M} [XY]}$и играет роль скалярного произведения.

Пусть ${\displaystyle X_{1},X_{2},...,X_{n}}$ - выборка ${\displaystyle X}$ объёма ${\displaystyle n}$, ${\displaystyle Y_{1},Y_{2},...,Y_{n}}$ — выборка ${\displaystyle Y}$ объёма ${\displaystyle n}$ и они порождены случайными величинами, определёнными на одном и том же вероятностном пространстве. Тогда выборочным коэффициентом ковариации является средняя величина произведений отклонений значений от средних значений соответствующих выборок[1]:

${\displaystyle {\overline {s}}_{XY}=\mathrm {cov} (X,Y)={1 \over n}\sum _{t=1}^{n}\left(X_{t}-{\overline {X}}\right)\left(Y_{t}-{\overline {Y}}\right)}$

где средние значения выборок (также называемые выборочными средними) определяют по формулам

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{t=1}^{n}X_{t}}$

${\displaystyle {\overline {Y}}={\frac {1}{n}}\sum _{t=1}^{n}Y_{t}}$ 

Если раскрыть скобки и воспользоваться формулой для выборочного среднего, то:

${\displaystyle \mathrm {cov} (X,Y)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-\left({\frac {1}{n}}\sum _{t=1}^{n}X_{t}\right)\left({\frac {1}{n}}\sum _{t=1}^{n}Y_{t}\right)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-{\overline {X}}{\overline {Y}}}$

• Если ${\displaystyle X,Y}$ — независимые случайные величины, то

  ${\displaystyle \mathrm {cov} (X,Y)=0}$.

• Но обратное утверждение, вообще говоря, неверно: из отсутствия ковариации не следует независимость. Пример:

  Пусть случайная величина ${\displaystyle Z}$ принимает значения ${\displaystyle 0,{\frac {\pi }{2}},\pi }$, каждое с вероятностью ${\displaystyle {\frac {1}{3}}}$. Тогда ${\displaystyle \cos {Z}}$ будет принимать значения −1, 0 и 1, каждое с вероятностью ${\displaystyle {\frac {1}{3}}}$, а ${\displaystyle P(\sin {Z}=1)={\frac {1}{3}},P(\sin {Z}=0)={\frac {2}{3}},P(\sin {Z}=-1)=0}$. Тогда ${\displaystyle \mathrm {cov} (\sin {Z},\cos {Z})=0}$, но ${\displaystyle 0=P(\sin {Z}=1,\cos {Z}=1)\neq P(\cos {Z}=1)P(\sin {Z}=1)={\frac {1}{9}}}$

• Ковариация случайной величины с собой равна дисперсии: ${\displaystyle \mathrm {cov} (X,X)=\mathrm {D} [X]}$.
• Ковариация симметрична:

  ${\displaystyle \mathrm {cov} (X,Y)=\mathrm {cov} (Y,X)}$.

• В силу линейности математического ожидания ковариация может быть записана как

  ${\displaystyle \mathrm {cov} (X,Y)=\mathbb {M} \left[XY-X\mathbb {M} Y-Y\mathbb {M} X+\mathbb {M} X\mathbb {M} Y\right]=}$
  ${\displaystyle \;=\mathbb {M} \left[XY\right]-\mathbb {M} X\mathbb {M} Y-\mathbb {M} X\mathbb {M} Y+\mathbb {M} X\mathbb {M} Y=}$
  ${\displaystyle \;=\mathbb {M} \left[XY\right]-\mathbb {M} X\mathbb {M} Y}$.

• Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ случайные величины, а ${\displaystyle Y_{1}=\sum \limits _{i=1}^{n}a_{i}X_{i},\;Y_{2}=\sum \limits _{j=1}^{m}b_{j}X_{j}}$ — их две произвольные линейные комбинации. Тогда

  ${\displaystyle \mathrm {cov} (Y_{1},Y_{2})=\sum \limits _{i=1}^{n}\sum \limits _{j=1}^{m}a_{i}b_{j}\mathrm {cov} (X_{i},X_{j})}$.

В частности, ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

• Если ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ — числа, то

  ${\displaystyle \mathrm {cov} (X+\alpha ,Y+\beta )=\mathrm {cov} (X,Y)}$.

• Неравенство Коши — Буняковского: если принять в качестве скалярного произведения двух случайных величин ковариацию ${\displaystyle \langle X,Y\rangle =\mathrm {cov} (X,Y)}$, то квадрат нормы случайной величины будет равен дисперсии ${\displaystyle \|X\|^{2}=\mathrm {D} [X]}$, и неравенство Коши — Буняковского запишется в виде:

  ${\displaystyle \mathrm {cov} ^{2}(X,Y)\leqslant \mathrm {D} [X]\cdot \mathrm {D} [Y]}$.

Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют тенденцию возрастать, а если знак отрицательный — то убывать.

Однако только по абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как масштаб ковариации зависит от их дисперсий. Значение ковариации можно нормировать, поделив её на произведение среднеквадратических отклонений (квадратных корней из дисперсий) случайных величин. Полученная величина называется коэффициентом корреляции Пирсона ${\displaystyle \mathbf {r} (X,Y)}$, который всегда находится в интервале от −1 до 1:

${\displaystyle \mathbf {r} (X,Y)={\frac {\mathrm {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}}$, где ${\displaystyle \sigma }$ — среднеквадратическое отклонение.

Соответственно,

${\displaystyle \mathrm {cov} (X,Y)=\mathbf {r} (X,Y)\cdot \sigma _{X}\sigma _{Y}}$[2].

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы. Обратное утверждение не всегда выполняется. Оно справедливо для нормально распределенных случайных величин.

• Ковариационная матрица — обобщение понятия ковариации для векторов из случайных величин
• Корреляция
• Дисперсия случайной величины

• Weisstein, Eric W. Covariance (англ.) на сайте Wolfram MathWorld.