Ковариационная матрица

• Пусть ${\displaystyle \mathbf {X}$ :\Omega \to \mathbb {R} ^{n}} , ${\displaystyle \mathbf {Y}$ :\Omega \to \mathbb {R} ^{m}}  — два случайных вектора размерности ${\displaystyle n}$ и ${\displaystyle m}$ соответственно. Пусть также случайные величины ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ имеют конечный второй момент (дисперсию), то есть ${\displaystyle X_{i},Y_{j}\in L^{2}}$. Тогда матрицей ковариации векторов ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ называется

${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$

то есть

${\displaystyle \Sigma =(\sigma _{ij})}$,

где

${\displaystyle \sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$,

${\displaystyle \mathbb {E} }$ — математическое ожидание.

• Если ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$, то ${\displaystyle \Sigma }$ называется матрицей ковариации вектора ${\displaystyle \mathbf {X} }$ и обозначается ${\displaystyle \mathrm {cov} (\mathbf {X} )}$.[1] Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение ${\displaystyle V(X)}$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

• Сокращённая формула для вычисления матрицы ковариации:

${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$.

• Матрица ковариации случайного вектора неотрицательно определена[1]:

${\displaystyle \mathrm {cov} (\mathbf {X} )\geq 0}$.

• Смена масштаба:

${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$.

• Если случайные векторы ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ нескоррелированы (${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$), то

${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$.

• Матрица ковариации аффинного преобразования:

${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$,

где ${\displaystyle \mathbf {A} }$ — произвольная матрица размера ${\displaystyle n\times n}$, а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$.

• Перестановка аргументов:

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$

• Матрица ковариации аддитивна по каждому аргументу:

${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$,

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$.

• Если ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ независимы, то

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$.

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы ${\displaystyle X}$ и ${\displaystyle Y}$ имеют совместное нормальное распределение с математическими ожиданиями ${\displaystyle \mu _{X},\mu _{Y}}$, ковариационными матрицами ${\displaystyle V_{X},V_{Y}}$ и матрицей ковариаций ${\displaystyle C_{XY}}$. Это означает, что объединенный случайный вектор ${\displaystyle {\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\displaystyle {\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},}$ и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

${\displaystyle {\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}}$ где ${\displaystyle C_{YX}=C_{XY}^{T}}$

Тогда случайный вектор ${\displaystyle Y}$ при заданном значении случайного вектора ${\displaystyle X}$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

${\displaystyle E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}}$

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора ${\displaystyle Y}$ от заданного значения x случайного вектора ${\displaystyle X}$), причем матрица ${\displaystyle C_{XY}V^{-1}}$ - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора ${\displaystyle Y}$ на вектор ${\displaystyle X}$.

В случае если ${\displaystyle Y}$ - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии ${\displaystyle Y}$ на вектор ${\displaystyle X}$)