Многомерная случайная величина

Многомерная случайная величина или случайный вектор (математика, вероятность и статистика) - это список математических переменных, значения каждого из которых неизвестно, либо потому что значение еще не произошло, или из-за несовершенного знания его значении. Индивидуальные переменные в случайном векторе сгруппированы вместе, потому что они являются частью единой математической системы — часто они представляют различные свойства отдельных статистических единиц. Например, пусть какое-то конкретное лицо имеет определенный возраст, рост и вес. Совокупность же этих особенностей у случайного человека из группы будет случайным вектором. Обычно каждый элемент случайного вектора - это действительное число.

Случайные вектора часто используют в качестве базовой реализации различных видов совокупности случайных величин, например, случайные матрицы, случайное дерево, случайная последовательность, случайных процессов т. д.

Более формально, многомерной случайной величиной является столбец вектора $\mathbf {X} =(X_{1},...,X_{n})^{T}$ (или ее транспонированная матрица, которая представляет собой вектор-строку), компонентами которого являются скалярные значения случайных величин одном и том же вероятностном пространстве $(\Omega ,{\mathcal {F}},P)$ , где $\Omega$ это пространство элементарных событий, ${\mathcal {F}}$ это сигма-алгебра (совокупность всех событий), и $P$ есть вероятность измерения (функция, возвращающая вероятность каждого события ).

Распределение вероятностей

Каждый случайный вектор порождает вероятностную меру на $\mathbb {R} ^{n}$ с борелевской алгеброй, лежащей в основе сигма-алгебры. Эта мера также известна как совместное распределение вероятностей, совместное распределение или многомерное распределение случайного вектора.

Распределение каждой из компонент случайных величин $X_{i}$ называются маргинальными распределениями. Условное распределение вероятностей $X_{i}$ учитывая $X_{j}$ является вероятностный распределением $X_{i}$ когда $X_{j}$ известно как конкретное значение.

Операции на случайных векторах

Случайные вектора могут быть подвергнуты тем же алгебраическим операциям как и в случае с неслучайными векторами: сложение, вычитание, умножение на скаляр, и скалярное произведение.

Аналогично, новый случайный вектор $\mathbf {Y}$ можно определить, применяя аффинное преобразование $g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$ для случайного вектора $\mathbf {X}$ :

\mathbf {Y} ={\mathcal {A}}\mathbf {X} +b

, где

{\mathcal {A}}

это матрица

n\times n

и

b

это вектор состоящий из колонки

n\times 1

Если ${\mathcal {A}}$ обратима и вероятностная плотность $\textstyle \mathbf {X}$ равна $f_{\mathbf {X} }$ ,тогда вероятностная плотность $\mathbf {Y}$

f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }({\mathcal {A}}^{-1}(y-b))}{|\det {\mathcal {A}}|}}

.

Математическое ожидание, ковариация и кросс-ковариация

Математическое ожидание или среднее значение случайного вектора $\mathbf {X}$ фиксированный вектор $\operatorname {E} [\mathbf {X} ]$ , элементы которого являются ожидаемыми значениями соответствующих случайных величин.

Ковариационная матрица (Также называется дисперсионно-ковариационной матрицей) это случайный вектор $n\times 1$ матрицей которого является матрица размером $n\times n$ в которой (i,j)^ый элемент это ковариация между i^ой и j^ой случайной величиной. Ковариационная матрица - это математическое ожидание, элемент за элементом, матрицы размером $n\times n$ полученной умножением матриц $[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}$ , где верхний индекс T относится к транспонированию указанного вектора:

\operatorname {Var} [\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{T}].

В дополнение к этому, $\mathbf {X}$ и $\mathbf {Y}$ ( $\mathbf {X}$ имеет $n$ элементов и $\mathbf {Y}$ имеет $p$ элементов ) является матрицей $n\times p$

\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{T}],

Где опять указанное матричное ожидание принимается поэтапно в матрице. В ней (i,j)^ый элемент это ковариация между i^ым элементом матрицы $\mathbf {X}$ и j^ым элементом матрицы $\mathbf {Y} .$ Матрица кроссковариации $\operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]$ легко получается транспонированием полученной $\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]$ .

Дополнительные свойства

Ожидание квадратичной формы

Возьмем математическое ожидание квадратичной формы в случайном векторе X следующим образом:^{:стр.170–171}

\operatorname {E} (X^{T}AX)=[\operatorname {E} (X)]^{T}A[\operatorname {E} (X)]+\operatorname {tr} (AC),

Где C - ковариационная матрица X, а tr - это след матрицы, то есть сумма элементов на его главной диагонали (от верхнего левого к правому нижнему). Так как квадратичная форма является скаляром, то это и ее математическое ожидание.

Доказательство: Пусть $\mathbf {z}$ - случайный вектор размера $m\times 1$ с $\operatorname {E} [\mathbf {z} ]=\mu$ и $\operatorname {Cov} [\mathbf {z} ]=V$ и пусть $A$ - нестохастическая матрица размера $m\times m$

Тогда, основываясь на базовой формуле ковариации , если мы обозначим $\mathbf {z} '=\mathbf {X}$ и $\mathbf {z} 'A'=\mathbf {Y}$ ( где в дальнейшем основной знак $'$ обозначает транспонирование), мы видим:

\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ']-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]'

Следовательно,

{\begin{aligned}E(XY')&=\operatorname {Cov} (X,Y)+E(X)E(Y)'\\E(z'Az)&=\operatorname {Cov} (z',z'A')+E(z')E(z'A')'\\&=\operatorname {Cov} (z',z'A')+\mu '(\mu 'A')'\\&=\operatorname {Cov} (z',z'A')+\mu 'A\mu ,\end{aligned}}

что приводит нас к

\operatorname {Cov} (z',z'A')=\operatorname {tr} (AV).

Это верно в связи с тем, что при трассировке без изменения конечного результата можно циклически переставлять матрицы (например, tr (AB) = tr (BA)).

Мы видим, что ковариация

{\begin{aligned}\operatorname {Cov} (z',z'A')&=E\left[\left(z'-E(z')\right)\left(z'A'-E\left(z'A'\right)\right)'\right]\\&=E\left[(z'-\mu ')(z'A'-\mu 'A')'\right]\\&=E\left[(z-\mu )'(Az-A\mu )\right].\end{aligned}}

и затем

\left({z-\mu }\right)'\left({Az-A\mu }\right)

является скаляром, тогда

(z-\mu )'(Az-A\mu )=\operatorname {tr} \left[{(z-\mu )'(Az-A\mu )}\right]=\operatorname {tr} \left[(z-\mu )'A(z-\mu )\right]

тривиально. Используя перестановку, получим:

\operatorname {tr} \left[{(z-\mu )'A(z-\mu )}\right]=\operatorname {tr} \left[{A(z-\mu )(z-\mu )'}\right],

И, включив это в исходную формулу, получим:

{\begin{aligned}\operatorname {Cov} \left({z',z'A'}\right)&=E\left[{\left({z-\mu }\right)'(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left[A(z-\mu )(z-\mu )'\right]\right]\\&=\operatorname {tr} \left[{A\cdot E\left[(z-\mu )(z-\mu )'\right]}\right]\\&=\operatorname {tr} [AV].\end{aligned}}

Математическое ожидание произведения двух разных квадратичных форм

Возьмем математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе X с нулевым средним следующим образом:^{:стр. 162–176}

\operatorname {E} [X^{T}AX][X^{T}BX]=2\operatorname {tr} (ACBC)+\operatorname {tr} (AC)\operatorname {tr} (BC)

Где снова C является ковариационной матрицей X. Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром.

Векторный временной ряд

Эволюцию k × 1 случайного вектора $\mathbf {X}$ во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом:

Примечания

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.