Центральная предельная теорема

Центра́льные преде́льные теоре́мы (ЦПТ) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

«Сглаживание» распределения суммированием. Показана функция плотности вероятности одной случайной величины, а также распределения суммы двух, трёх и четырёх случайных величин с такой же функцией распределения.

Какова бы ни была форма распределения генеральной совокупности, выборочное распределение стремится к нормальному, а его дисперсия задается центральной предельной теоремой.[1]

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая ЦПТ

Пусть $X_{1},\ldots ,X_{n},\ldots$ есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание $\mu$ и дисперсию $\sigma ^{2}$ . Пусть также

S_{n}=\sum \limits _{i=1}^{n}X_{i}

.

Тогда

{\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}\to N(0,1)

по распределению при

n\to \infty

,

где $N(0,1)$ — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых $n$ величин как

{\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}

,

мы можем переписать результат центральной предельной теоремы в следующем виде:

{\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)

по распределению при

n\to \infty

.

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

Замечания

Неформально говоря, классическая центральная предельная теорема утверждает, что сумма $n$ независимых одинаково распределённых случайных величин имеет распределение, близкое к $N(n\mu ,n\sigma ^{2})$ . Эквивалентно, ${\bar {X}}_{n}$ имеет распределение близкое к $N(\mu ,\sigma ^{2}/n)$ .
Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив $Z_{n}={\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}$ , получаем $F_{Z_{n}}(x)\to \Phi (x),\;\forall x\in \mathbb {R}$ , где $\Phi (x)$ — функция распределения стандартного нормального распределения.
Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная ЦПТ

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин $\{X_{i}\}_{i=1}^{\infty }$ абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение $Z_{n}$ также абсолютно непрерывно, и более того,

f_{Z_{n}}(x)\to {\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}

при

n\to \infty

,

где $f_{Z_{n}}(x)$ — плотность случайной величины $Z_{n}$ , а в правой части стоит плотность стандартного нормального распределения.

Обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

ЦПТ Линдеберга

Пусть независимые случайные величины $X_{1},\ldots ,X_{n},\ldots$ определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: $\mathbb {E} [X_{i}]=\mu _{i},\;\mathrm {D} [X_{i}]=\sigma _{i}^{2}$ .

Пусть $S_{n}=\sum \limits _{i=1}^{n}X_{i}$ .

Тогда $\mathbb {E} [S_{n}]=m_{n}=\sum \limits _{i=1}^{n}\mu _{i},\;\mathrm {D} [S_{n}]=s_{n}^{2}=\sum \limits _{i=1}^{n}\sigma _{i}^{2}$ .

И пусть выполняется условие Линдеберга:

\forall \varepsilon >0,\;\lim \limits _{n\to \infty }\sum \limits _{i=1}^{n}\mathbb {E} \left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}\right]=0,

где $\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}$ функция — индикатор.

Тогда

{\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)

по распределению при

n\to \infty

.

ЦПТ Ляпунова

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины $\{X_{i}\}$ имеют конечный третий момент. Тогда определена последовательность

r_{n}^{3}=\sum _{i=1}^{n}\mathbb {E} \left[|X_{i}-\mu _{i}|^{3}\right]

.

Если предел

\lim \limits _{n\to \infty }{\frac {r_{n}}{s_{n}}}=0

(условие Ляпунова),

то

{\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)

по распределению при

n\to \infty

.

ЦПТ для мартингалов

Пусть процесс $(X_{n})_{n\in \mathbb {N} }$ является мартингалом с ограниченными приращениями. В частности, допустим, что

\mathbb {E} \left[X_{n+1}-X_{n}\mid X_{1},\ldots ,X_{n}\right]=0,\;n\in \mathbb {N} ,\;X_{0}\equiv 0,

и приращения равномерно ограничены, то есть

\exists C>0\,\forall n\in \mathbb {N} \;|X_{n+1}-X_{n}|\leq C

п.н.

Введём случайные процессы $\sigma _{n}^{2}$ и $\tau _{n}$ следующим образом:

\sigma _{n}^{2}=\mathbb {E} \left[(X_{n+1}-X_{n})^{2}\mid X_{1},\ldots ,X_{n}\right]

и

\tau _{n}=\min \left\{k\left\vert \;\sum _{i=1}^{k}\sigma _{i}^{2}\geq n\right.\right\}

.

Тогда

{\frac {X_{\tau _{n}}}{\sqrt {n}}}\to N(0,1)

по распределению при

n\to \infty

.

ЦПТ для случайных векторов

Пусть ${\vec {X_{1}}},\ldots ,{\vec {X_{n}}},\ldots$ последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее $E{\vec {X_{1}}}={\vec {a}}$ и невырожденную матрицу ковариаций $\Sigma$ . Обозначим через $S_{n}={\vec {X_{1}}}+\ldots +{\vec {X_{n}}}$ вектор частичных сумм. Тогда при $n\to \infty$ имеет место слабая сходимость распределений векторов

${\vec {\eta _{n}}}={\frac {S_{n}-na}{\sqrt {n}}}\xrightarrow {weak} {\vec {\eta }}$ , где ${\vec {\eta }}$ имеет распределение $N({{\vec {0}},\Sigma })$ .

См. также

Примечания

Rouaud, Mathieu. Probability, Statistics and Estimation (неопр.). — 2013. — С. 10.

Ссылки

Предельные теоремы теории вероятностей. Примеры использования

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Rouaud, Mathieu. Probability, Statistics and Estimation (неопр.). — 2013. — С. 10.

Словари и энциклопедии	Большая каталанская Большая российская Britannica (онлайн)
В библиографических каталогах	BNF: 122653738 GND: 4067618-3 LCCN: sh85021905