Выборочная функция распределения

Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ — выборка объёма ${\displaystyle n}$, порождённая случайной величиной ${\displaystyle X}$, задаваемой функцией распределения ${\displaystyle F(x)}$. Будем считать, что ${\displaystyle X_{i}}$, где ${\displaystyle i\in \left\{1,n\right\},n\in \mathbb {N} }$, — независимые случайные величины, определённые на некотором пространстве элементарных исходов ${\displaystyle \Omega }$. Пусть ${\displaystyle x\in \mathbb {R} }$. Определим функцию ${\displaystyle {\hat {F}}(x)}$ следующим образом:

${\displaystyle {\hat {F}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {1} _{\{X_{i}\leq x\}}={\frac {1}{n}}\sum \limits _{i=1}^{n}\theta (x-X_{i})}$,

где ${\displaystyle \mathbf {1} _{A}}$ — индикатор события ${\displaystyle A}$, ${\displaystyle \theta (x)}$ — функция Хевисайда. Таким образом, значение функции ${\displaystyle {\hat {F}}}$ в точке ${\displaystyle x}$ равно относительной частоте элементов выборки, не превосходящих значение ${\displaystyle x}$. Функция ${\displaystyle {\hat {F}}(x)}$ называется выборочной функцией распределения случайной величины ${\displaystyle X}$, или эмпирической функцией выборки, и является аппроксимацией для функции ${\displaystyle F(x)}$. Существует теорема Колмогорова, утверждающая, что при ${\displaystyle n\to \infty }$ функция ${\displaystyle {\hat {F}}(x)}$ равномерно сходится к ${\displaystyle F(x)}$, и указывающая скорость сходимости. Для каждого положительного ${\displaystyle x}$, ${\displaystyle {\hat {F}}(x)}$ — случайная величина со значением ${\displaystyle {\frac {k}{n}},k\in \left\{0,n\right\}}$.

• Пусть зафиксирован элементарный исход ${\displaystyle \omega \in \Omega }$. Тогда ${\displaystyle {\hat {F}}(x,\omega )}$ является функцией распределения дискретного распределения, задаваемого следующей функцией вероятности:

${\displaystyle p_{i}=p(x_{i})={\frac {N_{x_{i}}}{n}},\;i=1,\ldots ,n}$,

где ${\displaystyle x_{i}=X_{i}(\omega )}$, а ${\displaystyle N_{x}=\sum \limits _{j=1}^{n}\mathbf {1} _{\{x=x_{j}\}}}$ — количество элементов выборки, равных ${\displaystyle x}$. В частности, если все элементы выборки различны, то ${\displaystyle N_{x_{i}}=1,\;\forall i}$.

Математическое ожидание этого распределения имеет вид:

${\displaystyle \sum \limits _{i=1}^{n}x_{i}p_{i}=\sum \limits _{i=1}^{n}x_{i}{\frac {N_{x_{i}}}{n}}={\overline {X}}(\omega )}$.

Таким образом, выборочное среднее — это теоретическое среднее выборочного распределения. Аналогично, выборочная дисперсия — это теоретическая дисперсия выборочного распределения.

• Случайная величина ${\displaystyle n{\hat {F}}(x)}$ имеет биномиальное распределение:

${\displaystyle n{\hat {F}}(x)\sim \mathrm {Bin} (n,F(x))}$.

• Выборочная функция распределения ${\displaystyle {\hat {F}}(x)}$ является несмещённой оценкой функции распределения ${\displaystyle F(x)}$:

${\displaystyle \mathbb {E} \left[{\hat {F}}(x)\right]=F(x)}$.

• Дисперсия выборочной функции распределения имеет вид:

${\displaystyle \mathrm {D} \left[{\hat {F}}(x)\right]={\frac {F(x)(1-F(x))}{n}}}$.

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

${\displaystyle {\hat {F}}(x)\to F(x)}$ почти наверное при ${\displaystyle n\to \infty }$.

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если ${\displaystyle 0<F(x)<1,\;\forall x\in \mathbb {R} }$, то

${\displaystyle {\sqrt {n}}\left({\hat {F}}(x)-F(x)\right)\to \mathrm {N} \left(0,F(x)(1-F(x))\right)}$ по распределению при ${\displaystyle n\to \infty }$.

• Гистограмма (статистика)
• Теорема Гливенко — Кантелли
• Теорема Колмогорова