Достаточная статистика

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда ${\displaystyle f_{\theta }(x)=\mathbb {P} (X=x|\theta )}$ — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и ${\displaystyle \mathrm {T} (x)=t.}$

Тогда имеем:

${\displaystyle {\begin{aligned}\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )&={\frac {\mathbb {P} (X=x|\theta )}{\mathbb {P} (\mathrm {T} (X)=t|\theta )}}&={\frac {h(x)\,g(\theta ,\mathrm {T} (x))}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,\mathrm {T} (x))}}\\&={\frac {h(x)\,g(\theta ,t)}{\sum _{x:\mathrm {T} (x)=t}h(x)\,g(\theta ,t)}}&={\frac {h(x)\,}{\sum _{x:\mathrm {T} (x)=t}h(x)\,}}.\end{aligned}}}$

Отсюда видим, что условная вероятность вектора X при заданном значении статистики ${\displaystyle \mathrm {T} (X)\;}$ не зависит от параметра и соответственно ${\displaystyle \mathrm {T} (X)\;}$ — достаточная статистика.

Наоборот можем записать:

${\displaystyle \mathbb {P} (X=x|\theta )=\mathbb {P} (X=x|\mathrm {T} (X)=t,\theta )\cdot \mathbb {P} (\mathrm {T} (X)=t|\theta ).}$

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра ${\displaystyle \theta }$ и его можно взять за функцию ${\displaystyle h(x)}$ из формулировки теоремы. Другой множитель является функцией от ${\displaystyle \theta \;}$ и ${\displaystyle \mathrm {T} (X),\;}$ и его можно взять за функцию ${\displaystyle g(\theta ,\mathrm {T} (x)).}$ Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Пусть ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — последовательность случайных величин, что равны 1 с вероятностью ${\displaystyle p}$ и равны 0 с вероятностью ${\displaystyle 1-p}$ (то есть, имеют распределение Бернулли). Тогда

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|p)=p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{\mathrm {T} (x)}(1-p)^{n-\mathrm {T} (x)},}$

если взять ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.}$

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

${\displaystyle g(p,\mathrm {T} (x_{1},\ldots x_{n}))=p^{\mathrm {T} (x_{1},\ldots x_{n})}(1-p)^{n-\mathrm {T} (x_{1},\ldots x_{n})},}$

${\displaystyle h(x_{1},\ldots x_{n})=1.}$

Пусть ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — последовательность случайных величин с распределением Пуассона. Тогда

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|\lambda )={e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}=e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

где ${\displaystyle \mathrm {T} (X)=X_{1}+\ldots +X_{n}.}$

Данная статистика является достаточной согласно теореме факторизации, если обозначить

${\displaystyle g(\lambda ,\mathrm {T} (x_{1},\ldots x_{n}))=e^{-n\lambda }\lambda ^{\mathrm {T} (x)}}$

${\displaystyle h(x_{1},\ldots x_{n})={1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

Пусть ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ — последовательность равномерно распределённых случайных величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;~U(a,b)}$ . Для этого случая

${\displaystyle \mathbb {P} (x_{1},\ldots x_{n}|a,b)=\left(b-a\right)^{-n}\mathbf {1} _{\{a\,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,b\}}.}$

Отсюда следует, что статистика ${\displaystyle T(X)=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ является достаточной.

Для случайных величин ${\displaystyle X_{1},X_{2},\ldots ,X_{n}\;}$ с нормальным распределением ${\displaystyle {\mathcal {N}}(\mu ,\,\sigma ^{2})}$ достаточной статистикой будет ${\displaystyle \mathrm {T} (X)=\left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)\,.}$