Состоятельная оценка

• Пусть ${\displaystyle X_{1},\ldots ,X_{n},\ldots }$ — выборка для распределения, зависящего от параметра ${\displaystyle \theta \in \Theta }$. Тогда оценка ${\displaystyle {\hat {\theta }}\equiv {\hat {\theta }}(X_{1},\ldots ,X_{n})}$ называется состоятельной, если

${\displaystyle {\hat {\theta }}\to \theta ,\quad \forall \theta \in \Theta }$ по вероятности при ${\displaystyle n\to \infty }$.

В противном случае оценка называется несостоятельной.

• Оценка ${\displaystyle {\hat {\theta }}}$ называется си́льно состоя́тельной, если

${\displaystyle {\hat {\theta }}\to \theta ,\quad \forall \theta \in \Theta }$ почти наверное при ${\displaystyle n\to \infty }$.

На практике «увидеть» сходимость «почти наверное» не представляется возможным, поскольку выборки конечны. Таким образом, для прикладной статистики достаточно требовать состоятельности оценки. Более того, оценки, которые были бы состоятельными, но не сильно состоятельными, «в жизни» встречаются очень редко. Закон больших чисел для одинаково распределённых и независимых величин с конечным первым моментом выполнен и в усиленном варианте, всякие крайние порядковые статистики тоже сходятся в силу монотонности не только по вероятности, но и почти наверное.

• Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

• Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
• Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины ${\displaystyle {\sqrt {n}}({\hat {\theta }}-\theta )}$ (асимптотическое математическое ожидание этой величины равно нулю).

• Оценка называется суперсостоятельной, если дисперсия случайной величины ${\displaystyle n({\hat {\theta }}-\theta )}$ стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше, чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

• Выборочное среднее ${\displaystyle {\bar {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$ является сильно состоятельной оценкой математического ожидания ${\displaystyle X_{i}}$.
• Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.

• Статистическая оценка
• Несмещенная оценка
• Эффективная оценка