Неравенство Крамера — Рао

Для статистической модели ${\displaystyle (X,\,B,\,P_{\theta })}$, ${\displaystyle x=(x_{1},\dots ,\,x_{n})}$ — выборка размера ${\displaystyle n}$, — определена функция правдоподобия ${\displaystyle L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})}$ и выполнены следующие условия (условия регулярности):

• ${\displaystyle L_{}^{}>0}$ и везде дифференцируема по ${\displaystyle \theta _{}^{}}$;
• функция ${\displaystyle U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}}$ (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
• для любой статистики ${\displaystyle {\widehat {\theta }}(x)}$ с конечным вторым моментом имеет место равенство:

  ${\displaystyle {\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx}$.

Если при этих условиях дана статистика ${\displaystyle {\widehat {\theta }}(x)}$, которая несмещённо оценивает дифференцируемую функцию ${\displaystyle \tau (\theta )}$, то справедливо следующее неравенство:

${\displaystyle \mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {(\tau '(\theta ))^{2}}{nI(\theta )}}}$, где ${\displaystyle I(\theta )=M\left({\frac {d\ln L(\theta ,x)}{d\theta }}\right)^{2}}$;

а равенство достигается тогда и только тогда, когда:

${\displaystyle {\frac {d\ln L(\theta ,x)}{d\theta }}=a(\theta )({\widehat {\theta }}(x)-\tau (\theta ))}$.

Здесь ${\displaystyle I^{}(\theta )}$ — количество информации по Фишеру в одном наблюдении, а ${\displaystyle L(\theta ,t)}$ — плотность распределения генеральной совокупности ${\displaystyle X}$ в случае непрерывной статистической модели и вероятность события ${\displaystyle (X=t)}$ в случае дискретной статистической модели.

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а ${\displaystyle {\widehat {\theta }}(x)}$ — несмещённая оценка параметра ${\displaystyle \theta }$, то:

${\displaystyle \mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}}$.

Равенство в этом неравенстве достигается тогда и только тогда, когда ${\displaystyle {\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)}$.

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

• Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002