М-оценки

Оценки максимального правдоподобия (ОМП) определяются одним из следующих условий:

${\displaystyle \sum _{i}\ln P_{i}\to \max _{\theta \in \Theta },\qquad \sum _{i}{\frac {\partial \ln P_{i}}{\partial \theta }}=0,\qquad \sum _{i}{\frac {P_{i}'}{P_{i}}}=0}$

где в случае негруппированной выборки ${\displaystyle P_{i}=f(x_{i},\theta )}$, а в случае группированной — ${\displaystyle P_{i}=\left(\int \limits _{x_{i-1}}^{x_{i}}f(x,\theta )\,\mathrm {d} x\right)^{n_{i}}}$

М-оценки — есть некое обобщение ОМП. Они определяются аналогично одним из соотношений:

${\displaystyle \sum _{i=1}^{N}\rho (x_{i},\theta )\to \max _{\theta \in \Theta },\qquad \sum _{i=1}^{N}\phi (x_{i},\theta )=0}$

Если наложить условие регулярности в подстановке ${\displaystyle F_{t,x}=(1-t)F+t\Delta _{x}}$ и продифференцировать его по ${\displaystyle t}$ в 0:

${\displaystyle 0={\frac {\partial }{\partial {t}}}\int \phi (x,T(F_{t,x}))\,\mathrm {d} F_{t,x}}$

${\displaystyle 0=\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}IF\,\mathrm {d} F_{t,x}+\int \phi (x,T(F_{t,x}))\,\mathrm {d} {\frac {\partial ((1-t)F+t\Delta _{x})}{\partial t}}}$

${\displaystyle 0=IF\int {\frac {\partial \phi (x,T(F_{t,x}))}{\partial \theta }}\,\mathrm {d} F_{t,x}+\phi (x,T(F_{t,x}))}$

то не представляет большого труда получить выражение функции влияния для M-оценок: ${\displaystyle IF={\frac {-\phi (x)}{\int \phi '_{\theta }(x)\,\mathrm {d} F}}}$

Указанное выражение позволяет сделать вывод о том, что M-оценки эквивалентны с точностью до ненулевого множителя-константы.

Пример функций влияния для усечённых ОМП параметров сдвига (син.) и параметра масштаба (красн.) стандартного нормального закона распределения.

Несложно проверить, что для ОМП стандартного нормального закона распределения ${\displaystyle {\mathcal {N}}(0,1)}$ функции влияния ${\displaystyle IF}$ параметра сдвига и параметра масштаба выглядят соответственно:

${\displaystyle IF=x,\quad IF={\frac {1}{2}}\;x^{2}-{\frac {1}{2}}}$

Эти функции неограничены, а это значит, что ОМП не является робастной в терминах B-робастности.

Для того, чтобы это исправить, M-оценки искусственно ограничивают, а значит и ограничивают её ${\displaystyle IF}$ (см. выражение ${\displaystyle IF}$ для M-оценок), устанавливая верхний барьер на влияние резко выделяющихся (далеко отстоящих от предполагаемых значений параметров) наблюдений. Делается это введением так называемых усечённых M-оценок, определяемых выражением:

${\displaystyle \phi _{b}(z)=\left\{{\begin{array}{lr}\phi (b),&b<z\\\phi (z),&-b<z\leqslant b\\\phi (-b),&z\leqslant -b\end{array}}\right.}$

где ${\displaystyle z={\frac {x-\theta }{S}}}$, ${\displaystyle \theta }$ и ${\displaystyle S}$ — оценки параметров сдвига и масштаба соответственно.

Среди усечённых M-оценок оптимальными с точки зрения B-робастности являются усечённые ОМП.