Оценка апостериорного максимума

Предположим, что нам нужно оценить неконтролируемый параметр выборки ${\displaystyle \theta }$ на базе наблюдений ${\displaystyle x}$. Пусть ${\displaystyle f}$ — выборочное распределение ${\displaystyle x}$, такое, что ${\displaystyle f(x|\theta )}$ — вероятность ${\displaystyle x}$ в то время как параметр выборки ${\displaystyle \theta }$. Тогда функция

${\displaystyle \theta \mapsto f(x|\theta )}$

известна как функция правдоподобия, а оценка

${\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )}$

как оценка максимального правдоподобия ${\displaystyle \theta }$.

Теперь, предположим, что априорное распределение ${\displaystyle g}$ на ${\displaystyle \theta }$ существует. Это позволяет рассматривать ${\displaystyle \theta }$ как случайную величину как в Байесовской статистике. тогда апостериорное распределение ${\displaystyle \theta }$:

${\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}}$

где ${\displaystyle g}$ плотность распределения ${\displaystyle \theta }$, ${\displaystyle \Theta }$ — область определения ${\displaystyle g}$. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает ${\displaystyle \theta }$ как апостериорное распределение этой случайной величины:

${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta )\,g(\theta )}$

Знаменатель апостериорного распределения не зависит от ${\displaystyle \theta }$ и поэтому не играет роли в оптимизации. Заметим, что MAP оценка ${\displaystyle \theta }$ соответствует ML оценке когда априорная ${\displaystyle g}$ постоянна (т.е., константа).

Предположим, что у нас есть последовательность ${\displaystyle (x_{1},\dots ,x_{n})}$ i.i.d. ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ случайных величин и априорное распределение ${\displaystyle \mu }$ задано ${\displaystyle N(0,\sigma _{m}^{2})}$. Мы хотим найти MAP оценку ${\displaystyle \mu }$.

Функция, которую нужно максимизировать задана

${\displaystyle \pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m}}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{\sqrt {2\pi \sigma _{v}}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

что эквивалентно минимизации ${\displaystyle \mu }$ в

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}.}$

Таким образом, мы видим, что MAP оценка для μ задана

${\displaystyle {\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}.}$

• EM-алгоритм — один из способов вычисления MAP
• Метод максимального правдоподобия

• DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
• Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.