Информационный критерий Акаике

В общем случае AIC:

${\displaystyle {\mathit {AIC}}=2k-2\ln(L)}$,

где ${\displaystyle k}$ — число параметров в статистической модели, ${\displaystyle L}$ — максимизированное значение функции правдоподобия модели.

Далее будем полагать, что ошибки модели нормально и независимо распределены. Пусть ${\displaystyle n}$ — число наблюдений, а остаточная сумма квадратов

${\displaystyle {\mathit {RSS}}=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}.}$

Далее мы предполагаем, что дисперсия ошибок модели неизвестна, но одинакова для всех них. Следовательно:

${\displaystyle {\mathit {AIC}}=2k+n[\ln(2\pi {\mathit {RSS}}/n)+1]\,.}$

В случае сравнения моделей на выборках одинаковой длины, выражение можно упростить, выкидывая члены зависящие только от ${\displaystyle n}$:

${\displaystyle {\mathit {AIC}}=2k+n[\ln({\mathit {RSS}})]\,.}$

Таким образом, критерий не только вознаграждает за качество приближения, но и штрафует за использование излишнего количества параметров модели. Считается, что наилучшей будет модель с наименьшим значением критерия AIC. Критерий Шварца (SIC) штрафует свободные параметры в большей мере.

Стоит отметить, что абсолютное значение AIC не имеет смысла — он указывает только на относительный порядок сравниваемых моделей.

Часто необходимо выбирать между моделями, для которых считается, что их ошибки нормально распределены. Это приводит к критерию ${\displaystyle \chi ^{2}}$.

Для таких случаев можно приспособить AIC. В рамках статьи назовем его ${\displaystyle AIC_{\chi ^{2}}}$. От непосредственно AIC он будет отличаться на аддитивную константу (функцию лишь данных, но не модели), которой можно пренебречь ввиду относительного характера критерия.

Для приближения ${\displaystyle \chi ^{2}}$ функция правдоподобия определяется следующим образом:

${\displaystyle L=\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\exp \left(-\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{2\sigma _{i}^{2}}}\right)}$

${\displaystyle \therefore \ln L=\ln \left(\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\right)-{\frac {1}{2}}\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{\sigma _{i}^{2}}}}$

${\displaystyle \therefore \ln L=C-\chi ^{2}/2}$,

где ${\displaystyle C}$ — независимая от модели константа, которую можно исключить в случае сравнения моделей на одних и тех же данных.

Таким образом:${\displaystyle AIC=2k-2\ln(L)=2k-2(C-\chi ^{2}/2)=2k-2C+\chi ^{2}}$. Исключая константу:

${\displaystyle AIC_{\chi ^{2}}=\chi ^{2}+2k.}$

Эта форма критерия часто удобна, если мы уже вычислили ${\displaystyle \chi ^{2}}$ как статистику качества приближения. В случае обучения моделей на данных с одинаковым количеством точек, нужно брать модель с наименьшим значением ${\displaystyle AIC_{\chi ^{2}}}$.

Аналогично, если имеется вычисленная статистика ${\displaystyle R^{2}}$ («Объясненная дисперсия»), можно записать:

${\displaystyle AIC_{R^{2}}=n\ln {\frac {1-R^{2}}{n}}+2k.\ }$

• Байесовский информационный критерий (BIC; он же Критерий Шварца, SIC)
• Критерий Акаике на Machinelearning.ru

• Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974. — Т. 19. — С. 716. — 723 с.
• Liddle A. R. Information criteria for astrophysical model selection (недоступная ссылка). — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
• Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN ISBN 0-387-95364-7.
• McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN ISBN 981-02-3242-X.
• Бидюк П. И., Зворыгина Т. Ф. Структурный анализ методик построения регрессионных моделей по временным рядам наблюдений.