Байесовская статистика

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе как данных, так и априорной информации или доверия событию или условий, связанных с событием. Например, в байесовском выводе теорему Байеса можно использовать для оценки параметра распределения вероятностей или статистической модели. Поскольку байесовская статистика трактует вероятность как степень доверия, теорема Байеса может прямо назначить распределение вероятности, которое даёт количественную оценку параметру или набору параметров[2].

Байесовская статистика названа именем Томаса Байеса, который сформулировал специальный случай теоремы Байеса в своей работе, опубликованной в 1763. В некоторых статьях, выпущенных от конца 1700-х годов до начала 1800-х, Пьер-Симон Лаплас развил байесовскую интерпретацию вероятности. Лаплас использовал методы, которые сейчас считаются байесовскими методами, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но термин не использовался для описания таких методов до 1950-х годов. Большую часть XX века байесовские методы были нежелательными для большей части статистиков вследствие философских и практических соображений. Многие байесовские методы требуют больших вычислений и большинство методов, которые использовались в течение века, основывались на частотной интерпретации. Однако, с появлением мощных компьютеров и новых алгоритмов, таких как метод Монте-Карло для цепей Маркова, байесовские методы начинают с приходом XXI века использоваться с возрастающей интенсивностью[2][3].

Теорема Байеса является фундаментальной теоремой в байесовской статистике, так как она используется байесовскими методами для обновления вероятностей, которые являются степенью доверия, после получения новых данных. Если даны два события ${\displaystyle A}$ и ${\displaystyle B}$, условная вероятность ${\displaystyle A}$, при условии, что ${\displaystyle B}$ верно, выражается формулой[4]:

${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$

где ${\displaystyle P(B)\neq 0}$. Хотя теорема Байеса является фундаментальным результатом теории вероятностей, она имеет конкретную интерпретацию в байесовской статистике. В равенстве выше ${\displaystyle A}$ обычно представляет утверждение (такое, как утверждение, что монета ляжет вверх орлом в пятидесяти процентов случаев), а ${\displaystyle B}$ представляет обоснование, или новые данные, которые следует учитывать (такие как результат серии бросаний монеты). ${\displaystyle P(A)}$ является априорной вероятностью события ${\displaystyle A}$, которая выражает уверенность в событии ${\displaystyle A}$ до того, как обоснование принимается во внимание. Априорная вероятность может также дать количественную оценку знанию или информации о событии ${\displaystyle A}$. ${\displaystyle P(B\mid A)}$ является функцией правдоподобия, которую можно интерпретировать как вероятность свидетельства ${\displaystyle B}$, при условии, что произошло событие ${\displaystyle A}$ . Правдоподобие даёт количественное значение степени, насколько свидетельство ${\displaystyle B}$ поддерживают утверждение ${\displaystyle A}$. ${\displaystyle P(A\mid B)}$ является апостериорной вероятностью, вероятностью утверждения ${\displaystyle A}$ после принятия во внимание свидетельства ${\displaystyle B}$. По существу, теорема Байеса обновляет априорную уверенность ${\displaystyle P(A)}$ после рассмотрения нового свидетельства ${\displaystyle B}$[2].

Вероятность свидетельства ${\displaystyle P(B)}$ можно вычислить с помощью формулы полной вероятности. Если ${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$ является разбиением пространства элементарных событий, которое является набором всех исходов эксперимента, то[2][4]

${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$

Если имеется бесконечное число исходов, необходимо интегрировать по всем исходам для вычисления ${\displaystyle P(B)}$ с помощью формулы полной вероятности. Часто ${\displaystyle P(B)}$ вычислить трудно, так как приходится вовлекать суммирование или интегрирование, которые занимают много времени, так что часто рассматривается только произведение априорной вероятности и правдоподобия. Апостериорная вероятность пропорциональна этому произведению [2]:

${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$

Максимум апостериорной оценки, которая является модой апостериорной оценки и часто вычисляется в байесовской статистике с помощью методов математической оптимизации, остаётся той же. Апостериорная вероятность может быть аппроксимирована даже без точного вычисления значения ${\displaystyle P(B)}$ методами, такими, как метод Монте-Карло для цепей Маркова или вариационные байесовские методы [2].

Общий набор статистических техник можно разделить на ряд направлений, многие из которых имеют специальные байесовские версии.

• Think Bayes, Allen B. Downey
• Bayesian Statistics: Why and How
• Bayesian Statistics // Nature Methods. — 2015. — Май (т. 12, вып. 5). — С. 377–8. — doi:10.1038/nmeth.3368.

• Eliezer S. Yudkowsky. An Intuitive Explanation of Bayes' Theorem (неопр.). Дата обращения: 15 июня 2015.
• Theo Kypraios. A Gentle Tutorial in Bayesian Statistics (неопр.). Дата обращения: 3 ноября 2013.
• Jordi Vallverdu. Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning (неопр.).
• Bayesian statistics David Spiegelhalter, Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Bayesian modeling book and examples available for downloading.
• Rens Van De Schoot. A Gentle Introduction to Bayesian Analysis (неопр.).