Байесовская вероятность

Байесовская вероятность — это интерпретация понятия вероятности, используемая в байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в байесовской теории используется теорема Байеса.

История

Байесовская теория и байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский» стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским», не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал её для решения задач небесной механики и медицинской статистики. Лаплас, однако, не считал эту теорему важной для развития теории вероятностей. Он придерживался классического определения вероятности.

Франк Рамсей в работе The Foundations of Mathematics (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 применил идеи Рамсея как альтернативу частотному определению. Леонард Сэвидж расширил эту идею в работе The Foundations of Statistics (1954).

Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно.

Варианты

Различные варианты байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность.

Соотношение с частотной вероятностью

Байесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях.

Теория вероятности и статистики, основанная на частотной вероятности, была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега.

Разница между байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез.

Применение

С 1950-х годов байесовская теория и байесовская вероятность широко применяются за счёт, например, теоремы Кокса и принципа максимальной энтропии. Для многих[каких?] задач байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности.

Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным.

Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спам-писем из электронной почты.

Вероятности вероятностей

Неприятная деталь, связанная с использованием байесовской вероятности, в том, что задания вероятности недостаточно для того, чтобы понять её природу. Рассмотрим следующие ситуации:

  1. У вас есть коробка с чёрными и белыми шарами и никакой информации относительно их количества.
  2. У вас есть коробка с чёрными и белыми шарами. Вы вытащили наудачу шаров, ровно половина из них оказались чёрными.
  3. У вас есть коробка с чёрными и белыми шарами и вы знаете, что ровно половина из них — чёрные.

Байесовская вероятность «вытащить следующим чёрный шар» в каждом из этих случаев равна 0,5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую метавероятность).

1. Предположим, у вас есть коробка с чёрными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета.
Пусть  — это утверждение о том, что вероятность вытащить следующим черный шар равна , тогда распределение вероятности будет бета-распределением:
Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности , после вытягивания m чёрных шаров и n белых шаров также будет Бета-распределением с параметрами , .
2. Предположим, что вы вытащили из коробки шаров, половина из них оказались чёрными, а остальные — белыми. В этом случае распределение вероятности будет бета-распределением . Максимальное апостериорное ожидание равно .
3. Вы знаете, что ровно половина шаров — чёрные, а остальные — белые. В этом случае вероятность равна 0,5 с вероятностью 1: .

См. также

Ссылки

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.