Энтропия Реньи

В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи.

Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (то есть — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как

,

где угловыми скобками обозначено математическое ожидание по распределению ( — вероятность пребывания системы в некотором состоянии как случайная величина), логарифм берётся по основанию 2 (для счёта в битах) либо по другому удобному основанию (оно должно быть больше 1). Основание логарифма определяет единицу измерения энтропии. Так, в математической статистике обычно используется натуральный логарифм.

Если все вероятности , тогда при любом энтропия Реньи . Иначе -энтропия убывает как функция . Притом более высокие значения (уходящие в бесконечность) дают энтропии Реньи значения, которые в большей степени определены лишь самыми высокими вероятностями событий (то есть вклад в энтропию маловероятных состояний уменьшается). Промежуточный случай в пределе даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при получаем максимально возможную -энтропию, равную независимо от распределения (лишь бы ).

Смысл параметра можно описать, говоря неформальным языком, как восприимчивость функционала к отклонению состояния системы от равновесного: чем больше , тем быстрее уменьшается энтропия при отклонении системы от равновесного состояния. Смысл ограничения заключается в том, чтобы обеспечивалось увеличение энтропии при приближении системы к равновесному (более вероятному) состоянию. Это требование является естественным для понятия энтропия. Следует заметить, что для энтропии Цаллиса, которая эквивалентна энтропии Реньи с точностью до не зависящего от монотонного преобразования, соответствующее ограничение часто опускают, при этом для отрицательных значений параметра вместо максимизации энтропии используют её минимизацию.

Энтропия Реньи играет важную роль в экологии и статистике, определяя так называемые индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от . Они также приводят к спектру показателей фрактальной размерности.

Hα для некоторых конкретных значений α

Некоторые частные случаи

  • При энтропия Реньи не зависит от вероятностей состояний (вырожденный случай) и равна логарифму числа состояний (логарифму мощности множества ):
.

Данную энтропию иногда называют энтропией Хартли. Она используется, например, в формулировке принципа Больцмана.

  • В пределе при , можно показать, используя правило Лопиталя, что сходится к энтропии Шеннона. Таким образом, семейство энтропий Реньи может быть доопределено функционалом
.
  • Квадратичная энтропия, иногда называемая энтропией столкновений, — это энтропия Реньи с параметром :
,

где и — независимые случайные величины, одинаково распределённые на множестве с вероятностями (). Квадратичная энтропия используется в физике, обработке сигналов, экономике.

  • Существует предел
,

который называется min-энтропией, потому что это наименьшее значение . Данная энтропия также является вырожденным случаем, поскольку её значение определяется только наиболее вероятным состоянием.

Неравенства для различных значений α

Два последних случая связаны соотношением . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для распределения X с фиксированной min-энтропией.

потому что .
, потому что .
в соответствии с неравенством Йенсена .

Расхождения (дивергенции) Реньи

Кроме семейства энтропий, Реньи также определил спектр мер расхождений (дивергенций), обобщающих расхождение Кульбака—Лейблера. Формулы данного раздела записаны в общем виде — через логарифм по произвольному основанию. Поэтому нужно понимать, что каждая приведённая формула представляет собой семейство эквивалентных функционалов, определённых с точностью до постоянного (положительного) множителя.

Расхождение Реньи с параметром , где и , распределения относительно распределения (или «расстояние от до ») определяется как

или (формально, без учёта нормировки вероятностей)

,
.

Как расхождение Кульбака—Лейблера, расхождение Реньи является неотрицательным для .

Некоторые частные случаи

  • При дивергенция Реньи не определена, однако семейство дивергенций можно доопределить элементом
 : минус логарифм от суммы вероятностей , таких что соответствующие .
  •  : расстояние Бхаттачария (минус логарифм от коэффициента Бхаттачария, несущественный множитель игнорируем). Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию Хеллингера и сферическому расстоянию Бхаттачария—Рао, однако в отличие от них не удовлетворяет неравенству треугольника, а потому не является метрикой в пространстве распределений.
  •  : расхождение Кульбака—Лейблера (равно математическому ожиданию по распределению логарифма отношения вероятностей ).
  •  : логарифм от математического ожидания по распределению отношения вероятностей . Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию хи-квадрат .
  •  : логарифм от максимального отношения вероятностей .

Финансовая (игровая) интерпретация

Рассмотрим игру (лотерею) по угадыванию некой случайной величины. Официальные выигрышные ставки известны и опубликованы в виде распределения вероятностей . Между тем истинное распределение вероятностей может не совпадать с . Знание истинного распределения позволяет игроку заработать. Ожидаемый рост капитала экспоненциальный. Считая верным распределение , игрок может подсчитать (свое) математическое ожидание экспоненциальной скорости роста капитала (за раунд игры) [Soklakov2020]:

ОжидаемыйРост


где обозначает относительную меру неприятия риска по Эрроу-Пратту.

Обозначив истинное распределение (не обязательно совпадающее с мнением игрока ) реально полученный рост можно подсчитать в пределе многократной игры [Soklakov2020]:

ФактическийРост

Почему случай особенный[уточнить]

Значение , которое соответствует энтропии Шеннона и расхождению Кульбака—Лейблера, является особенным, потому что только в этом случае можно выделить переменные A и X из совместного распределения вероятностей, такие что справедливо

для энтропии, и

для дивергенции.

Последнее означает, что если мы будем искать распределение , которое сводит к минимуму расхождения некоторых основополагающих мер , и получим новую информацию, которая влияет только на распределение , то распределение не будет зависеть от изменений .

В общем случае расхождения Реньи с произвольными значениями удовлетворяют условиям неотрицательности, непрерывности и инвариантности относительно преобразования координат случайных величин. Важным свойством любых энтропии и дивергенции Реньи является аддитивность: когда и независимы, из следует

и

.

Наиболее сильные свойства случая , которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях или совершенно неважны, в зависимости от требований этих приложений.

Перекрёстная энтропия Реньи

Перекрёстная энтропия от двух распределений с вероятностями и () в общем случае может определяться по-разному (в зависимости от применения), но должна удовлетворять условию . Один из вариантов определения (аналогичным свойством обладает перекрёстная энтропия Шеннона):

.

Другое определение, предложенное А. Реньи, может быть получено из следующих соображений. Определим эффективное количество состояний системы как среднее геометрическое взвешенное от величин с весами :

.

Отсюда следует выражение для перекрёстной энтропии Шеннона

.

Рассуждая аналогичным образом, определим эффективное количество состояний системы как среднее степенное взвешенное от величин с весами и параметром :

.

Таким образом, перекрёстная энтропия Реньи имеет вид

.
  • Нетрудно видеть, что в случае, если распределения вероятностей и совпадают, перекрёстная энтропия Реньи совпадает с энтропией Реньи.
  • Также при перекрёстная энтропия Реньи сходится к перекрёстной энтропии Шеннона.
  • Свойство , справедливое для перекрёстной энтропии Шеннона, в общем случае не имеет места. Перекрёстная энтропия Реньи может быть как больше, так и меньше энтропии Реньи.

Непрерывный случай

Для формального обобщения энтропии Шеннона на случай непрерывного распределения служит понятие дифференциальная энтропия. Совершенно аналогично определяется дифференциальная энтропия Реньи:

.

Расхождение (дивергенция) Реньи в непрерывном случае также является обобщением расхождения Кульбака—Лейблера и имеет вид

.

Определение перекрёстной энтропии, предложенное А. Реньи, в непрерывном случае имеет вид

.

В приведённых формулах и — некоторые функции плотности распределения вероятностей, определённые на интервале , и полагается , .

Литература

  • Soklakov, A. N. (2020). “Economics of Disagreement—Financial Intuition for the Rényi Divergence”. Entropy. 22 (8): 860. arXiv:1811.08308. DOI:10.3390/e22080860.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.