Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis)[1] в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть — распределение вероятностей и — любая мера на , для которой существует абсолютно непрерывная относительно функция . Тогда энтропия Цаллиса определяется как

В частности, для дискретной системы, находящейся в одном из доступных состояний с распределением вероятностей ,

.

В случае лебеговой меры , т.е. когда — непрерывное распределение с плотностью , заданной на множестве ,

.

В этих формулах — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают .

Параметр — безразмерная величина (), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при , энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при энтропию Цаллиса нужно максимизировать, а при — минимизировать[2]. Значение параметра — это вырожденный случай энтропии Цаллиса, когда она не зависит от , а зависит лишь от , т.е. от размера системы (от в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины был безразмерным[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)[4] в 1967 г. Вместе с тем при энтропия Цаллиса является частным случаем f-энтропии[5] (при f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции на функцию

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при совпадающий с логарифмом)[6]. К. Цаллис использовал[7] несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра на .

Ещё один способ[7] получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

.

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

.

Аналогично для непрерывного случая:

.

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы и , т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний и в этих системах равна произведению соответствующих вероятностей:

,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

,

где , — области значений случайной величины в системах и соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо[7]

.

Поскольку условие аддитивности для энтропии имеет вид

,

отклонение параметра от характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при .

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями и , , дивергенция Цаллиса определяется как[8]

.

В непрерывном случае, если распределения и заданы плотностями и соответственно, где ,

.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при . Несущественная положительная константа в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ). Дивергенция Цаллиса является частным случаем α-дивергенции[9] (с точностью до несущественной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех . Дивергенция Цаллиса также является частным случаем f-дивергенции.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции . В пределе при дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны[8][10] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы с дискретным набором состояний :

, .

Дивергенция Реньи для дискретных распределений с вероятностями и , :

, .

В этих формулах положительная константа имеет тот же смысл, что и в формализме Цаллиса.

Нетрудно видеть, что

,
,

где функция

определена на всей числовой оси и непрерывно возрастает по (при полагаем ). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

  • энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех ;
  • энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством[11].

Примечания

  1. Tsallis, C. Possible generalization of Boltzmann-Gibbs statistics (англ.) // Journal of Statistical Physics : journal. — 1988. Vol. 52. P. 479—487. doi:10.1007/BF01016429. — .
  2. Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
  3. Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. Т. 29. С. 1—35.
  4. Havrda, J.; Charvát, F. Quantification method of classification processes. Concept of structural α-entropy (англ.) // Kybernetika : journal. — 1967. Vol. 3, no. 1. P. 30—35.
  5. Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. Т. 2. С. 191—213.
  6. Oikonomou T., Bagci G. B. A note on the definition of deformed exponential and logarithm functions // Journal of Mathematical Physics. — 2009. Т. 50, вып. 10. С. 1—9.
  7. Tsallis C. Nonextensive statistics: Theoretical, experimental and computational evidences and connections // Brazilian Journal of Physics. — 1999. Т. 29, вып. 1. С. 53.
  8. Nielsen F., Nock R. On Renyi and Tsallis entropies and divergences for exponential families // arXiv:1105.3259. — 2011. С. 1—7.
  9. Waters A. Alpha divergence // STAT 631 / ELEC 633:Graphical Models. — Rice Univercity, 2008. С. 1—4.
  10. Sonnino G., Steinbrecher G.Sonnino A. The Rényi entropy of Lévy distribution // Physics AUC. — 2013. Т. 23. С. 10—17.
  11. Xu D., Erdogmuns D. Renyi’s Entropy, Divergence and Their Nonparametric Estimator // J.C. Principe, Information Theoretic Learning: Renyi’s Entropy and Kernel Perspectives. — Springer Science+Business Media, LLC, 2010. С. 47—102.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.