Энтропия Цаллиса

Пусть ${\displaystyle P}$ — распределение вероятностей и ${\displaystyle \mu }$ — любая мера на ${\displaystyle X}$, для которой существует абсолютно непрерывная относительно ${\displaystyle \mu }$ функция ${\displaystyle p={\frac {dP}{d\mu }}}$. Тогда энтропия Цаллиса определяется как

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

В частности, для дискретной системы, находящейся в одном из ${\displaystyle N}$ доступных состояний с распределением вероятностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$.

В случае лебеговой меры ${\displaystyle \mu =x}$, т.е. когда ${\displaystyle P}$ — непрерывное распределение с плотностью ${\displaystyle p(x)}$, заданной на множестве ${\displaystyle X}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$.

В этих формулах ${\displaystyle k}$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают ${\displaystyle k=1}$.

Параметр ${\displaystyle q}$ — безразмерная величина (${\displaystyle q\in R}$), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при ${\displaystyle q\to 1}$, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При ${\displaystyle q>0}$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При ${\displaystyle q<0}$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при ${\displaystyle q>0}$ энтропию Цаллиса нужно максимизировать, а при ${\displaystyle q<0}$ — минимизировать[2]. Значение параметра ${\displaystyle q=0}$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от ${\displaystyle P}$, а зависит лишь от ${\displaystyle \mu (X)}$, т.е. от размера системы (от ${\displaystyle N}$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины ${\displaystyle X}$ был безразмерным[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)[4] в 1967 г. Вместе с тем при ${\displaystyle q>0}$ энтропия Цаллиса является частным случаем f-энтропии[5] (при ${\displaystyle q<0}$ f-энтропией является величина, противоположная энтропии Цаллиса).

Пусть имеются две независимых системы ${\displaystyle A}$ и ${\displaystyle B}$, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний ${\displaystyle a\in A}$ и ${\displaystyle b\in B}$ в этих системах равна произведению соответствующих вероятностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$,

где ${\displaystyle x\in X}$, ${\displaystyle y\in Y}$ — области значений случайной величины в системах ${\displaystyle A}$ и ${\displaystyle B}$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо[7]

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$.

Поскольку условие аддитивности для энтропии имеет вид

${\displaystyle S(AB)=S(A)+S(B)}$,

отклонение параметра ${\displaystyle q}$ от ${\displaystyle 1}$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при ${\displaystyle q=1}$.

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$, дивергенция Цаллиса определяется как[8]

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$.

В непрерывном случае, если распределения ${\displaystyle A}$ и ${\displaystyle B}$ заданы плотностями ${\displaystyle a(x)}$ и ${\displaystyle b(x)}$ соответственно, где ${\displaystyle x\in X}$,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при ${\displaystyle q>0}$. Несущественная положительная константа ${\displaystyle k}$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ${\displaystyle 1}$). Дивергенция Цаллиса является частным случаем α-дивергенции[9] (с точностью до несущественной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех ${\displaystyle q>0}$. Дивергенция Цаллиса также является частным случаем f-дивергенции.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции ${\displaystyle \ln x}$. В пределе при ${\displaystyle q\to 1}$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Энтропия Реньи и энтропия Цаллиса эквивалентны[8][10] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы ${\displaystyle P}$ с дискретным набором состояний ${\displaystyle \{p_{i}|i=1,2,...,N\}}$:

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$, ${\displaystyle q\geq 0}$.

Дивергенция Реньи для дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$:

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$, ${\displaystyle q>0}$.

В этих формулах положительная константа ${\displaystyle {\widetilde {k}}}$ имеет тот же смысл, что и ${\displaystyle k}$ в формализме Цаллиса.

Нетрудно видеть, что

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$,

где функция

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

определена на всей числовой оси и непрерывно возрастает по ${\displaystyle x}$ (при ${\displaystyle q=1}$ полагаем ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех ${\displaystyle q>0}$;
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ${\displaystyle q=0}$), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством[11].