Энтропия

Энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») — широко используемый в естественных и точных науках термин (впервые введён в рамках термодинамики как функция состояния термодинамической системы), обозначающий меру необратимого рассеивания энергии или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу). Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру сложности, хаотичности или неопределённости системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией.

Употребление в различных дисциплинах

Термодинамическая энтропия — термодинамическая функция, характеризующая меру необратимой диссипации энергии в ней.
В статистической физике — характеризует вероятность осуществления некоторого макроскопического состояния системы.
В математической статистике — мера неопределённости распределения вероятностей.
Информационная энтропия — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
Дифференциальная энтропия — формальное обобщение понятия энтропии для непрерывных распределений.
Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.

В термодинамике

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например в виде излучения, при этом полная энтропия окружающей среды увеличивается[1].

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла ( $\delta Q/T$ ), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути[2]:

\Delta S_{1\to 2}=S_{2}-S_{1}=\int \limits _{1\to 2}{\frac {\delta Q}{T}}

.

(1)

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить $S_{1}=0$ . Тогда

S=\int {\frac {\delta Q}{T}}

,

(2)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции $S$ имеет вид

dS={\frac {\delta Q}{T}}

.

(3)

Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

Физический смысл энтропии

Орбиты растягивающих отображений являются переплетенными, вследствие чего они не могут быть отделены друг от друга (например, орбиты периодического типа). Структура таких орбит сложна, асимптотическое поведение отдельной орбиты неустойчиво и чувствительно к начальным условиям. Любые две орбиты расходятся с экспоненциальной скоростью, таким образом, нельзя предсказать их поведение в течение длительного времени, если начальная позиция известна лишь с ограниченной точностью. Для общих вполне интегрируемых систем поведение разных орбит отличается, но также имеет место нетривиальное возвращение. Например, рассмотрим отображение окружности $\varphi (z)=z^{2},\,|z|=1$ (или $\varphi (x)=2x\quad (\mod 1)$ ). С алгебраической точки зрения это отображение является эндоморфизмом группы $S^{1}=\mathbb {R} /\mathbb {Z}$ на себя, а точки зрения геометрии - двулистное накрытие $S^{1}.$ В этом случае одновременно наблюдается нетривиальное возвращение и разное асимптотическое поведение орбит (что делает структуру орбит сложной).

Через $P_{n}(f)$ для преобразования $f:X\to X$ обозначается число неподвижных точек отображения $f^{n}$ (численность периодических точек $f$ с периодом $n$ ). Эти числа - топологические инварианты. Таким образом, $P_{n}(f)$ - общее число точек, для которых положительное целое $n$ является периодом (необязательно минимальным). В случае, если $n$ является простым, то $P_{n}(f)-P_{1}(f)$ - количество точек с минимальным периодом $n,$ таким образом, ${\frac {1}{n}}(P_{n}(f)-P_{1}(f))$ - численность орбит с периодом, равным $n.$ Мерой асимптотического роста числа периодических точек является экспоненциальная скорость роста $p(f)$ последовательности $P_{n}(f),$ которая определяется формулой $p(f)={\overline {\lim _{n\to \infty }}}{\frac {\log(\max(P_{n}(f),1))}{n}}.$

Самый важным числовым инвариантом, связанным с ростом орбит, является топологическая энтропия, выражающая экспоненциальную скорость роста числа отрезков орбит. Она описывает общую экспоненциальную сложность структуры орбит посредством одного числа. Другими словами, топологическая энтропия является инвариантом топологического сопряжения. Например, пусть даны топологически сопряженные отображения $\alpha :X\to X$ и $\beta :Y\to Y$ с помощью изоморфизма $\theta :X\to Y.$ Определим метрику $d$ на $Y$ как перенос, т.е. $d'(y_{1},y_{2})=d(\theta ^{-1}(y_{1}),\theta ^{-1}(y_{2})).$ В этом случае $\theta _{d}(\alpha )=\theta _{d'}(\beta ),$ и $d$ есть изометрия.

В теории информации

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону[3].

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации[4][5]. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана)[6][7]. Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии)[8]. Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом.

Пусть состояния системы равновероятны и имеют вероятность $p$ , тогда число состояний $N=1/p$ , а $\log N=\log(1/p)$ . В случае разных вероятностей состояний $p_{i}$ рассмотрим средневзвешенную величину

\log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i}),

где ${\overline {N}}$ — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона:

H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}.

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое[9] как среднее степенное взвешенное с параметром $q\leq 1$ от величин $1/p_{i}$ .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном[10][11].

В биологии

Вводимая обычно как "мера неупорядоченности или неопределенности системы" энтропия часто используется в рассуждениях о направленности эволюционных процессов. Согласно этой точке зрения, биосфера - сверхсложная самоорганизующаяся структура, "питающаяся" негэнтропией солнечного излучения[12][13]. Бактериородопсин выполняет ту же функцию, что и хлорофилл (туннельный эффект) - обеспечивает преобразование электромагнитного облучения в энергию химических связей. Если говорить об порядке, то упорядочивание расположения элементов фотосинтетической электрон-транспортной цепи обеспечивается фотосинтетической мембраной (структурной единицей хлоропластов), которая определяет направленный перенос электронов и протонов, создавая и поддерживая разность электрохимических потенциалов ионов, разделяя окисленные и восстановленные продукты и препятствуя их рекомбинации[14]. Следует отметить, что бактериородопсин функционирует в тензорно-солитонном режиме.

Функцию потенциальной энергии (функцию силового взаимодействия твердого тела с неоднородным полем) можно представить в виде суперпозиции $V=V_{0}+...+V_{i}=\sum _{i}V_{i},$ $V_{i}=({\mathfrak {M}}_{i}\cdot {\mathfrak {N}}_{i}),$ где ${\mathfrak {M}}_{i}$ - неприводимый тензор, связанный с телом, а ${\mathfrak {N}}_{i}$ - тензор, связанный с полем. Здесь каждый член суммы $V_{i}$ имеет свой смысл, поскольку при повороте координат отвечает соответствующему закону преобразования физических величин, которые берут участие во взаимодействии. Таким образом, сложные задачи динамики твердого тела сводятся к нахождению тензоров, которые описывают либо тело, либо поле. Скажем, взаимодействие магнетика (например, магнетита, содержащегося в нейронах) с однородным магнитным полем можно записать $V_{1}=({\textbf {J}}\cdot {\textbf {H}}).$ Функция $V_{2}$ описывает тензорное взаимодействие тела с неоднородным гравитационным полем, тензор, связанный с телом есть тензор моментов инерции. Теоремы сложения для тензорных решений уравнения Гельмгольца при трансляциях применяются в задах нахождения инвариантных представлений физических взаимодействий[15]. В основе аппарата неприводимых тензоров лежит квантовая теория углового момента и преобразование вращений.

Считается, что сложность организации влияет на устойчивость в живой и неживой природе[16][17]. В неживой же природе увеличение сложности приводит к понижению устойчивости живого вещества. В противоположность этому в живой природе сложные (социальные) организации устойчивее (в смысле способности к выживанию), нежели устойчивость каждого элемента в отдельности. Например, численность организмов, состоящих из малого числа клеток (например, москитов), значительно больше численности организмов, состоящих из большого числа клеток (например, слонов). Однако это ничего не говорит об устойчивости, отнесенной к элементарной составляющей. Если бы цитолог пожелал заняться статистикой и собрал случайным образом коллекцию клеток, то он нашел бы в ней больше всего клеток, принадлежащих млекопитающим. Это говорит о том, что с усложнением живых организмов устойчивость их элементарных составляющих (клеток) значительно увеличивается[18].

По аналогии с шенноновским определением энтропии в качестве меры организованности можно рассматривать величину

$G=-\sum _{i=1}^{N+1}p_{i}\log p_{i},$

где $p_{i}$ - отношение числа связей $n_{i},$ имеющихся у элемента $i$ в данный момент, к числу всех возможных $N$ связей этого элемента. Здесь, как и в случае определения энтропии источника информации, справедливо условие $0\leq p_{i}\leq 1,$ однако условие $\sum _{i}p_{i}=1,$ выполняющееся для случая определения энтропии, здесь уже не имеет места и заменяется неравенством $0\leq \sum _{i}p_{i}\leq (N+1).$ Для элемента $i,$ не имеющего ни одной связи с любым другим элементом, $p_{i}=0.$ Напротив, когда элемент $i$ соединен со всеми другими $N$ элементами, $p_{i}=1$ и $\log p_{i}=0.$

Выражение для меры относительной организованности запишется следующим образом:

$G=-\sum _{i=1}^{N+1}{\frac {n_{i}}{N}}\log {\frac {n_{i}}{N}}=-{\frac {1}{N}}\sum _{i=1}^{N+1}(n_{i}\log n_{i}+n_{i}\log {\frac {1}{N}})=-{\frac {1}{N}}\log {\frac {1}{N}}\sum _{i=1}^{N+1}n_{i}-{\frac {1}{N}}\sum _{i=1}^{N+1}n_{i}\log n_{i}.$

Максимальная организованность находится приравниванием $G$ по всем $p_{i}$ нулю, в результате чего получается система из $N+1$ уравнений:

${\frac {dG}{\partial p_{j}}}=-{\frac {d}{\partial p_{j}}}\sum _{i=1}^{N+1}p_{i}\log p_{i}=0\quad \quad (j={\overline {1,(N+1)}}).$

Для любого из этих уравнений справедливо

${\frac {dG}{\partial p_{j}}}=-{\frac {d}{\partial p_{j}}}(p_{j}\log p_{j})-{\frac {d}{\partial p_{j}}}\sum _{i\neq j}p_{i}\log p_{i}=-\log e-\log p_{j}-0=0,\quad \quad \log p_{j}=-\log e=\log {\frac {1}{e}}.$

Таким образом, для достижения максимума организованности отношение связи должно быть равно $p_{i}={\frac {1}{e}}$ (где $e$ - число Эйлера), $G_{\mathrm {max} }=(N+1){\frac {1}{e}}\log e.$

Данное нестохастическое толкование организованности обладает и тем преимуществом, что позволяет сделать ряд интересных выводов. Для учета в степени связи наличия связи между двумя элементами через промежуточные элементы нужно будет использовать не число связей, подходящих к элементу $i,$ а число, которое определяется из выражения

$n_{i}=\sum _{j\neq i}m_{i,j},$

где $m_{i,j}=m_{j,i}$ - степень родства (сила связи) между элементами $i$ и $j.$ В этом случае $p_{i}$ будет представлять в формуле относительную общую силу связи (вместо числа связей, как было ранее) для элемента $i.$ [19]

Аксиоматическое определение энтропии

Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина:[20].

1. Пусть некоторая система может пребывать в каждом из

N

доступных состояний с вероятностью

p_{i}

, где

i=1,...,N

. Энтропия

H

является функцией только вероятностей

P=(p_{1},...,p_{N})

:

H=H(P)

.

2. Для любой системы

P

справедливо

H(P)\leq H(P_{unif})

, где

P_{unif}

— система с равномерным распределением вероятностей:

p_{1}=p_{2}=...=p_{N}=1/N

.

3. Если добавить в систему состояние

p_{N+1}=0

, то энтропия системы не изменится.

4. Энтропия совокупности двух систем

P

и

Q

имеет вид

H(PQ)=H(P)+H(Q/P)

, где

H(Q/P)

— средняя по ансамблю

P

условная энтропия

Q

.

Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы[21] обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.

4'. Энтропия совокупности двух независимых систем

P

и

Q

имеет вид

H(PQ)=H(P)+H(Q)

.

Оказывается, система аксиом с пунктом 4' приводит не только к энтропии Шеннона, но и к энтропии Реньи.

f-энтропия

Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный[22] И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил[23] концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано[24] с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией $f(t)$ при $t\geq 0$ , удовлетворяющей условию $f(1)=0$ .

Для заданной функции $f(t)$ f-энтропия дискретного распределения $P=\{p_{i}\,|\,i=1,...,N\}$ определяется как

H_{f}(P)=-\sum _{i=1}^{N}f\left(p_{i}\right).

Наиболее известными частными случаями f-энтропии являются:

энтропия Шеннона для $f(t)=t\ln t$ ;
энтропия Цаллиса для $f(t)={t^{q}-t \over q-1}$ , $q>0$ , $q\neq 1$ ;
альфа-энтропия для $f(t)={t^{\alpha }-t \over \alpha (\alpha -1)}$ , $\alpha \neq 1$ , $\alpha \neq 0$ .

Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.

Понятие f-энтропии определяют в общем виде следующим образом. Пусть $P$ — распределение вероятностей и $\mu$ — любая мера на $\Omega$ , для которой существует абсолютно непрерывная относительно $\mu$ функция $p={\frac {dP}{d\mu }}$ . Тогда

H_{f}(P)=-\int _{\Omega }f(p)\,\partial \mu .

Однако непрерывные версии f-энтропий могут иметь смысла по причине расходимости интеграла.

f-энтропия является вогнутым функционалом от распределения вероятностей.

Можно заметить, что функция $f(t)$ может быть задана с точностью до слагаемого $c(t-1)$ , где $c$ — произвольная константа. Независимо от выбора $c$ функция $f(t)$ порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, т.е. выбором константы $c$ можно задать начало отсчёта энтропии. При этом возникает следующий нюанс (более характерный для непрерывной версии f-энтропии): в случае $\mu (\Omega )=\infty$ константа $c$ должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, т.е. $c$ перестаёт быть произвольной. В частности, в дискретной версии энтропии константа $c$ должна фиксироваться при $N=\infty$ . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если $\mu$ — лебегова мера на $\Omega$ , тогда $p(x)$ — плотность распределения вероятности и

H_{f}(P)=-\int _{\Omega }f(p(x))\partial ,x+c,

где $c$ — произвольная константа.

Функция $f(t)$ может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.

Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение[25]:

H(P)=-D(P\parallel Q_{0})+c,

где $Q_{0}$ — равномерное на $\Omega$ распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере $\mu$ , имеет место формальная запись

H(p)=-D(p\parallel 1)+c.

Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.

См. также

Примечания

Зубарев Д. Н., Морозов В. Г. Диссипация энергии // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.
Цыпкин Я. З., 1995, с. 77.
Зубарев Д. Н., Морозов В. Г. Энтропия // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
Энтропия // Большая советская энциклопедия : [в 30 т.] / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.
http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
Вентцель Е. С., 1969, с. 468—475.
Зарипов Р. Г., 2005, с. 13—22, 108-125.
Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33—51.
Колмогоров, 1987, с. 29—39.
Рапапорт А. - Математические аспекты абстрактного анализа систем // Исследования по общей теории систем. М.: Прогресс. 1969. С. 83-105.
Н. Н. Брушлинская, Фактор-инвариантность уравнений химической кинетики вдоль одномерного множества в пространстве параметров, УМН, 1975, том 30, выпуск 6(186), 161–162.
Кадошников С.И. - Фотоэлектрические и спектральные свойства искусственных хлорофилл-липидных мембран.
Лапин Н.И. - Применение метода неприводимых тензоров в задачах динамики твердого тела в неоднородных силовых полях.
Усков А.А., Круглов В.В. - Устойчивость больших систем.
George J.Klir - Architecture of systems problem solving.
Г.Фёрстер - Био-логика // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.
Р.Бойелл - Память с семантическими связями // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.
Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53.
Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191–213.
Arimoto S. Information-theoretical considerations on estimation problems // Information and Control. — 1971. — Т. 19, вып. 3. — С. 181–194.
Csiszár I. Axiomatic Characterizations of Information Measures. // Entropy. — 2008. — Вып. 10. — С. 261—273.
Cichocki A., Amari S.-I. Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532–1568.

Литература

к.т.н. Деменок С. Л. Просто Энтропия. — Цикл изданий "Фракталы и Хаос". — СПб.: «СТРАТА», 2019.
Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.}}
Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
Брюллюэн Л. Наука и теория информации. — М., 1960.
Винер Н. Кибернетика и общество. — М., 1958.
Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
Эшби У. Р. Введение в кибернетику. — М., 1965.
Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.

Ссылки

Фракталы и Хаос — Проект издательства научно-популярной литературы «СТРАТА», СПб

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Зубарев Д. Н., Морозов В. Г. Диссипация энергии // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.

[2] Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.

[_6e0a6efbc92ad71d-3] Цыпкин Я. З., 1995, с. 77.

[4] Зубарев Д. Н., Морозов В. Г. Энтропия // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.

[5] Энтропия // Большая советская энциклопедия : [в 30 т.] / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.

[6] ttp://emf.pskgu.ru/ebooks/astros/0401_O.pdf

[7] ttp://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf

[_ffbdac33c8a1e2ef-8] Вентцель Е. С., 1969, с. 468—475.

[_eef4db9885dae072-9] Зарипов Р. Г., 2005, с. 13—22, 108-125.

[10] Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33—51.

[_5c35b6cb8c257c00-11] Колмогоров, 1987, с. 29—39.

[12] Рапапорт А. - Математические аспекты абстрактного анализа систем // Исследования по общей теории систем. М.: Прогресс. 1969. С. 83-105.

[13] Н. Н. Брушлинская, Фактор-инвариантность уравнений химической кинетики вдоль одномерного множества в пространстве параметров, УМН, 1975, том 30, выпуск 6(186), 161–162.

[14] Кадошников С.И. - Фотоэлектрические и спектральные свойства искусственных хлорофилл-липидных мембран.

[15] Лапин Н.И. - Применение метода неприводимых тензоров в задачах динамики твердого тела в неоднородных силовых полях.

[16] Усков А.А., Круглов В.В. - Устойчивость больших систем.

[17] George J.Klir - Architecture of systems problem solving.

[18] Г.Фёрстер - Био-логика // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.

[19] Р.Бойелл - Память с семантическими связями // "Проблемы бионики: Биологические прототипы и синтетические системы", изд. "Мир", М., 1965.

[20] Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.

[21] Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53.

[22] Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191–213.

[23] Arimoto S. Information-theoretical considerations on estimation problems // Information and Control. — 1971. — Т. 19, вып. 3. — С. 181–194.

[24] Csiszár I. Axiomatic Characterizations of Information Measures. // Entropy. — 2008. — Вып. 10. — С. 261—273.

[25] Cichocki A., Amari S.-I. Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532–1568.