Семантическая информация

Возникновение семиотики в 19 веке создало предпосылки для появления понятия семантической информации[3]. Окончательно оно сложилось после появления Математической теории связи, созданной Клодом Шенноном в 1948 году[4]. Теория Шеннона, рассматриваемая сейчас как теория синтаксической информации, полностью игнорирует смысл сообщения. Именно тогда была осознана необходимость создания теории семантической информации.

В 1952 году Йегошуа Бар-Хиллелом и Рудольфом Карнапом была предложена теория семантической информации, основанная на понятии логических вероятностей[5]. Семантическая информация трактуется авторами как синоним смыслового содержания, которым обладают как истинные, так и ложные выражения. Рассматриваются две основные меры количества семантической информации в предложении ${\displaystyle s}$. Первая ${\displaystyle {\mbox{cont}}(s)}$ определяется так:

${\displaystyle {\mbox{cont}}(s)=1-q(s)}$,

где ${\displaystyle q(s)}$ — абсолютная логическая вероятность предложения ${\displaystyle s}$. Вторая мера ${\displaystyle {\mbox{inf}}(s)}$ является нелинейной функцией первой:

${\displaystyle {\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)}}=\log _{2}{\frac {1}{q(s)}}}$.

Она интересна тем, что для двух логически независимых предложений ${\displaystyle s_{1}}$ и ${\displaystyle s_{2}}$ имеем неравенство: ${\displaystyle {\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})}$, где «${\displaystyle \land }$» — знак логической связки «И», тогда как:

${\displaystyle {\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})}$, (*)

что больше подходит для меры количества информации.

Для определения величин логических вероятностей предложений Бар-Хиллел и Карнап конструируют формальный язык и составляют с его помощью описания всевозможных состояний универсума (так называемое «множество возможных миров»). Приведём пример простого языка, в котором имеется одна константа ${\displaystyle a}$ (под ней мы будем подразумевать девушку Алису) и два предиката: ${\displaystyle B}$ и ${\displaystyle W}$, обозначающие свойства «красива» и «умна». Тогда выражение ${\displaystyle B(a)}$ означает предложение «Алиса красива», а выражение ${\displaystyle W(a)}$ — «Алиса умна». Теперь используем логическую связку «НЕ», которую обозначим символом: «${\displaystyle \neg }$». Тогда выражение ${\displaystyle \neg B(a)}$ будет означать предложение «Алиса не красива», а выражение ${\displaystyle \neg W(a)}$ — «Алиса не умна». Теперь мы можем составить все возможные описания состояний универсума для нашего скромного языка. Всего их будет четыре.

${\displaystyle B(a)\land W(a)}$

${\displaystyle B(a)\land \neg W(a)}$

${\displaystyle \neg B(a)\land W(a)}$

${\displaystyle \neg B(a)\land \neg W(a)}$

Как можно видеть, каждый мир универсума состоит из логически независимых атомарных предложений (и их отрицаний), называемых базисными. Обычно в формальных языках используется множество констант и множество предикатов, причём, не обязательно одноместных. Так что количество миров может быть очень большим.

Если не заданы предварительные условия, то логические вероятности всех миров одинаковы. В этом случае величина абсолютной логической вероятности предложения ${\displaystyle s}$ равна отношению числа миров, в которых ${\displaystyle s}$ истинно, к общему числу миров в универсуме. В теории Бар-Хиллела и Карнапа величины логических вероятностей аналитических выражений одинаковы и равны единице (поскольку они истинны во всех мирах), а логическая вероятность противоречия равна нулю. Величины логических вероятностей синтетических выражений заключены в интервале от нуля до единицы.

Чем больше миров в универсуме, тем выше неопределённость (относительно того, какой мир является истинным). После получения сообщения ${\displaystyle s}$ неопределённость уменьшается, поскольку те миры, в которых ${\displaystyle s}$ ложно, можно исключить из рассмотрения. Семантическая информация в предложении ${\displaystyle s}$ понимается как множество исключённых миров (оно обозначается символом ${\displaystyle {\mbox{Cont}}(s)}$). По поводу этого определения авторы пишут, что оно согласуется с древним философским принципом «omnis determinatio est negatio» («всякое определение является исключением»). Теперь для меры ${\displaystyle {\mbox{cont}}(s)}$ можем записать:

${\displaystyle {\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}}$,

где ${\displaystyle |{\mbox{Cont}}(s)|}$ — мощность множества ${\displaystyle {\mbox{Cont}}(s)}$, ${\displaystyle |{\mbox{U}}|}$ — мощность множества всех миров универсума ${\displaystyle {\mbox{U}}}$.

Количество семантической информации в сообщении ${\displaystyle s}$ относительно знаний получателя ${\displaystyle e}$ определяется следующим образом:

${\displaystyle {\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)}}}$,

где ${\displaystyle q(s/e)}$ — относительная (условная) логическая вероятность истинности высказывания ${\displaystyle s}$ при условии истинности выражения ${\displaystyle e}$.

Замечательно, что чисто внешне формулы теории Бар-Хиллела и Карнапа похожи на формулы теории Шеннона. И там, и здесь мы имеем логарифмы и вероятности. Только у Шеннона все вероятности — статистические (то есть эмпирические), а не логические.

Если логическая вероятность выражения ${\displaystyle s\land e}$ меньше логической вероятности выражения ${\displaystyle e}$, то сообщение ${\displaystyle s}$ несёт новую информацию получателю, обогащая, таким образом, его знания. Если ${\displaystyle e}$ имплицирует ${\displaystyle s}$, то ${\displaystyle s\land e}$ эквивалентно ${\displaystyle e}$ и сообщение ${\displaystyle s}$ не несёт информации адресату (поскольку в нём для него нет ничего нового). Если выражение ${\displaystyle s\land e}$ является противоречием, то ${\displaystyle q(s\land e)=0}$. Количество семантической информации в противоречии по Бар-Хиллелу и Карнапу равно бесконечности. Этот парадоксальный результат впоследствии послужил поводом для критики со стороны Лучано Флориди.

Хотя теория Бар-Хиллела и Карнапа до сих пор пользуется вниманием исследователей, она вызвала поток новых идей. Александр Харкевич предложил измерять ценность информации по изменению вероятности достижения определённой цели, возникающему под воздействием данного сообщения[6]. Юлий Шрейдер полагал, что количество семантической информации в послании любой природы можно оценивать как степень изменения системы знаний адресата в результате восприятия сообщения[7]. Идея о семантическом аспекте связи информации и энтропии была впервые предложена в 1966 советским философом и логиком Евгением Казимировичем Войшвилло в работе «Попытка семантической интерпретации статистических понятий информации и энтропии».

В своей работе 2004 года Лучано Флориди с первой строки обрушивается на теорию Бар Хиллела и Карнапа: «„Треугольник имеет четыре стороны“: согласно классической теории семантической информации в этом противоречии заключено больше смыслового содержания, чем в условно истинном утверждении „Земля имеет только одну Луну“»[8]. Флориди назвал это «парадоксом Бар-Хиллела-Карнапа». Решение этого парадокса он видит в том, что количество семантической информации в сообщениях должно зависеть не только от заключённого в них смыслового содержания, но и от значения истинности этих сообщений. Флориди ввёл понятие условно ложного предложения (contingently false sentence), представляющего собой конъюнкцию двух его составных частей, одна из которых истинная, а вторая — ложная. Примером такого предложения может служить высказывание: «Луна вращается вокруг Земли и внутри она полая». Такое предложение одновременно несёт информацию (тем, кто не знает, что Луна вращается вокруг Земли) и дезинформацию (в обычной жизни часто приходится встречаться с подобным — дезинформацию легче продвигать, если она дополняется некоторой долей информации).

С точки зрения классической логики условно ложное предложение является просто ложным и несёт только дезинформацию. Однако приведённый пример показывает, что на самом деле это не так. Первоначальная теория Бар-Хиллела и Карнапа не в состоянии решить эту антиномию. Поэтому Флориди отверг её (как «слабую» теорию) и создал свою собственную — «сильную». Он отказался от использования логических вероятностей и заявил, что теория семантической информации не должна быть похожей на теорию Шеннона[9]. В его собственной интерпретации количество семантической информации в сообщении определяется степенью соответствия этого сообщения ситуации (то есть тому, что происходит в данном месте и в данное время). Несоответствие возникает либо в результате бессодержательности сообщения, либо в результате его неточности. В своей теории Флориди непосредственно не использует понятие дезинформации, вместо этого он вводит понятие степени неточности условно ложных предложений. Степень неточности в условно ложном предложении ${\displaystyle s}$ равна:

${\displaystyle -v(s)=-{\frac {f(s)}{l(s)}}}$,

где ${\displaystyle f(s)}$ — число ложных атомарных выражений в ${\displaystyle s}$; ${\displaystyle l(s)}$ — общее число атомарных предложений в ${\displaystyle s}$. Для определения истинности атомарных предложений требуется принять принцип априорного всезнания. Степень бессодержательности истинного предложения ${\displaystyle s}$ рассчитывается по формуле:

${\displaystyle +v(s)={\frac {m(s)}{n}}}$,

где ${\displaystyle m(s)}$ — число миров универсума, в которых ${\displaystyle s}$ истинно; ${\displaystyle n}$ — общее число миров универсума (заметим, что, согласно этому определению, величина ${\displaystyle +v(s)}$ в точности равна величине логической вероятности ${\displaystyle q(s)}$). Далее Флориди вводит понятие функции степени информативности:

${\displaystyle i(s)=1-v^{2}(s)}$.

Количество семантической информации ${\displaystyle i^{*}(s)}$ в сообщении ${\displaystyle s}$ равно определённому интегралу от функции степени информативности ${\displaystyle i(s)}$:

${\displaystyle i^{*}(s)={\frac {3}{2}}\int \limits _{v(s)}^{1}(1-x^{2})\mathrm {d} x=1-{\frac {3v(s)}{2}}+{\frac {v^{3}(s)}{2}}}$.

Несмотря на все отличия между классической теорией и теорией Флориди, в них есть нечто общее. Если ${\displaystyle s}$ является истинным предложением, то величина ${\displaystyle +v(s)}$ равна величине логической вероятности ${\displaystyle q(s)}$. Мера ${\displaystyle i^{*}(s)}$ подобна мере ${\displaystyle {\mbox{cont}}(s)}$, но в отличие от последней, является нелинейной функцией ${\displaystyle v(s)}$. К сожалению, в теории Флориди нет ничего похожего на меру ${\displaystyle {\mbox{inf}}(s)}$, обладающую замечательным свойством (*) для логически независимых предложений.

Поднятая Флориди проблема может быть решена в рамках теории, основанной на логических вероятностях. Необходимо отметить, что к началу текущего века у некоторых учёных сформировалось скептическое отношение к индуктивной логике Карнапа[10]. Однако современные математики смогли изменить ситуацию, модифицировав эту теорию[11][12][13]. Благодаря этому интерес к логическим вероятностям вновь возродился.

В работе[14] предлагается модифицировать классическую теорию семантической информации, включив в неё понятие дезинформации, которую несёт ложное сообщение. В новой теории, как и в теории Флориди, рассматривается множество различных ситуаций (точек пространства-времени). Одно и то же предложение языка может быть истинным в одной ситуации и ложным в другой. Поскольку получатель сообщений не может быть застрахован от ошибок при оценке их истинности, количество семантической информации оценивается отдельно с точки зрения получателя и с точки зрения всезнающего эксперта.

В каждой конкретной ситуации истинное сообщение несёт только информацию, а абсолютно ложное — одну только дезинформацию. Условно ложное предложение ${\displaystyle s}$ рассматривается как конъюнкция: ${\displaystyle s_{T}\land s_{F}}$, где ${\displaystyle s_{T}}$ — истинная часть сообщения, ${\displaystyle s_{F}}$ — ложная часть сообщения. При этом требуется, чтобы ${\displaystyle s_{T}}$ и ${\displaystyle s_{F}}$ были логически независимыми (это нужно, в частности, для того, чтобы противоречие не оказалось условно ложным предложением). Тогда ненормализованные меры количества информации ${\displaystyle {\mbox{in}}_{E}(s)}$ и количества дезинформации ${\displaystyle {\mbox{mi}}_{E}(s)}$ в условно ложном предложении ${\displaystyle s}$ с точки зрения эксперта определяются следующим образом:

${\displaystyle {\mbox{in}}_{E}(s)={\mbox{cont}}(s_{T})}$,

${\displaystyle {\mbox{mi}}_{E}(s)={\mbox{cont}}(s_{F})}$.

Индекс «${\displaystyle E}$», которым помечены символы «${\displaystyle {\mbox{in}}}$» и «${\displaystyle {\mbox{mi}}}$» в формулах, указывает на то, что рассматриваются количества информации и дезинформации с точки зрения эксперта. Нормализованные меры количества семантической информации ${\displaystyle {\mbox{inf}}_{E}(s)}$ и дезинформации ${\displaystyle {\mbox{mis}}_{E}(s)}$ в условно ложном предложении ${\displaystyle s}$ с точки зрения эксперта:

${\displaystyle {\mbox{inf}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{T})}}=\log _{2}{\frac {1}{q(s_{T})}}}$,

${\displaystyle {\mbox{mis}}_{E}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s_{F})}}=\log _{2}{\frac {1}{q(s_{F})}}}$.

Противоречие с точки зрения эксперта несёт нулевое количество информации и бесконечное количество дезинформации. Таким образом решается парадокс Бар-Хиллела-Карнапа. Бесконечное количество дезинформации объясняется тем, что, если бы противоречие вдруг кому-то показалось истиной, то мир изменился бы для него до неузнаваемости. Двумя словами это не описать. Предположим, что получатель информации имеет условно ложные знания ${\displaystyle e}$, эквивалентные конъюнкции: ${\displaystyle e_{T}\land e_{F}}$, где ${\displaystyle e_{T}}$ — истинная часть его знаний, ${\displaystyle e_{F}}$ — заблуждения. Тогда с точки зрения эксперта, получив условно ложное сообщение ${\displaystyle s}$, адресат реально имеет семантическую информацию и дезинформацию в следующих количествах:

${\displaystyle {\mbox{inf}}_{E}(s/e)=\log _{2}{\frac {q(e_{T})}{q(s_{T}\land e_{T})}}=\log _{2}{\frac {1}{q(s_{T}/e_{T})}}}$,

${\displaystyle {\mbox{mis}}_{E}(s/e)=\log _{2}{\frac {q(e_{F})}{q(s_{F}\land e_{F})}}=\log _{2}{\frac {1}{q(s_{F}/e_{F})}}}$.

Если получатель воспринимает ${\displaystyle s}$ как истинное предложение и конъюнкция ${\displaystyle s\land e}$ не является противоречием, то с его точки зрения он получил следующее количество информации:

${\displaystyle {\mbox{inf}}_{R}(s/e)=\log _{2}{\frac {1}{q(s/e)}}={\mbox{inf}}_{E}(s/e)+{\mbox{mis}}_{E}(s/e)}$.

Индекс «${\displaystyle R}$» обозначает оценку адресата. Очевидно, что точное количество информации (и дезинформации) в пришедшем сообщении может определить только эксперт, а получатель способен лишь на более-менее точные оценки.

Формальное описание семантической информации, применимое для всех видов физических систем (живых и неживых) дано математиком Дэвидом Волпертом (David Wolpert) в его работе "Semantic information, agency, and nonequilibrium statistical physics": синтаксическая информация, которой обладает физическая система об окружающей среде, и которая казуально необходима системе для поддержания собственного существования в состоянии низкой энтропии.

Казуальная необходимость определяется в терминах гипотетических вмешательств (counter-factual interventions), которые рандомизируют корреляции между системой и внешней средой. Критерием степени автономности физической системы является объём имеющейся семантической информации.