Взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)

Свойства взаимной информации

Взаимная информация является симметричной функцией случайных величин:

I(X;Y)=I(Y;X)

Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

0\leq I(X;Y)\leq \min[H(X),H(Y)]

В частности, для независимых случайных величин взаимная информация равна нулю:

I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0

В случае, когда одна случайная величина (например, $X$ ) является детерминированной функцией другой случайной величины ( $Y$ ), взаимная информация равна энтропии:

I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)

Условная и относительная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)

Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)

Свойства

Являются симметричными функциями:

I(X;Y\mid Z)=I(Y;X\mid Z)

I(X;Y\mid Z=z)=I(Y;X\mid Z=z)

Удовлетворяют неравенствам:

0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]

0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]

Взаимная информация трёх случайных величин

Определяют также взаимную информацию трёх случайных величин:

I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)

Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов $(x,y,z)$ , таких, что $x\oplus y\oplus z=0$ . Определим случайные величины $X,Y,Z$ как значения битов $x,y,z$ , соответственно. Тогда

I(X;Y)=H(X)-H(X\mid Y)=1-1=0,

но при этом

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,

а, следовательно, $I(X;Y;Z)=-1$ .

Литература

Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
Верещагин Н.К., Щепин Е.В. Информация, кодирование и предсказание. — М.: ФМОП, МЦНМО, 2012. — 238 с.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.