Количество информации

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть $x$ и $y$ – случайные величины, заданные на соответствующих множествах $X$ и $Y$ . Тогда количество информации $x$ относительно $y$ есть разность априорной и апостериорной энтропий:

I(x,y)=H(x)-H(x|y)

,

где

H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)

— энтропия, а

H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y)

— условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропии

Для энтропии справедливы свойства:

0\leqslant H(x)\leqslant \ln(m)

,

где $m$ количество элементов множества $X$ .

Пр $H(x)=0$ , если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что $1\ln 1=0$ и $0\ln 0=0$ .

Максимум значения энтропии $H(x)=\ln(m)$ достигается, когда все $p(x)=1/m$ , т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

0\leqslant H(x|y)\leqslant H(x)

,

При этом, $H(x|y)=0$ , если отображение $Y$ в $X$ однозначное, т.е. $\forall y\exists x\colon p(x|y)=1$ .

Максимум значения условной энтропии $H(x|y)=H(x)$ достигается, когда $x$ и $y$ - независимые случайные величины.

Свойства количества информации

Для количества информации справедливы свойства:

I(x,y)=I(y,x),

как следствие теоремы Байеса.

I(x,y)\geqslant 0,

I(x,y)=0,

если

x

и

y

– независимые случайные величины.

I(x,x)=H(x).

Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.

Литература

Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.