Формула Хартли

Формула Хартли или хартлиевское количество информации или мера Хартли — логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.

${\displaystyle I=K\log _{2}N}$

Где N — количество символов в используемом алфавите (мощность алфавита), K — длина сообщения (количество символов в сообщении), I — количество информации в сообщении в битах.

Формула была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:

${\displaystyle i=\log _{2}N}$

Соответственно, мощность алфавита равна:

${\displaystyle N=2^{i}}$

Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:

${\displaystyle \log _{2}1=0}$

Пусть, имеется алфавит А, из N букв которого составляется сообщение:

${\displaystyle |A|=N.}$

Количество возможных вариантов разных сообщений:

${\displaystyle M=N^{K},}$

где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.

Рассмотрим следующий пример. Цепь ДНК состоит из 4 видов азотистых оснований: Аденин (A), Гуанин (G), Тимин (T), Цитозин (C). Следовательно, мощность «алфавита» ДНК N равна 4. Значит, каждое азотистое основание несет ${\displaystyle i=\log _{2}4=2}$ бита информации.

Пример: Пусть алфавит состоит из 16 символов «1», «2», «3», «4», «5», «6», «7», «8», «9», «0», «+», «-», «*», «/», «^», «#», а длина сообщения составляет 10 символов (например, команда «*123*1*3^#») — таким образом, мощность алфавита N = 16, а длина сообщения K = 10. При выбранных нами алфавите и длине сообщения можно составить ${\displaystyle M=N^{K}=16^{10}=1099511627776}$ сообщений. По формуле Хартли можно определить, что количество информации в каждом символе одного из этих сообщений равно ${\displaystyle i=\log _{2}N=\log _{2}16=4}$ бита, а количество информации во всем сообщении, соответственно, равно ${\displaystyle I=K\log _{2}N=10\log _{2}16=10\cdot 4=40}$ бит.

При равновероятности символов ${\displaystyle p={\frac {1}{m}},m={\frac {1}{p}}}$ формула Хартли переходит в собственную информацию.