Энтропия языка

Энтропия языка — статистическая функция текста на определённом языке либо самого языка, определяющая количество информации на единицу текста.

С математической точки зрения энтропия языка определяется как

${\displaystyle r=H\left(M\right)/N}$

где ${\displaystyle M}$ — сообщение, ${\displaystyle H\left(M\right)}$ — его энтропия, ${\displaystyle N}$ — длина сообщения.

Согласно Клоду Шеннону и Томасу Каверу (англ. Thomas Cover), для английского языка эта величина составляет от 1,3 до 2,3 бита на букву.