Энтропийная скорость

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость ${\displaystyle H(X)}$ является пределом совместной энтропии ${\displaystyle n}$ членов процесса ${\displaystyle X_{k}}$, поделённым на ${\displaystyle n}$, при стремлении ${\displaystyle n}$ к бесконечности:

${\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}$

если предел существует. Альтернативно, связанной величиной является:

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Для сильно стационарных стохастических процессов ${\displaystyle H(X)=H'(X)}$. Энтропийная скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в обучении машин[1].