Епсилон -энтропия (ε-энтропия )

Непрерывные сигналы воспринимаются с ограниченной точностью. Пусть Х - точный сигнал, его плотность вероятности w(x). Сигнал, воспроизводимый любой аппаратурой, отличается от исходного сигнала. То есть, на выходе аппаратуры имеем другой сигнал Y, отличный от X.  Критерием близости двух сигналов X и Y является функционал

,                    (2.17)

где h(x,y) - некоторая весовая функция, имеющая природу расстояния.

Функционал F по своему виду представляет собой математическое ожидание функции  h(x,y) случайных аргументов x и y. Если подобрать подходящим образом эту функцию, то в качестве критерия близости двух сигналов можно использовать условие , где  – некоторая наперед заданная величина. Обычно используют среднеквадратический критерий    

Сигнал Y содержит информацию относительно X в соответствии с выражением

Энтропия H(X) определяется функцией w(x), которая является заданной. Варьируя функцию w(x/y) можно в принципе добиться минимального значения величины  при заданных требованиях к точности .

_,    при ограничении

Таким образом, ε-энтропия величины X называется минимальное количество информации в одной случайной величины Y относительно другой X, при котором удовлетворяется заданное требование к верности воспроизведения величины X.

Пример. Найти ε-энтропию источника информации, ансамбль состояний которого описывается нормальным распределением.

Решение.  ε-энтропия определяется по формуле        

_,

но условная энтропия H(X/Y) полностью определяется помехой, поэтому

Энтропия сигнала равна , так как сигнал передается по нормальному закону. Помеху определим из наихудших условий, когда она имеет максимальное воздействие. Помеха максимальна, если распределена по нормальному закону 

,

где - мощность сигнала, - мощность помехи.