Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

В частности, для независимых случайных величин взаимная информация равна нулю:

В случае, когда одна случайная величина (например, ) является детерминированной функцией другой случайной величины (), взаимная информация равна энтропии:

Условная и безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьй случайной величины:

Свойства

• Являются симметричными функциями:

• Удовлетворяют неравенствам:

Литература

• Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3