Измерение информации. Энтропия
Информацию можно измерить, т.е. точно определить её количественно. Существует три основных направления:
1. Структурное – при дискретном строении массива информации измерение количества информации происходит путём подсчёта информационных элементов. Теория применяется для оценки информационных возможностей аппаратуры, каналов связи, запоминающих и регистрирующих устройств, не зависимо от области их применения.
2. Статистическое – оперирует понятием энтропии, как меры неопределённости ситуации. Энтропия учитывает вероятность появления, а, следовательно, и информативность сообщения. Теория позволяет оценить информационные возможности устройств.(Напр.: при передаче по каналу связи информации с определёнными характеристиками.)
3. Семантическое – учитывает ценность, полезность информации. Используется при оценке эффективности логических опытов, применение ограничено, т.к. теория недостаточно разработана.
В общем, сущность процесса измерения информации заключает в себе:
1) Мера информации д.б. общей, независимо от природы объектов.
2) Д.б. общие законы обработки, передачи и хранения информации.
3) Д.б. общие зависимости, определяющие влияние тех или иных факторов на преобразование, скорость передачи, потери и возможность хранения информации.
Энтропия – мера неопределённости ситуации.
При оценке информации важной закономерностью является зависимость её количества от неопределённости ситуации, сообщение о которой рассматривается. Т.е. сообщение, получаемое о некотором событии, несёт в себе количество информации равное неопределённости, существовавшей до получения сообщения о данном событии. Также справедлив принцип аддитивности, т.е. зависимость количества информации от длины сообщения.
Воплощением концепции неопределённости является алфавит сообщения – количество состояний элемента, из которых производится выбор при передаче сообщения. Увеличение алфавита ведёт к увеличению неопределённости ситуации и, следовательно, к увеличению количества информации в каждом сообщении. Количество информации, содержащееся в одном элементе сообщения, равно неопределённости ситуации, которая зависит от размерности алфавита.
,
где H – энтропия, m – размерность алфавита сообщения.
Если об одной ситуации передаётся n равновероятных сообщений, то количество информации I равно:
Энтропия дискретного сигнала
Большой класс дискретных сообщений может представлять совокупность из n элементов, при этом каждый элемент может принимать m различных состояний. Такие сигналы называют дискретными по состоянию элементов. Всего число возможных сообщений, которое м.б. сформировано в данной ситуации окажется равной: 
Рассмотрим произвольное сообщение, которое состоит из n-элементов и может принимать m состояний 
с вероятностью 
.
Количество информации содержащееся в 1-м элементе указанного сообщения равно: 
.
Физический смысл: она показывает информативность k-го состояния при размерности алфавита = m.
Свойства энтропии:
Энтропия – величина неотрицательная.
Энтропия равна 0, когда вероятность одного события равна 1. Это значит, что сообщение известно заранее, факт его получения не приносит никакой инфы.
Если число состояний сообщений = 2, то энтропия max и составляет 1 при условии, что вероятности p1 = p2.
Неопределенность max, когда события равновероятны.
Энтропия непрерывных сигналов.
Сообщения, элементы которых могут принимать любые состояния из некоторого интервала называют непрерывными по состоянию элемента.
Состояние каждого из n элементов непрерывного сообщения можно охарактеризовать функцией распределения плотности вероятности, которая обозначается f(x).
(*) 
Представим непрерывный сигнал в виде дискретного с шагом квантования ∆x. В этом случае можно утверждать, что сигнал будет иметь m фиксированных уровней. Вероятность попадания элемента сообщения в произвольный к-ый уровень 
.
Используя ранее полученные выражения для расчета энтропии дискретного сигнала: 
Устремим интервал квантов-я
,соотв-но 
Данное выражение определяет энтропию непрерывного сигнала.
Первое слагаемое в данной формуле есть величина, которая зависит от функции распределения плотности вероятности и она определяет информативность непрерывного сигнала.
Второе слагаемое logΔx определяет потери информации при квантовании непрерывной физической величины. Интеграл квантования определяется разрешающей способностью применяемого средства измерения.
Энтропия статистически зависимых сигналов.
Даны 2 сигнала х и у – дискретные. х принимает уровни х1, х2, …, хm с соотв вер. р(х1), р(х2), … , р(хm) и y – у1, у2, … ,уn с вер. р(у1), р(у2), … , р(уn).
Степень статистической связи сигналов х и у:
Энтропия сигналов Н(х,у):
Для дискретных сигналов энтропия:
Условная энтропия:
х – информационный, у – помеха:
Энтропия сигналов Н(х,у):
х, у – непрерывные:
Энтропия сигналов Н(х,у):
Энтропия сигнала у при условии, что х пришел: