Курсовой расчет по сопромату Профилактическое обслуживание ПК Электротехника Контрольная по математике Эпоха становления русской живописи

Эффективная организация обмена информации

Информация в непрерывных сообщениях

Для того, чтобы оценить потенциальные возможности передачи сообщений по непрерывным каналам, необходимо вести количественные информационные характеристики непрерывных сообщений и каналов. Обобщим с этой целью понятие энтропии и взаимной информации на ансамбли непрерывных сигналов.
Пусть Х - случайная величина (сечение или отсчет случайного процесса), определенная в некоторой непрерывной области и ее распределение вероятностей характеризуется плотностью w(х).
Разобьем область значений Х на небольшие интервалы протяженностью x. Вероятность Рк того, что хк<x<xк+ x, приблизительно равна w(хк) x т.е.

 

Рк=Р( хк<x<xк+x)  w(хк)x,

(3.32)

причем приближение тем точнее, чем меньше интервал x. Степень положительности такого события.

Если заменить истинные значения Х в пределах интервала x значениями хк в начале интервала, то непрерывный ансамбль заменится дискретным и его энтропия в соответствии с (1.4) определится, как или с учетом (3.32)

 

(3.33)


Будем теперь увеличивать точность определения значения х, уменьшения интервал x. В пределе при x0 получим энтропию непрерывной случайной величины.

 

(3.34)


Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей Х. Это означает, что собственная информация любой непрерывной случайной величины бесконечно велика. Физический смысл такого результата становиться понятным, если учесть, что в конечном диапазоне непрерывная величина может принимать бесконечное множество значений, поэтому вероятность того, что ее реализация будет точно равна какому-то наперед заданному конкретному значению является бесконечно малой величиной 0. В результате энтропия, определенная в соответствии с (1.4), характеризующая среднюю степень неожиданности появления возможных реализаций для любой непрерывной случайной величины не зависит от ее закона распределения и всегда равна бесконечности. Поэтому для описания информационных свойств непрерывных величин необходимо ввести другие характеристики. Это можно сделать, если обратить внимание на то, что первое слагаемое выражении (3.34) является конечным и однозначно определяется плотностью распределения вероятности w(x). Его называют дифференциальной энтропией и обозначают h(x):

 

(3.35)