Курсовой расчет по сопромату Профилактическое обслуживание ПК Электротехника Контрольная по математике Эпоха становления русской живописи

Эффективная организация обмена информации

Свойства энтропии

Энтропия любого дискретного ансамбля не отрицательна (1.5). Равенство нулю возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью Р=1 в этом случае вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника определенных в соответствии с (1.2) не отрицательно.

Пусть N - объем алфавита дискретного источника, тогда (1.6). Причем равенство имеет место, когда все сообщения источника равновероятные. Для доказательства (1.6) рассмотрим разность, если все сообщения источника uk k=1:N выдаютсяим с вероятностями P(uk), тогда можно записать

(1.7).

Для дальнейшего доказательства воспользуемся неравенством

 

 

 

Нетрадиционные и возобновляемые источники энергии - под нетрадиционными и возобновляемыми источниками энергии понимаются источники электрической и тепловой энергии, использующие энергетические ресурсы рек, водохранилищ и промышленных водостоков, энергию ветра, солнца, редуцируемого природного газа, биомассы (включая древесные отходы), сточных вод и твердых бытовых отходов.

,

что и требовалось доказать.
При этом в соответствии с (1.7) в том случае, когда (из этого равенства следует, что при этом ). Итак, максимально возможное значение энтропии дискретного источника с объемом алфавита N равно logN и достигается в том случае, когда все его сообщения равновероятны.