Cтраница 2
Требуется найти энтропии источников А1 и А2, выдающих текст из букв русского и английского алфавитов соответственно, при отсутствии статистических связей между буквами, а также вычислить избыточность источников, выдающих тексты, обусловленную неравновероятностыо выбора букв. [16]
Когда избыточность источника сообщений высока, а помехи весьма малы, целесообразно введение кодера источника. Когда избыточность источника мала, а помехи велики, целесообразно введение кодера канала. [17]
Итак, выбор кодирующих и декодирующих устройств зависит от статистических свойств источника сообщений, а также уровня и характера помех в канале связи. Если избыточность источника сообщений мала и помехи в канале связи практически отсутствуют, то введение как кодера источника, так и кодера канала нецелесообразно. [18]
Целесообразность устранения избыточности сообщения методами эффективного кодирования с последующим перекодированием помехоустойчивым кодом обусловлена тем, что избыточность источника сообщения в большинстве случаев не согласована со статистическими закономерностями помехи в канале связи и поэтому не может быть полностью использована для повышения достоверности принимаемого сообщения, тогда как обычно можно подобрать подходящий помехоустойчивый код. Кроме того, избыточность источника сообщений часто является следствием весьма сложных вероятностных зависимостей и позволяет обнаруживать и исправлять ошибки только после декодирования всего сообщения, пользуясь сложнейшими алгоритмами и интуицией. [19]
Частными случаями этой формулы являются асимптотические оценки избыточности источников Бернулли из § 3.2 и полученные В. К. Трофимовым оценки избыточности марковских источников. [20]
Отсюда следует, что для передачи заданного количества информации 10 ( х, у) по каналу с шумом необходимо некоторое избыточное количество информации, равное, по крайней мере, неоднозначности Нх ( у), обусловленной шумом. Наоборот, в этих условиях целесообразно допустить некоторую избыточность источника информации и распорядиться ею так, чтобы повысить помехоустойчивость связи. [21]
Укрупнение алфавита не изменяет избыточности сообщений. Однако избыточность, обусловленная корреляционными овязя ми символов первичного алфавита, преобразуется в избыточность источника блоков, обусловленную неравновероятным появлением независимых блоков. Это объясняется тем, что неравномерность распределения вероятностей появления блоков больше, чем неравномерность распределения вероятностей появления символов первичного алфавита. [22]
Производительность источника блоков Н к ( 1) Яи ( /) / ( 2 / Т1 то), где Нц ( 1) - среднее количество - информации в одном блоке. Укрупнение алфавита яе изменяет избыточности сообщений. Однако избыточность, обусловленная корреляционными связями символов первичного алфавита, преобразуется в избыточность источника блоков, обусловленную неравновероятным появлением независимых блоков. Это объясняется тем, что неравномерность распределения вероятностей появления блоков больше, чем неравномерность распределения вероятностей появления символов первичного алфавита. [23]
Устройства квантования, описанные в разделе 13.2, называются мгновенными устройствами квантования или устройствами квантования без памяти, так как цифровые преобразования основаны на единичной ( текущей) входной выборке. В разделе 13.1 были определены свойства источников, которые допускают сокращение интенсивности источника. Мгновенные квантующие устройства кодируют источник, принимая во внимание плотность вероятности, сопоставленную с каждой выборкой. Методы квантования, которые принимают во внимание корреляцию между выборками, являются квантующими устройствами с памятью. Эти квантующие устройства уменьшают избыточность источника сначала посредством превращения коррелированной входной последовательности в связанную последовательность с уменьшенной корреляцией, уменьшенной дисперсией и уменьшенной полосой частот. Затем эта новая последовательность квантуется с использованием меньшего количества бит. [24]
Основными информационными характеристиками источников дискретных сообщений являются энтропия, условная энтропия, производительность и избыточность. Энтропия - это среднее количество информации, приходящееся на один символ сообщения. Если символы сообщения коррелированы, то энтропия уменьшается. Чтобы это учесть, вводят понятие условной энтропии. Она характеризует среднее количество информации, которое несет последующий символ сообщения при условии, что уже известен ряд предыдущих. Корреляционные связи и неравномерность распределения вероятностей появления символов характеризуют избыточность источника - отношение количества информации, теряемой из-за воздействия этих факторов, к максимальному количеству информации, которое несет один символ. [25]