Кодовый алфавит

Cтраница 1

Кодовый алфавит - последовательность конечного числа цифр в любой принятой системе счисления, с помощью которого преобразуются данные, записанные в информационном алфавите в соответствующие им числа. [1]

Кодовый алфавит используется для фиксирования информации на носители, передачи ее по каналам связи, ввода л обработки с помощью электронно-вычислительной машины. Выходная производная информация может фиксироваться на соответствующих носителях в обоих алфавитах. [2]

Легко провести модификацию кода на случай кодового алфавита из г символов. [3]

Долговременно сохраняемая информация должна фиксироваться в кодовом алфавите. [4]

Кодирование по принципу совместимости требует большой подготовительной работы по обработке кодового алфавита в части упрощения конфигурации знаков и приближения его к естественному коду, применяемому человеком тогда, когда он имеет дело с реальными объектами. Должны быть приняты меры к укрупнению единиц кода ( - программирование) и проведено возможное сокращение избыточности за счет отказа от лишних деталей символов. Код должен быть максимально осмысленным и читаться подобно тому, как читается фраза печатного текста. Совместимость требует твердого усвоения алфавита кода операторами. Помимо кода, оператор должен освоить наиболее экономный и эффективный маршрут осмотра слежения. [5]

Она должна фиксироваться на первичных носителях информации ( перфокартах) в цифровом кодовом алфавите с целью минимизации объема входных данных. [6]

В предыдущей главе была рассмотрена задача представления выхода источника информации с помощью букв кодового алфавита. На этом пути были найдены несколько наглядных толкований собственной информации и энтропии, а также был получен ряд простых и ясных результатов, касающихся кодирования для источника. Было установлено, что трудности применения теории обусловлены не ее сложностью, а трудностью представления реальных информационных источников разумными вероятностными моделями. В этой и последующих главах будет рассмотрена передача информации по каналам с шумами. В ходе этого рассмотрения будет получено более ясное понимание природы взаимной информации и найдены некоторые глубокие и имеющие большое значение результаты, касающиеся кодирования для канала с шумами. Будет показано, что эти результаты не так просты, как результаты, относящиеся к кодированию для источников, но они имеют очень большое практическое значение. Это значение проистекает из того, что для многих реальных каналов связи могут быть построены достаточно простые и полезные вероятностные модели и что применение теории к этим моделям приводит к нетривиальному проникновению в задачи построения систем связи. [7]

В этой главе будет рассмотрено кодирование выхода дискретного источника информации в последовательность букв заданного кодового алфавита. Мы хотим выбрать правила кодирования таким образом, чтобы, по крайней мере с высокой вероятностью, последовательность на выходе источника могла быть восстановлена по закодированной последовательности, а также таким образом, чтобы число букв кода, требуемых на одну букву источника, было по возможности меньшим. Будет показано, что минимальное число двоичных букв кода на одну букву источника, требуемых для представления выхода источника, задается энтропией источника. [8]

Покажите, что в классе источников с одним и тем же конечным алфавитом X и кодовым алфавитом Y с заданными стоимостями символов с ( у) 0 существуют префиксные коды fb: Xй - Y и последовательность eft - - 0, такие, что с ( fh) sg ( Я ( Х) /) - f - eft для каждого источника из заданного класса тогда и только тогда, когда существуют распределения вероятностей Q на X, такие, что ( Ilk) sup D ( P ft II Q / Л - - О при k - - оо. Здесь верхняя грань берется по всем источникам этого класса. [9]

Дерево декодирования.| Дерево декодирования. [10]

Предположим, что требуется построить код для источника с алфавитом S, состоящим из пяти символов Si, а кодовый алфавит должен быть двоичным. [11]

Имеется некоторая трудность при распространении этой процедуры на недвоичные коды. Лемма 1 остается справедливой для недвоичного кодового алфавита. А лемма 2 не остается справедливой и возникает вопрос, имеются ли еще кодовые слова помимо х - ь которые должны отличаться от хк в последнем символе. [12]

Рассмотрим кодирование последовательностей из L букв источника в последовательности из N кодовых букв, принадлежащих кодовому алфавиту объема D. Каждой кодовой последовательности может быть сопоставлена только одна последовательность источника. Пусть Р е - вероятность появления последовательности источника, которой не сопоставлена никакая кодовая последовательность. [13]

Следует уточнить, когда имеются в виду символы, которые необходимо передать, а когда - символы, с помощью которых происходит передача сигналов в системе. Требующие передачи символы ( например, буквы английского алфавита) называются символами источника, а символы, используемые при передаче ( например, 0 и 1 в двоичной системе), называются символами кодового алфавита. [14]

Теперь покажем, как в случае суммы двух каналов из заданных двух кодов для двух каналов сконструировать один код для суммарного канала с эквивалентным числом букв, равным Л1 - 6 В1 - 6, где б - произвольно малая величина, а Л и В - эквивалентные числа букв для того и другого кодов. Пусть k равно ап Ь, где а и b - целые числа и 6пь Составим всевозможные последовательности слов из данного кода для первого канала и заполним все оставшиеся места для b букв произвольно, скажем, первой буквой кодового алфавита. Получим по крайней мере Лй-бп различных слов длины k, из которых ни одно слово не является смежным ни с каким другим. Тем же самым способом составим коды для второго канала и получим Bh - 6n слов длины k в этом коде. [15]

Страницы: 1 2