Лексический анализ

Cтраница 2

На этапе лексического анализа предложения интерпретатор распознает лексемы и ключевые слова операторов REXX, удаляет комментарии несущественные пробелы. Длина предложения после этих преобразований не должна превышать 500 символов. [16]

Этап 1: лексический анализ, выделение элементов текста: знаков препинания, чисел, констант ( это различные обозначения, которые не являются словами и не требуют морфологического анализа) и слов. [17]

В некоторых компиляторах лексический анализ составляет отдельный этап и выполняется специальными блоками за один-два просмотра входной программы. В других компиляторах отдельные задачи лексического анализа решаются на разных этапах трансляции. Однако перекодирование входной программы и приведение ее к стандартному входному языку всегда выполняет первый блок компилятора. [18]

Отличительная особенность этапа лексического анализа состоит в том, что все преобразования на этом этапе производятся локально: четко определенные символы или группы символов заменяются на фиксированные коды или группы кодов, в какой бы конструкции программы они ни встречались. [19]

Первой задачей алгоритма лексического анализа является разбор входной строки символов на лексические единицы. [20]

По этой команде лексическому анализу в соответствии с указанным шаблоном подвергается цепочка символов, считываемая с буфера ПУ, а если он пуст, цепочка символов, считываемая непосредственно с экрана ПУ. [21]

Первый просмотр соответствует фазе лексического анализа. [22]

Грамматический прием состоит в грамматическом и лексическом анализе текста статьи нормативно-правового акта. Этот прием позволяет также уяснить значение терминов, используемых законодателем. Анализ предложений и связи частей текста дает возможность раскрыть структуру нормы права, выявить ее буквальное содержание. [23]

Первым проходом процесса компиляции является лексический анализ, который выполняется сканером. Программы, написанные на языке высокого уровня, могут быть представлены несколькими - способами. Некоторые языки допускают также известную избыточность, например пробелы и пустые строки для удобочитаемости или комментарии для целей документирования. Допускаются также карты продолжения. Последовательность карт может быть проверена по содержимому специального поля, задающего порядок следования. Сканер сводит различные входные формы к одной и той же стандартной форме, не содержащей избыточности. Остаются только те символы и литеры, которые необходимы для дальнейшей компиляции. Это позволяет организовать эффективную работу остальных частей компилятора над выработанными сканером данными в хорошо определенном формате. [24]

Существует много способов реализации фазы лексического анализа. [25]

Таблица идентификаторов - создается фазой лексического анализа и заполняется информацией об атрибутах фазой интерпретации. Распределение памяти выделяет память всем идентификаторам, обозначающим данные. Следующие две фазы используют эту информацию для генерации ссылок к этим идентификаторам. [26]

Подпрограмма SUBSTR, реализующая выделение отдельных полей в операторе ПВЯ. [27]

Очевидно, что основной операцией лексического анализа является обработка символьных строк. При использовании декларации LOGICAL l можно получить прямой доступ, к каждому байту памяти, а следовательно, организовать обработку строк символов, включив в программное обеспечение управляющей программы соответствующие подпрограммы. Для реализации лексического анализа при обработке управляющих операторов жесткого фиксированного формата достаточно использовать подпрограмму SUBSTR, позволяющую выделять отдельные поля из строки символов длиной 80 байт, соответствующей одной перфокарте данных. Подпрограмма SUBSTR ( рис. 24) составлена на языке ФОРТРАН и позволяет из строки символов IT, начиная с позиции N. [28]

После того как на этапе лексического анализа программа разбивается на ее основные элементы, следующая фаза компилятора должна распознавать выражения, составленные из этих элементов, и интерпретировать их смысл. Некоторые компиляторы уже на этой стадии вырабатывают код, готовый для выполнения или интерпретации, но большинство из них генерируют промежуточную форму исходной программы, которая будет оптимизироваться перед генерацией машинного кода. [29]

Последнее преобразование является принципиальным этапом лексического анализа в РЕФАЛ-трансляторах, так как в отсутствие его результатом ЛЕКС будет линейный список. Скобочная структуризация позволяет явным образом отразить укрупненную иерархию понятий, используемых в исходном тексте, а специфика РЕФАЛ - эффективная обработка скобочных структур. За счет этого существенно увеличивается скорость синтаксического анализа и упрощаются его алгоритмы. [30]

Страницы: 1 2 3 4