Задача о выводе в контекстно-свободной грамматике, алгоритм Кока-Янгера-Касами

Таблица разбора алгоритма для цепочки из шести символов. В клетку [math]t_{34}[/math] должны быть помещены нетерминалы, из которых выводится фрагмент входной строки длиной четыре символа, начинающийся с [math]a_{3}[/math], т.е. это цепочка [math]a_{3}a_{4}a_{5}a_{6}[/math]. Этот фрагмент тремя способами можно разбить на пары непустых соседних фрагментов: (1) [math]a_{3}[/math] и [math]a_{4}a_{5}a_{6}[/math], (2): [math]a_{3}a_{4}[/math] и [math]a_{5}a_{6}[/math], (3): [math]a_{3}a_{4}a_{5}[/math] и [math]a_{6}[/math]. Этим трем парам фрагментов соответствуют пары клеток, в которых могут стоять нетерминалы, из которых эти фрагменты выводятся: (1) [math]t_{31}[/math] и [math]t_{43}[/math], (2): [math]t_{32}[/math] и [math]t_{52}[/math], (3): [math]t_{33}[/math] и [math]t_{61}[/math]. Если в этих клетках находятся соответственно нетерминалы B и C и существует правило A→BC, то A заносится в [math]t_{34}[/math]

Контекстно-свободная грамматика

Контекстно-свободная грамматика (КС-грамматика, бесконтекстная грамматика) — частный случай формальной грамматики, у которой левые части всех правил являются одиночными нетерминалами. Для того, чтобы определить контекстно-свободную грамматику, необходимо:

• 1) Задать конечное множество A - алфавит; его

элементы называют символами, а конечные последовательности симво- лов называют словами (в данном алфавите);

• 2) Разделить все символы алфавита A на две группы: терми-

нальные ("окончательные") и нетерминальные ("промежуточные");

• 3) Выбрать один из нетерминальных символов, который будет считаться начальным;
• 4) Указать конечное число правил грамматики(продукций) вида:

    K → X

где K - некоторый нетерминальный символ, а X - слово, которое может состоять как из терминальных, так и не из терминальных символов. Выводом в контекстно-свободной грамматике называется последовательность слов X[0], X[1], ... ,X[n], где X[0] состоит только из начального символа, а каждое слово X[i+1] получается из X[i] заменой какого-либо нетерминального символа на слово по одному из правил грамматики.

Пример

Пусть алфавит состоит из символов a, b и S, при этом S - стартовый символ, а и b - терминальные. Пусть в этой грамматике определены следующие правила:

• S → SS;
• S → ab;
• S → aSb;

Тогда в ней можно вывести слово ababab следующим образом:

  S → SS → Sab → SSab → abSab → ababab

При этом, например, слово bab невозможно вывести в этой грамматике.

Задача о выводе

Задача вывода в контекстно-свободной грамматике состоит в том, чтобы выяснить, можно ли вывести данное слово в этой КС-грамматике, т.е. выяснить принадлежность этого слова определяемому грамматикой языку. Для решения этой задачи существуют несколько способов, например, нисходящий анализ методом линейного спуска. Также применяется восходящий алгоритм синтаксического анализа Кока - Янгера - Касами.

Алгоритм Кока-Янгера-Касами

Алгоритм является универсальным для всех КС-грамматик, которые должны быть приведены в нормальную форму Хомского без ε-правил. Правила такой грамматики имеют вид либо А→а, либо А→BC, где a - терминал, B и C нетерминалы ,не являющиеся начальными. Алгоритм использует только квадратную матрицу, т.е. [math]O(n^2)[/math] памяти. В алгоритме осуществляется для каждой ячейки перебор по всем разделениям фрагмента строки, выводимого из нетерминалов в этой ячейке, и по всем элементам алфавита, поэтому сложность можно оценить как [math]O(n^3 \cdot |G|)[/math], где G - алфавит.

Сам алгоритм состоит в построении треугольной матрицы разбора T по заданной входной строке [math]a_1, a_2, \ldots, a_n[/math]. В каждый элемент этой матрицы [math]t_{ik}[/math] помещаются все нетерминалы, из которых можно вывести отрезок входной строки длины k, начинающийся i-ым символом: [math]a_i, \ldots, a_{i+k-1}[/math]. Элементы матрицы вычисляются следующим образом:

[math]\forall[/math]i [math]t_{i1}[/math] = { A | A → [math]a_i[/math]};

[math]\forall[/math]i < j [math]t_{ij}[/math] = {A | A→BC и [math]1 \leqslant k \lt j : B \in t_{ik}, C \in t_{i+k, j-k}[/math]}.

Действительно, в каждый элемент [math]t_{i1}[/math] (в данном случае удобнее рассматривать первой нижнюю строку) помещаются все нетерминалы, для которых существует правило A → [math]a_i[/math] Пусть теперь заполнены все строки до j-1-й включительно. Рассмотрим элемент [math]t_{ij}[/math], соответствующий фрагменту <[math]a_1,\ldots, a_j [/math]> входной строки. Разобьём его всеми способами на пары соседних строк <[math]a_i[/math]> и <[math]a_{i+1}...a_j[/math]>; <[math]a_ia_{i+1}[/math]> и <[math]a_{i+2} ...a_j[/math]>, и т.д. Каждому варианту разбиения соответствует пара элементов матрицы, в которых стоят нетерминалы, из которых могут быть выведены соответствующие строки. Пусть эта пара элементов – (t',t"). В рассматриваемый элемент [math]t_{ij}[/math] помещаем нетерминал А, если среди правил грамматики есть правило А→ВС, и нетерминал В входит в элемент t', а С – входит в элемент t".

Входная строка принадлежит языку, порождаемому грамматикой, если в элементе [math]t_{1n}[/math] встретится начальный нетерминал.

Литература

• [1]
• Википедия - CYK algorithm
• Алгоритм Кока-Янгера-Касами