Иерархия Хомского формальных грамматик

Определение:

Иерархия Хомского — классификация формальных грамматик и задаваемых ими языков, согласно которой они делятся на 4 класса по их условной сложности.

Класс 0

К нулевому классу относятся все формальные грамматики. Элементы этого класса называются неограниченными грамматиками (англ. unrestricted grammars), поскольку на них не накладывается никаких ограничений. Они задают все языки, которые могут быть распознаны машиной Тьюринга. Эти языки также известны как рекурсивно перечислимые (англ. recursively enumerable).

Правила можно записать в виде:

[math]\alpha \rightarrow \beta[/math], где [math]\alpha[/math] — любая непустая цепочка, содержащая хотя бы один нетерминальный символ, а [math]\beta[/math] — любая цепочка символов из алфавита.

Практического применения в силу своей сложности такие грамматики не имеют.

Класс 1

Первый класс представлен неукорачивающими и контекстно-зависимыми грамматиками.

Определение:

Неукорачивающая грамматика (англ. noncontracting grammar) — это формальная грамматика, всякое правило из [math]P[/math] которой имеет вид [math]\alpha\rightarrow\beta[/math], где [math]\alpha , \beta \in \{\Sigma\cup N\}^{+}[/math] и [math]|\alpha|\leq|\beta|[/math] (возможно правило [math]S \rightarrow \varepsilon[/math], но тогда [math]S[/math] не встречается в правых частях правил).

Определение:

Контекстно-зависимая грамматика (англ. context-sensitive grammar) — это формальная грамматика, всякое правило из [math]P[/math] которой имеет вид [math]\alpha A \beta\rightarrow\alpha\gamma\beta[/math], где [math]\alpha , \beta \in \{\Sigma\cup N\}^{*}[/math], [math]A \in N[/math] и [math]\gamma \in \{\Sigma\cup N\}^{+}[/math] (возможно правило [math]S \rightarrow \varepsilon[/math], но тогда [math]S[/math] не встречается в правых частях правил).

Языки, заданные этими грамматиками, распознаются с помощью линейного ограниченного автомата (англ. linear bounded automaton) (недетерминированная машина Тьюринга, чья лента ограничена константой, зависящей от длины входа.)

Как будет показано далее, неукорачивающие грамматики эквивалентны контекстно-зависимым.

Пример

Язык [math]0^n1^n2^n[/math].

[math]\Sigma = \{0, 1, 2\}[/math];

[math] S \rightarrow 012 \\ S \rightarrow 0TS2 \\ T0 \rightarrow 0T \\ T1 \rightarrow 11 [/math]

Класс 2

Второй класс составляют контекстно-свободные грамматики, которые задают контекстно-свободные языки. Эти языки распознаются с помощью автоматов с магазинной памятью.

Определение:

Контекстно-свободная грамматика (англ. context-free grammar) — это формальная грамматика, всякое правило из [math]P[/math] которой имеет вид [math]A \rightarrow\beta[/math], где [math]A\in N [/math], [math]\beta \in \{\Sigma \cup N\}^{+}[/math].

То есть грамматика допускает появление в левой части правила только нетерминального символа.

Пример

Язык палиндромов. Задаётся формулой [math]L=\{w \in \Sigma^* | w = w^R\}[/math]

Терминалы: буквы алфавита [math]\Sigma[/math];

Нетерминал: [math]S[/math];

Продукции: [math]S\rightarrow\alpha S\alpha\,|\,\alpha\,|\,\varepsilon, \alpha \in \Sigma[/math];

Начальный нетерминал — [math]S[/math].

Класс 3

Элементами третьего класса являются праволинейные (автоматные) грамматики.

К третьему типу относятся регулярные грамматики (автоматные) — самые простые из формальных грамматик. Они являются контекстно-свободными, но с ограниченными возможностями.

Все регулярные грамматики могут быть разделены на два эквивалентных класса, которые для грамматики вида III будут иметь правила следующего вида:

• [math]A \rightarrow B\gamma[/math] или [math]A \rightarrow \gamma[/math], где [math]\gamma \in V_T^*, A, B \in V_N[/math] (для леволинейных грамматик).
• [math]A \rightarrow \gamma B[/math]; или [math]A \rightarrow \gamma[/math], где [math]\gamma \in V_T^*, A, B \in V_N[/math] (для праволинейных грамматик).

Регулярные грамматики применяются для описания простейших конструкций: идентификаторов, строк, констант, а также языков ассемблера, командных процессоров и др.

Type-3 grammars (regular grammars) generate the regular languages. Such a grammar restricts its rules to a single nonterminal on the left-hand side and a right-hand side consisting of a single terminal, possibly followed by a single nonterminal (right regular). Alternatively, the right-hand side of the grammar can consist of a single terminal, possibly preceded by a single nonterminal (left regular); these generate the same languages – however, if left-regular rules and right-regular rules are combined, the language need no longer be regular. The rule S \rightarrow \epsilon is also allowed here if S does not appear on the right side of any rule. These languages are exactly all languages that can be decided by a finite state automaton. Additionally, this family of formal languages can be obtained by regular expressions. Regular languages are commonly used to define search patterns and the lexical structure of programming languages.

Определение:

Праволинейные (автоматные) грамматики — это формальные грамматики, всякое правило из [math]P[/math] которых имеет вид [math]A \rightarrow tB[/math] либо [math]A \rightarrow t[/math], где [math]A\in N[/math],[math]B\in N[/math], [math]t\in \Sigma [/math].

Распознавание

Для языков, которые задаются грамматиками из иерархии Хомского, есть машины, которые их распознают. Следующая таблица сопоставляет классы иерархии Хомского, языки, которые ими задаются, и машины, которые распознают эти языки.

Грамматика	Языки	Машина
Класс 0	рекурсивно перечислимые	машина Тьюринга
Класс 1	контекстно-зависимые	ЛПА
Класс 2	контекстно-свободные	автоматы с магазинной памятью
Класс 3	регулярные	конечные автоматы

См. также

• Разрешимые (рекурсивные) языки
• Возможность порождения формальной грамматикой произвольного перечислимого языка

Источники информации

• А. Ахо, Дж. Ульман. Теория синтаксического анализа, перевода и компиляции. Синтаксический анализ. Том 2. Пер. с англ. — М.: Книга по Требованию, 2012. — ISBN 978-5-458-27407-4
• Wikipedia — Chomsky hierarchy
• Википедия — Иерархия Хомского