Изменения

Перейти к: навигация, поиск

Удаление eps-правил из грамматики

2891 байт добавлено, 22:38, 8 апреля 2016
Нет описания правки
== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex> -rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}
 
== Алгоритм поиска &epsilon;-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>.<br/>
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.
 
# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2...C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.
 
=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =
 
Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.
 
Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2...C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}
 
=== Модификация с очередью ===
Заведем несколько структур:
*<tex>concerned\text{-}rules[nonterm_i]</tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>counter[rule_i]</tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>Q</tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.
 
Сначала объявим все нетерминалы не <tex>\varepsilon</tex>-порождающими, а в <tex>counter</tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>counter</tex> сразу же оказался нулевым, добавим в <tex>Q</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>concerned\text{-}rules</tex> для него и уменьшать <tex>counter</tex> для всех правил оттуда. Если <tex>counter</tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>Q</tex>. Продолжаем, пока очередь не станет пустой.
 
=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.
 
=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABC|DS</tex>
:<tex>A\rightarrow \varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow \varepsilon</tex>
:<tex>D\rightarrow d</tex>
 
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.
 
Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.
== Алгоритм удаления &epsilon;-правил из грамматики ==
'''Вход:''' КС -грамматика <tex> G\Gamma=\langle N,\Sigma, P, S \rangle</tex>.<br/>'''Выход:''' КС -грамматика <tex> G\Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(G\Gamma') = L(G\Gamma)</tex>.
# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# [[#.D0.90.D0.BB.D0.B3.D0.BE.D1.80.D0.B8.D1.82.D0.BC_.D0.BF.D0.BE.D0.B8.D1.81.D0.BA.D0.B0_.CE.B5-.D0.BF.D0.BE.D1.80.D0.BE.D0.B6.D0.B4.D0.B0.D1.8E.D1.89.D0.B8.D1.85_.D0.BD.D0.B5.D1.82.D0.B5.D1.80.D0.BC.D0.B8.D0.BD.D0.B0.D0.BB.D0.BE.D0.B2 | Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы]].
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 ... B_k \alpha_k</tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \le j \le k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>G\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.
=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>G\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>G\Gamma</tex>, то <tex>L(G\Gamma') = L(G\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>G\Gamma' : L(G\Gamma') = L(G\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>.<br/>
Для этого достаточно доказать, что
<tex>A \underset{G\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{G\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).
<tex>\Rightarrow</tex><br\>
Пусть <tex>A \underset{G\Gamma'}{\Rightarrow}^*w</tex>&nbsp; и&nbsp; <tex>w \ne \varepsilon</tex>.<br/>Докажем индукцией по длине порождения в грамматике <tex>G\Gamma'</tex>, что <tex>A \underset{G\Gamma}{\Rightarrow}^*w</tex>.<br/> '''База'''. <tex>A \underset{G\Gamma'}{\Rightarrow} w</tex>.<br/>В этом случае в <tex>G\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>G\Gamma'</tex> в <tex>G\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>G\Gamma</tex> есть порождения <tex>A \underset{G\Gamma}{\Rightarrow} \alpha \underset{G\Gamma}{\Rightarrow}^*w</tex>.<br/>'''Предположение индукции'''. Пусть из <tex>A \underset{G\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{G\Gamma}{\Rightarrow}^*w</tex>.<br/>
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{G\Gamma'}{\Rightarrow}X_1 X_2...X_k \underset{G\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>G\Gamma</tex> <tex>A \rightarrow Y_1 Y_2...Y_m</tex>, где последовательность <tex>Y_1 Y_2...Y_m</tex> совпадает с последовательностью <tex>X_1 X_2...X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами.<br/>Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_k</tex>, где <tex>X_i \underset{G\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{G\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{G\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {G\Gamma}{\Rightarrow} Y_1 Y_2...Y_m \underset{G\Gamma}{\Rightarrow}^* X_1 X_2...X_k \underset{G\Gamma}{\Rightarrow}^* w_1 w_2...w_k = w</tex>.
<tex>\Leftarrow</tex><br/>
Пусть <tex>A \underset{G\Gamma}{\Rightarrow}^*w</tex>&nbsp; и&nbsp; <tex>w \ne \varepsilon</tex>.<br/> Докажем индукцией по длине порождения в грамматике <tex>G\Gamma</tex>, что <tex>A \underset{G\Gamma'}{\Rightarrow}^*w</tex>.<br/> '''База'''. <tex>A \underset{G\Gamma}{\Rightarrow} w</tex>.<br/>Правило <tex>A \rightarrow w</tex> присутствует в <tex>G</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>G\Gamma'</tex>, поэтому <tex>A \underset{G\Gamma'}{\Rightarrow}^*w</tex>.<br/>'''Предположение индукции'''. Пусть из <tex>A \underset{G\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{G\Gamma'}{\Rightarrow}^*w </tex>.<br/>'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{G\Gamma}{\Rightarrow}Y_1 Y_2...Y_m \underset{G\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_m</tex>, где <tex>Y_i \underset{G\Gamma}{\Rightarrow}^*w_i</tex>.<br/>Пусть <tex>Y_{i_1}, Y_{i_2}, ..., Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{G\Gamma}{\Rightarrow}^*w</tex>. <tex>p \ge 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} ... Y_{i_p}</tex> является правилом в <tex>G\Gamma'</tex> по построению <tex>G\Gamma'</tex>.<br/>Так как каждое из порождений <tex>Y_i \underset{G\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{G\Gamma'}{\Rightarrow}^*w_i</tex>.<br/>Таким образом, <tex>A \underset{G\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{G\Gamma'}{\Rightarrow}^* w</tex>.
Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(G\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(G\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>G\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС -грамматикой <tex>G\Gamma'</tex>, совпадает с языком, задаваемым КС -грамматикой <tex>G\Gamma</tex>.
}}
=== Время работы алгоритма ===
Рассмотрим грамматику:<tex> \Gamma = </tex>:\begin{array}{l l} :<tex>S\rightarrow T_1 T_2 T_3 ... \ldots T_n\\</tex> :<tex>T_1\rightarrow t_1|\varepsilon\\</tex> :<tex>T_2\rightarrow t_2|\varepsilon\\</tex> ...:<tex>\ldots\</tex> :<tex>T_n\rightarrow t_n|\varepsilon\end{array}</tex>.<br> 
<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>.<br>
Однако если в грамматике устранены Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинные правиладлинными правилами]]. После применения данного алгоритма, то алгоритм будет работать который работает за <tex>O(\left| \Gamma \right|)</tex> и добавит , в грамматику грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right|= O(n)</tex> новых . Однако алгоритм удаления <tex>\varepsilon</tex>-правил длинны будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex>сочетаний нетерминалов.
=== Пример ===
Рассмотрим грамматику:
:<tex>\begin{array}{l l} S\rightarrow ABCd\\</tex> :<tex>A\rightarrow a|\varepsilon\\</tex> :<tex>B\rightarrow AC\\</tex> :<tex>C\rightarrow c|\varepsilon\end{array}</tex>, в которой  В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания &epsilon;-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>
В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил::<tex>\begin{array}{l l} S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d\\ A\rightarrow a\\ B\rightarrow A|AC|C\\ C\rightarrow c\end{array}</tex> == Алгоритм поиска &epsilon;-порождающих нетерминалов =='''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex>.<br/>'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов. # Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.# Перебираем правила грамматики <tex>G</tex>. Если найдено правило <tex>A \rightarrow C_1C_2...C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>Aa</tex> в множество.# Если на шаге 2 множество изменилось, то повторить шаг 2. === Доказательство корректности ==={{Теорема|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>G</tex>.|proof = Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы. Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило :<tex>B \rightarrow C_1C_2...C_k</tex>, где каждый нетерминал <tex>C_i</tex> — <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.}} === Время работы алгоритма ===Данный алгоритм работает за <tex>O(\leftA| \Gamma \rightAC| ^ 2)C</tex>, однако используя [[Очередь|очередь]] можно ускорить его до <tex>O(\left| \Gamma \right|)</tex>. === Пример ===Рассмотрим грамматику:<tex>\begin{array}{l l} S\rightarrow ABC|DS\\ A\rightarrow \varepsilon\\ B\rightarrow AC\\ C\rightarrow \varepsilon\\ D\rightarrow d\end{array}</tex># Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbracec</tex>.# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.
Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.== Источники информации ==
== См. также ==
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Chomsky normal form]
== Литература Источники ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Chomsky normal form]
 
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
48
правок

Навигация