Алгоритм Эрли — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Пример)
м (rollbackEdits.php mass rollback)
 
(не показано 28 промежуточных версий 6 участников)
Строка 1: Строка 1:
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>\omega</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.
+
__TOC__
 +
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.
  
'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>\omega</tex>.<br/>
+
'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>.<br/>
'''Выход:''' <tex>true</tex>, если <tex>\omega</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.
+
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.
  
==Определения==
 
 
{{Определение
 
{{Определение
 
|definition =
 
|definition =
Пусть <tex>G = (N, \Sigma, P, S)</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>\omega = a_1 a_2 ... a_n</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
+
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 \ldots w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>\omega</tex>, называется '''ситуацией''', относящейся к цепочке <tex>\omega</tex>.
+
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
 
}}
 
}}
  
 
{{Определение
 
{{Определение
 
|definition =
 
|definition =
'''<tex>j</tex>-м списком ситуаций''' <tex>I_j</tex> для входной цепочки <tex>\omega = a_1 a_2 ... a_n</tex>, где <tex>0 \leqslant j \leqslant n</tex>, называется множество ситуаций <tex>\lbrace [A \rightarrow \alpha \cdot \beta , i] \mid \alpha \Rightarrow^* a_{i+1} ... a_j; \exists \gamma, \delta : S \Rightarrow^* \gamma A \delta, \gamma \Rightarrow^* a_1...a_i \rbrace</tex>. То есть <tex>\gamma \alpha </tex> выводит часть <tex>\omega</tex> c первого по <tex>j</tex>-й символ.
+
Ситуации хранятся в множествах <tex>D_0, \ldots ,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
}}
+
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>.
 
 
{{Лемма
 
|statement = <tex>(\exists \alpha : [S \rightarrow \alpha \cdot, 0] \in I_n) \Leftrightarrow \omega \in L(G)</tex>.
 
|proof = Поскольку <tex>S \Rightarrow^* \gamma S \delta</tex> (при <tex>\gamma = \delta = \varepsilon</tex>), из определения <tex>I_n</tex> получаем, что <tex>([S \rightarrow \alpha \cdot, 0] \in I_n) \Leftrightarrow (S \Rightarrow \alpha \Rightarrow^* a_1 ... a_n = \omega)</tex>.
 
 
}}
 
}}
  
 
{{Определение
 
{{Определение
 
|definition =
 
|definition =
Последовательность списков ситуаций <tex>I_0, I_1, .., I_n</tex> называется <b>списком разбора</b> для входной цепочки <tex>\omega</tex>.
+
Последовательность списков ситуаций <tex>D_0, D_1, \ldots, D_{n-1} \ </tex> называется <b>списком разбора</b> для входной цепочки <tex>w</tex>.
 
}}
 
}}
  
 
== Алгоритм Эрли ==
 
== Алгоритм Эрли ==
Построим список разбора для <tex>\omega</tex> с помощью данного алгоритма и воспользуемся леммой, доказанной выше.<br>
+
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).
  
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>S' \rightarrow S</tex>.
+
Алгоритм основывается на следующих трёх правилах:
 +
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
 +
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
 +
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.
  
<tex>I_0</tex> &cup;= <tex>[S' \rightarrow \cdot S, 0]</tex> # Правило (0) — инициализация
+
=== Псевдокод ===
useful_loop(0)
+
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.
 
   
 
   
  for i = 1..n
+
  '''function''' <tex>\mathtt{earley}(G, w)</tex>:
     for <tex>[A \rightarrow \alpha \cdot a_{j} \beta, i] \in I_{j-1}</tex>
+
  <font color=green>// Инициализация </font>
        <tex>I_j</tex> &cup;= <tex>[A \rightarrow \alpha a_{j} \cdot \beta, i]</tex> # Правило (1)
+
  <tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
     useful_loop(j)
+
  '''for''' <tex>i = 1</tex> '''to''' <tex>len(w)</tex>
 +
     <tex>D_i</tex> = <tex>\varnothing </tex>
 +
  <font color=green>// Вычисление ситуаций </font>
 +
  '''for''' <tex>j = 0</tex> '''to''' <tex>len(w)</tex>
 +
    <tex>\mathtt{scan}(D, j, G, w)</tex>
 +
    '''while''' <tex>D_j</tex> изменяется
 +
      <tex>\mathtt{complete}(D, j, G, w)</tex>
 +
      <tex>\mathtt{predict}(D, j, G, w)</tex>
 +
  <font color=green>// Результат </font>
 +
  '''if'''  <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
 +
    '''return''' ''true''
 +
  '''else'''
 +
    '''return''' ''false''   
 +
 
 +
 
 +
'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
 +
  '''if''' <tex>j</tex> == <tex>0</tex>
 +
    '''return'''
 +
  '''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
 +
    '''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
 +
      <tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha a \cdot \beta, i]</tex>
 +
 
 +
'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
 +
  '''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
 +
     '''for''' <tex>[A \rightarrow \alpha \cdot B \beta, j] \in D_{i} </tex>
 +
      <tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, j]</tex>
  
  function useful_loop(j):
+
  '''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
    do
+
  '''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
        for <tex>[B \rightarrow \eta \cdot , i] \in I_j</tex>
+
    '''for''' <tex>(B \rightarrow \eta) \in P </tex>
            for <tex>[A \rightarrow \alpha \cdot B \beta, k] \in I_{i}</tex>
+
      <tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>
                <tex>I_j</tex> &cup;= <tex>[A \rightarrow \alpha B \cdot \beta, k]</tex> # Правило (2)
 
           
 
        for <tex>[B \rightarrow \alpha \cdot A \eta, k] \in I_j</tex>
 
            for <tex>\beta : (A \rightarrow \beta) \in P</tex>
 
                <tex>I_j</tex> &cup;= <tex>[A \rightarrow \cdot \beta, j]</tex> # Правило (3)
 
    while на данной итерации какое-то множество изменилось
 
  
 
==Корректность алгоритма==
 
==Корректность алгоритма==
 
{{Теорема
 
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
+
|statement = Приведенный алгоритм правильно строит все списки ситуаций.  
 +
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>
 
|proof =
 
|proof =
  
  
=====Алгоритм не добавит в список ситуацию, которая ему не принадлежит:=====
+
<b><tex>\Longrightarrow</tex></b><br/>
 
Докажем индукцией по исполнению алгоритма.<br/>
 
Докажем индукцией по исполнению алгоритма.<br/>
База (инициализация): <tex>\alpha = \varepsilon \Rightarrow^* \varepsilon </tex> и <tex>S' \Rightarrow^* \gamma S \delta </tex> при <tex>\gamma = \delta = \varepsilon </tex>.<br/>
+
<u> ''База индукции:'' </u><br/>
Индукционный переход: пусть в <tex> I_{0},...,I_{j} </tex> нет лишних ситуаций. Пусть включаем <tex>[A \rightarrow \alpha \cdot \beta, i] </tex> в <tex>I_{j}</tex>. Рассмотрим три случая:
+
<tex>[S' \rightarrow \cdot S, 0] \in D_0 \ </tex>.<br/>
 
+
<u> ''Индукционный переход:'' </u> <br/>
1. Включаем по правилу 1.<br/>
+
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex><br/>
Тогда <tex>\alpha = \alpha' a_{j} , [A \rightarrow \alpha' \cdot a_{j} \beta, i] \in I_{j-1}</tex>. По предположению, <tex>\alpha' \Rightarrow^* a_{i+1}...a_{j-1} </tex> и существуют <tex>\gamma'</tex> и <tex>\delta' </tex> такие, что <tex>S' \Rightarrow^* \gamma' A \delta', \gamma' \Rightarrow^* a_1...a_{i} </tex>. Значит, <tex> \alpha = \alpha' a_{j} \Rightarrow^* a_{i+1}...a_{j} </tex> и при <tex>\gamma = \gamma', \delta = \delta'</tex> <tex>[A \rightarrow \alpha \cdot \beta, i] \in I_j</tex>.
 
  
2. Включаем по правилу 2.<br/>
+
1. Включаем по правилу <tex> \mathtt{scan} \ </tex>.<br/>
Тогда <tex>\alpha = \alpha' B , [A \rightarrow \alpha' \cdot B \beta, k] \in I_{i}</tex> и <tex> [B \rightarrow \eta \cdot, i] \in I_{j} </tex>. По предположению, <tex>\alpha' \Rightarrow^* a_{k+1}...a_{i}, \eta \Rightarrow^* a_{i+1}...a_{j} </tex>, откуда <tex>\alpha = \alpha' B \Rightarrow^*a_{k+1}...a_{j} </tex>. Кроме того, существуют <tex>\gamma'</tex> и <tex>\delta' </tex> такие, что <tex>S' \Rightarrow^* \gamma' A \delta', \gamma' = a_1...a_{k} </tex>. Значит, при <tex>\gamma = \gamma', \delta = \delta'</tex> <tex>[A \rightarrow \alpha \cdot \beta, i] \in I_j</tex>.
+
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>.<br/>
 +
По предположению индукции <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i \ldots w_{j-2}</tex>,<br/>  
 +
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i \ldots w_{j-2}w_{j-1} = w_i \ldots w_{j-1} \ </tex>.<br/>
 +
Таким образом условия: <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i \ldots w_{j-1}</tex> выполняются.
  
3. Включаем по правилу 3.<br/>
+
2. Включаем по правилу <tex> \mathtt{predict} \ </tex>.<br/>
Тогда <tex>\alpha = \varepsilon, i = j, [B \rightarrow \alpha' \cdot A \eta, k] \in I_{j}, A \Rightarrow \beta</tex>. По предположению <tex>\alpha' \Rightarrow^* a_{k+1}...a_{i}</tex> и существуют <tex>\gamma'</tex> и <tex>\delta' </tex> такие, что <tex>S' \Rightarrow^* \gamma' B \delta', \gamma' \Rightarrow^* a_1...a_{k} </tex>. Значит, при <tex>\gamma = \gamma' \alpha', \delta = \eta \delta' </tex> выполнено <tex> S' \Rightarrow^* \gamma A \delta</tex>, следовательно <tex>[A \rightarrow \alpha \cdot \beta, i] \in I_j</tex>.
+
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения.<br/>
 +
Кроме того <tex>\exists  i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>  
 +
и <tex> \alpha ' \Rightarrow^* w_{i'} \ldots w_{i-1}</tex>.<br/>
 +
Получаем, что <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0 \ldots w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0 \ldots w_{i'-1} w_{i'} \ldots w_{i-1} A \delta' \delta ''
 +
</tex>, в итоге <tex> S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, что нам и требовалось.
  
=====В каждый список попадут все ситуации, которые ему принадлежат:=====
+
3. Включаем по правилу <tex> \mathtt{complete} \ </tex>.<br/>
Для всех наборов <tex>\tau = \langle \alpha, \beta, \gamma, \delta, A, i , j \rangle</tex> нужно доказать, что, если <tex> S' \Rightarrow^* \gamma A \delta, \gamma \Rightarrow^* a_1...a_{i}, (A \rightarrow \alpha \beta) \in P, \alpha \Rightarrow^* a_{i+1}...a_{j}</tex>, то алгоритм добавит <tex> [A \rightarrow \alpha \cdot \beta, i]</tex> в <tex> I_{j}</tex>.
+
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>.<br/>
 +
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i \ldots w_{i'-1} w_{i'} \ldots w_{j} = w_i \ldots w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.
  
''Рангом набора'' <tex> \tau </tex> называется <tex> \tau_{S'}(\tau) + 2(j + \tau_{\gamma}(\tau) + \tau_{\alpha}(\tau))</tex>, где <tex>\tau_{S'}(\tau)</tex> — длина кратчайшего вывода <tex>S' \Rightarrow^* \gamma A \delta </tex>, <tex>\tau_{\gamma}(\tau)</tex> — длина кратчайшего вывода <tex>\gamma \Rightarrow^* a_1...a_{i}</tex>, <tex>\tau_{\alpha}(\tau)</tex> — длина кратчайшего вывода <tex>\alpha \Rightarrow^* a_{i+1}...a_{j}</tex>.
+
<b><tex>\Longleftarrow</tex></b><br/>
 +
В обратную сторону будем доказывать индукцией по суммарной длине вывода  <tex>w_0 \ldots w_{i-1} A \delta \ </tex> из <tex>S'</tex> и  <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
 +
индукцию по длине вывода <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>.<br/>
 +
Рассмотрим три случая последнего символа <tex>\alpha</tex>:
  
Докажем утверждение индукцией по рангу набора.<br/>
+
1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i \ldots w_{j-2}</tex>.<br/>
База: если ранг <tex>\tau</tex> равен 0, то <tex>\tau_{S'} = \tau_{\gamma} = \tau_{\alpha} = j = i = 0</tex>. Значит, <tex>A = S'</tex>, <tex>\alpha = \gamma = \delta = \varepsilon </tex>, <tex>\beta = S </tex>. При инициализации такая ситуация <tex>[S' \rightarrow \cdot S, 0]</tex> будет добавлена в <tex>I_0</tex>.<br/>
+
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.
Индукционный переход:
 
пусть ранг <tex>\tau</tex> равен <tex>r > 0</tex>, пусть для всех наборов с меньшими рангами утверждение верно. Докажем для набора <tex>\tau</tex>. Для этого рассмотрим три случая:
 
  
1. <tex>\alpha</tex> оканчивается терминалом.<br/>
+
2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i \ldots w_{i'-1} \wedge B ' \Rightarrow^* w_{i'} \ldots w_{j-1}</tex>.<br/>
<tex>\alpha = \alpha' c</tex>. <tex>\alpha \Rightarrow^*a_{i+1}...a_{j}</tex>, значит <tex>c = a_{j}</tex>. Рассмотрим набор <tex>\tau' = \langle \alpha', a_{j} \beta, \gamma, \delta, A, i, j-1 \rangle </tex>. <tex>(A \rightarrow \alpha' a_{j} \beta) \in P</tex>, следовательно ранг <tex>\tau'</tex> равен <tex>r - 2</tex>, так как <tex>\tau_{S'}(\tau) = \tau_{S'}(\tau'), \tau_{\gamma}(\tau) = \tau_{\gamma}(\tau'), \tau_{\alpha}(\tau) = \tau_{\alpha}(\tau')</tex>. Значит, по предположению <tex>[A \rightarrow \alpha' \cdot a_{j} \beta, i] \in I_{j-1}</tex> и <tex>[A \rightarrow \alpha \cdot \beta, i] </tex> будет добавлена в <tex>I_{j}</tex> по правилу 1.
+
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot  \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} w_i \ldots w_{i'-1}B \beta \delta</tex>,
 +
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'} \ldots w_{j-1}</tex>.<br/>
 +
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j \ </tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.
  
2. <tex>\alpha</tex> оканчивается нетерминалом.<br/>
+
3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>.<br/>  
<tex>\alpha = \alpha' B</tex>. <tex>\alpha \Rightarrow^*a_{i+1}...a_{j}</tex>, значит <tex>\mathcal {9} k</tex> такое, что <tex>\alpha' \Rightarrow^*a_{i+1}...a_{k}, B \Rightarrow^* a_{k+1}...a_{j}</tex>.<br/>
+
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции,<br/>
Рассмотрим набор <tex>\tau' = \langle \alpha', B \beta, \gamma, \delta, A, i, k \rangle</tex>, его ранг меньше <tex>r</tex>, следовательно <tex>[A \rightarrow \alpha' \cdot B \beta, i] \in I_{k}</tex> по предположению.<br/>
+
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0 \ldots w{i'-1}w_{i'} \ldots w{i-1} A \delta ' \delta '' = w_0 \ldots w_{i-1} A \delta \ </tex> для некоторого правила <tex>(A' \rightarrow w_{i'} \ldots w_{i-1} A \delta ') \in P</tex>. <br/>
Пусть <tex>B \Rightarrow \eta</tex> — первый шаг в кратчайшем выводе <tex>B \Rightarrow^* a_{k+1}...a_{j}</tex>. Рассмотрим набор <tex>\tau'' = \langle \eta, \varepsilon, \gamma \alpha', \beta \delta, B, k, j \rangle</tex>. <tex>S \Rightarrow^* \gamma A \delta \Rightarrow \gamma \alpha' B \beta \delta</tex>, следовательно <tex>\tau_{S'}(\tau'') \leqslant \tau_{S'}(\tau) + 1</tex>.<br> Пусть длина кратчайшего вывода <tex>\alpha' \Rightarrow^*a_{i+1}...a_{k}</tex> равна <tex>n_1</tex>, а длина кратчайшего вывода <tex> B \Rightarrow^* a_{k+1}...a_{j}</tex> равна <tex>n_2</tex>. Тогда <tex>\tau_{\alpha}(\tau) = n_1 + n_2</tex>. Так как <tex> B \Rightarrow \eta \Rightarrow^* a_{k+1}...a_{j}</tex>, то <tex>\tau_{\alpha}(\tau'') = n_2 - 1</tex>. Очевидно, что <tex>\tau_{\gamma}(\tau'') = \tau_{\gamma}(\tau) + n_1</tex>. Тогда ранг <tex>\tau''</tex> равен <tex>\tau_{S'}(\tau'') + 2(\tau_{\gamma}(\tau'') + \tau_{\alpha}(\tau'') + j) \leqslant \tau_{S'}(\tau) + 1 + 2(\tau_{\gamma}(\tau) + n_1 + n_2 - 1 + j)</tex> <tex>= \tau_{S'}(\tau) - 1 + 2(\tau_{\gamma}(\tau) + \tau_{\alpha}(\tau) + j) < r</tex>. Значит, по предположению для <tex>\tau''</tex>, <tex>[B \rightarrow \eta \cdot, k] \in I_{j}</tex>. Из того, что <tex>[A \rightarrow \alpha' \cdot B \beta, i] \in I_{k}</tex> и <tex>[B \rightarrow \eta \cdot, k] \in I_{j}</tex>, по правилу 2 <tex>[A \rightarrow \alpha \cdot \beta, i] </tex> будет добавлена в <tex>I_{j}</tex>.
+
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'} \ldots w_{i-1} A \delta ', i'] \in D_{i'} \ </tex>,
 +
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'} \ldots w_{i-1} \cdot A \delta ', i'] \in D_{i} \ </tex>,
 +
после чего по правилу <tex> \mathtt{predict} \ </tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j} \ </tex>, что и требовалось.
  
3. <tex>\alpha = \varepsilon</tex>.<br/>
 
В этом случае <tex>i = j, \tau_{\alpha}(\tau) = 0, (A \rightarrow \beta) \in P</tex>.<br/>
 
<tex>\tau_{S'}(\tau) \neq 0</tex> т.к. иначе <tex> \gamma = \varepsilon</tex>, следовательно <tex> \tau_{\gamma}(\tau) = 0, i = 0 </tex>, откуда <tex> r = 0</tex>, но <tex>r > 0</tex>.
 
Т.к. <tex>\tau_{S'}(\tau) > 0</tex>, <tex> \exists B, \gamma', \gamma'', \delta', \delta'' : S' \Rightarrow^* \gamma' B \delta' \Rightarrow \gamma' \gamma'' A \delta' \delta''</tex>, где <tex>(B \rightarrow \gamma'' A \delta'') \in P</tex>. Рассмотрим набор <tex>\tau' = \langle \gamma'', A \delta'', \gamma', \delta', B, k, j \rangle</tex>, где <tex>k</tex> такое, что <tex>\gamma' \Rightarrow^* a_1...a_{k}, \gamma'' \Rightarrow^* a_{k+1}...a_{j}</tex>.
 
Пусть длина кратчайшего вывода <tex>\gamma' \Rightarrow^*a_{1}...a_{k}</tex> равна <tex>n_1</tex>, а длина кратчайшего вывода <tex> \gamma'' \Rightarrow^* a_{k+1}...a_{j}</tex> равна <tex>n_2</tex>.<br/>
 
Найдем ранг <tex>\tau'</tex>. <tex>\tau_{S'}(\tau') = \tau_{S'}(\tau) - 1, \tau_{\gamma}(\tau') = n_1, \tau_{\alpha}(\tau') = n_2</tex>. <tex>\tau_{\alpha}(\tau) = 0, \tau_{\gamma}(\tau) = n_1 + n_2</tex>, следовательно ранг <tex>\tau'</tex> равен <tex>r - 1</tex>. Значит, по предположению <tex>[B \rightarrow \gamma'' \cdot A \delta'', k] \in I_{j}</tex>, следовательно по правилу 3 <tex>[A \rightarrow \cdot \beta, i] </tex> будет добавлена в <tex>I_{j}</tex>.
 
 
}}
 
}}
  
 
==Пример==
 
==Пример==
Построим список разбора для строки <tex>\omega = (a + a)</tex> в грамматике со следующими правилами:
+
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
 
* <tex>S \rightarrow T + S</tex>
 
* <tex>S \rightarrow T + S</tex>
 
* <tex>S \rightarrow T </tex>
 
* <tex>S \rightarrow T </tex>
Строка 111: Строка 136:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_0</tex>
+
!<tex>D_0</tex>
 
|-
 
|-
 
|
 
|
Строка 138: Строка 163:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_1</tex>
+
!<tex>D_1</tex>
 
|-
 
|-
 
|
 
|
Строка 165: Строка 190:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_2</tex>
+
!<tex>D_2</tex>
 
|-
 
|-
 
|
 
|
Строка 191: Строка 216:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_3</tex>
+
!<tex>D_3</tex>
 
|-
 
|-
 
|
 
|
Строка 218: Строка 243:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_4</tex>
+
!<tex>D_4</tex>
 
|-
 
|-
 
|
 
|
Строка 245: Строка 270:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
!<tex>I_5</tex>
+
!<tex>D_5</tex>
 
|-
 
|-
 
|
 
|
Строка 268: Строка 293:
 
|}
 
|}
  
Так как <tex>[S' \rightarrow S \cdot , 0] \in I_5</tex>, то <tex>\omega \in L(G) </tex>.<br>
+
Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>.<br>
 +
 
 +
==См. также==
 +
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
 +
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
 +
 
 +
==Источники информации==
 +
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
 +
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.
  
==Литература==
+
[[Категория: Теория формальных языков]]
''Ахо А., Ульман Д.'' Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. — М.:«Мир», 1978. С. 358 — 364.
+
[[Категория: Контекстно-свободные грамматики]]
 +
[[Категория: Алгоритмы разбора]]

Текущая версия на 19:27, 4 сентября 2022

Алгоритм Эрли позволяет определить, выводится ли данное слово [math]w[/math] в данной контекстно-свободной грамматике [math]G[/math].

Вход: КС грамматика [math] G=\langle N,\Sigma, P, S \rangle[/math] и слово [math]w[/math].
Выход: [math]true[/math], если [math]w[/math] выводится в [math]G[/math]; [math]false[/math] — иначе.


Определение:
Пусть [math]G = \langle N, \Sigma, P, S \rangle[/math]контекстно-свободная грамматика и [math]w = w_0 w_1 \ldots w_{n-1}[/math] — входная цепочка из [math]\Sigma^*[/math]. Объект вида [math][A \rightarrow \alpha \cdot \beta, i][/math], где [math]A \rightarrow \alpha \beta [/math] — правило из [math]P[/math] и [math]0 \leqslant i \leqslant n[/math] — позиция в [math]w[/math], называется ситуацией, относящейся к цепочке [math]w[/math], где [math] \cdot [/math] — вспомогательный символ, который не явлется терминалом или нетерминалом ( [math] \cdot \notin \Sigma \cup N[/math]).


Определение:
Ситуации хранятся в множествах [math]D_0, \ldots ,D_{n-1}[/math], называемых списками ситуаций. Причем наличие ситуации [math][A \rightarrow \alpha \cdot \beta , i][/math] в [math]j[/math]-м списке ситуаций [math]D_j[/math] равносильно тому, что [math]\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})[/math].


Определение:
Последовательность списков ситуаций [math]D_0, D_1, \ldots, D_{n-1} \ [/math] называется списком разбора для входной цепочки [math]w[/math].


Алгоритм Эрли

Чтобы воспользоваться леммой, необходимо найти [math]D_n[/math] для [math]w[/math]. Алгоритм Эрли является динамическим алгоритмом: он последовательно строит список разбора, причём при построении [math]D_j[/math] используются [math]D_0, \ldots, D_{j}[/math] (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:

  1. Если [math][A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}[/math] (где [math]w_j[/math][math]j[/math]-ый символ строки), то [math][A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j[/math].
  2. Если [math][B \rightarrow \eta \ \cdot, i] \in D_j[/math] и [math][A \rightarrow \alpha \cdot B \beta, k] \in D_i[/math], то [math][A \rightarrow \alpha B \cdot \beta, k] \in D_j[/math].
  3. Если [math][A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} [/math] и [math](B \rightarrow \eta) \in P [/math], то [math][B \rightarrow \cdot \ \eta, j] \in D_{j}[/math].

Псевдокод

Для простоты добавим новый стартовый вспомогательный нетерминал [math]S'[/math] и правило [math](S' \rightarrow S)[/math].

function [math]\mathtt{earley}(G, w)[/math]:
  // Инициализация 
  [math] D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace [/math]
  for [math]i = 1[/math] to [math]len(w)[/math]
    [math]D_i[/math] = [math]\varnothing [/math]
  // Вычисление ситуаций 
  for [math]j = 0[/math] to [math]len(w)[/math]
    [math]\mathtt{scan}(D, j, G, w)[/math]
    while [math]D_j[/math] изменяется
      [math]\mathtt{complete}(D, j, G, w)[/math]
      [math]\mathtt{predict}(D, j, G, w)[/math]
  // Результат 
  if  [math][S' \rightarrow S \ \cdot, 0] \in D_{len(w)} [/math]
    return true
  else
    return false    


function [math]\mathtt{scan}(D, j, G, w)[/math]:
  if [math]j[/math] == [math]0[/math]
    return
  for [math][A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} [/math]
    if [math]a[/math] == [math]w_{j - 1}[/math]
      [math]D_{j}[/math] [math] \cup[/math]= [math][A \rightarrow \alpha a \cdot \beta, i][/math]
function [math]\mathtt{complete}(D, j, G, w)[/math]:
  for [math][B \rightarrow \eta \ \cdot, i] \in D_{j} [/math]
    for [math][A \rightarrow \alpha \cdot B \beta, j] \in D_{i} [/math]
      [math]D_{j}[/math] [math] \cup[/math]= [math][A \rightarrow \alpha B \cdot \beta, j][/math]
function [math]\mathtt{predict}(D, j, G, w)[/math]:
  for [math][A \rightarrow \alpha \cdot B \beta, i] \in D_{j} [/math]
    for [math](B \rightarrow \eta) \in P [/math]
      [math]D_{j}[/math] [math]\cup[/math]= [math][B \rightarrow \cdot \ \eta, j][/math]

Корректность алгоритма

Теорема:
Приведенный алгоритм правильно строит все списки ситуаций. То есть алгоритм поддерживает инвариант [math] [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})[/math]
Доказательство:
[math]\triangleright[/math]

[math]\Longrightarrow[/math]
Докажем индукцией по исполнению алгоритма.
База индукции:
[math][S' \rightarrow \cdot S, 0] \in D_0 \ [/math].
Индукционный переход:
Пусть предположение верно для всех списков ситуаций с номерами меньше [math] j [/math]. Разберемся, в результате применения какого правила ситуация [math] [A \rightarrow \alpha \cdot \beta, i] [/math] попала в [math]D_{j}[/math]

1. Включаем по правилу [math] \mathtt{scan} \ [/math].
Это произошло, если [math] \alpha = \alpha ' a[/math], [math]a = w_{j-1}[/math] и [math] [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}[/math].
По предположению индукции [math]S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta[/math] и [math]\alpha' \Rightarrow^* w_i \ldots w_{j-2}[/math],
тогда в силу [math]a = w_{j-1}[/math] получаем [math]\alpha = \alpha ' a \Rightarrow^* w_i \ldots w_{j-2}w_{j-1} = w_i \ldots w_{j-1} \ [/math].
Таким образом условия: [math]S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta[/math] и [math]\alpha \Rightarrow^* w_i \ldots w_{j-1}[/math] выполняются.

2. Включаем по правилу [math] \mathtt{predict} \ [/math].
По построению: [math] \alpha = \varepsilon [/math] и [math]i=j[/math], что автоматически влечет второй пункт утверждения.
Кроме того [math]\exists i' \le i[/math] и ситуация [math][A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i[/math], из чего по предположению индукции следует [math]S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''[/math] и [math] \alpha ' \Rightarrow^* w_{i'} \ldots w_{i-1}[/math].
Получаем, что [math]S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''[/math], значит [math]S \Rightarrow^* w_0 \ldots w_{i'-1} \alpha' A \delta' \delta '' [/math], следовательно [math] S' \Rightarrow^* w_0 \ldots w_{i'-1} w_{i'} \ldots w_{i-1} A \delta' \delta '' [/math], в итоге [math] S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta[/math], что нам и требовалось.

3. Включаем по правилу [math] \mathtt{complete} \ [/math].
По построению: [math] \alpha = \alpha ' A' [/math] и [math]\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j[/math].
Cледовательно [math]\alpha = \alpha ' A' \Rightarrow^* w_i \ldots w_{i'-1} w_{i'} \ldots w_{j} = w_i \ldots w_{j-1}[/math], что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

[math]\Longleftarrow[/math]
В обратную сторону будем доказывать индукцией по суммарной длине вывода [math]w_0 \ldots w_{i-1} A \delta \ [/math] из [math]S'[/math] и [math]w_i \ldots w_{j-1}[/math] из [math]\alpha[/math]. После чего применим индукцию по длине вывода [math]w_i \ldots w_{j-1}[/math] из [math]\alpha[/math].
Рассмотрим три случая последнего символа [math]\alpha[/math]:

1. [math]\alpha = \alpha ' a[/math], тогда [math]a = w_{j-1}[/math] и [math]\alpha ' \Rightarrow^* w_i \ldots w_{j-2}[/math].
По предположению индукции: [math][A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}[/math], а отсюда по правилу [math] \mathtt{scan}[/math] получаем [math][A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}[/math].

2. [math]\alpha = \alpha ' B[/math], тогда [math]\exists i' : \alpha ' \Rightarrow^* w_i \ldots w_{i'-1} \wedge B ' \Rightarrow^* w_{i'} \ldots w_{j-1}[/math].
Тогда имеем [math][A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}[/math]. Также можно записать [math]S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta[/math], как [math]S' \Rightarrow^* w_0 \ldots w_{i-1} w_i \ldots w_{i'-1}B \beta \delta[/math], а также [math]B \rightarrow \eta \wedge \eta \rightarrow w_{i'} \ldots w_{j-1}[/math].
Применяя индукцию по второму параметру получим [math][B \rightarrow \eta \cdot, i'] \in D_j \ [/math], откуда по правилу [math] \mathtt{complete}[/math] получаем [math][A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}[/math].

3. [math]\alpha = \varepsilon [/math], тогда [math]i=j[/math].
Тогда либо [math]i = 0 \wedge A = S \wedge \delta = \varepsilon[/math], что доказывает базу индукции,
либо вывод можно записать в виде [math]S' \Rightarrow^* w_0 \ldots w{i'-1}w_{i'} \ldots w{i-1} A \delta ' \delta '' = w_0 \ldots w_{i-1} A \delta \ [/math] для некоторого правила [math](A' \rightarrow w_{i'} \ldots w_{i-1} A \delta ') \in P[/math].
Отсюда по предположению индукции [math][A' \rightarrow \cdot w_{i'} \ldots w_{i-1} A \delta ', i'] \in D_{i'} \ [/math], что после нескольких применений правила [math] \mathtt{scan}[/math] приводит к [math][A' \rightarrow w_{i'} \ldots w_{i-1} \cdot A \delta ', i'] \in D_{i} \ [/math],

после чего по правилу [math] \mathtt{predict} \ [/math] получим [math][A \rightarrow \cdot \beta, i] \in D_{j} \ [/math], что и требовалось.
[math]\triangleleft[/math]

Пример

Построим список разбора для строки [math]w = (a + a)[/math] в грамматике со следующими правилами:

  • [math]S \rightarrow T + S[/math]
  • [math]S \rightarrow T [/math]
  • [math]T \rightarrow F * T[/math]
  • [math]T \rightarrow F[/math]
  • [math]F \rightarrow ( S )[/math]
  • [math]F \rightarrow a[/math]
[math]D_0[/math]
Ситуация Из правила
[math][S' \rightarrow \cdot S, 0][/math] 0
[math][S \rightarrow \cdot T + S, 0][/math] 3
[math][S \rightarrow \cdot T, 0][/math] 3
[math][T \rightarrow \cdot F * T, 0][/math] 3
[math][T \rightarrow \cdot F, 0][/math] 3
[math][F \rightarrow \cdot ( S ), 0][/math] 3
[math][F \rightarrow \cdot a, 0][/math] 3
[math]D_1[/math]
Ситуация Из правила
[math][F \rightarrow ( \cdot S ), 0][/math] 1
[math][S \rightarrow \cdot T + S, 1][/math] 3
[math][S \rightarrow \cdot T, 1][/math] 3
[math][T \rightarrow \cdot F * T, 1][/math] 3
[math][T \rightarrow \cdot F, 1][/math] 3
[math][F \rightarrow \cdot ( S ), 1][/math] 3
[math][F \rightarrow \cdot a, 1][/math] 3
[math]D_2[/math]
Ситуация Из правила
[math][F \rightarrow a \cdot, 1][/math] 1
[math][T \rightarrow F \cdot * T, 1][/math] 2
[math][T \rightarrow F \cdot , 1][/math] 2
[math][S \rightarrow T \cdot , 1][/math] 2
[math][S \rightarrow T \cdot + S, 1][/math] 2
[math][F \rightarrow ( S \cdot ), 0][/math] 2
[math]D_3[/math]
Ситуация Из правила
[math][S \rightarrow T + \cdot S, 1][/math] 1
[math][S \rightarrow \cdot T + S, 3][/math] 3
[math][S \rightarrow \cdot T, 3][/math] 3
[math][T \rightarrow \cdot F * T, 3][/math] 3
[math][T \rightarrow \cdot F, 3][/math] 3
[math][F \rightarrow \cdot ( S ), 3][/math] 3
[math][F \rightarrow \cdot a, 3][/math] 3
[math]D_4[/math]
Ситуация Из правила
[math][F \rightarrow a \cdot , 3][/math] 1
[math][T \rightarrow F \cdot * T, 3][/math] 2
[math][T \rightarrow F \cdot , 3][/math] 2
[math][S \rightarrow T \cdot + S, 3][/math] 2
[math][S \rightarrow T \cdot , 3][/math] 2
[math][S \rightarrow T + S \cdot , 1][/math] 2
[math][F \rightarrow ( S \cdot ), 0][/math] 2
[math]D_5[/math]
Ситуация Из правила
[math][F \rightarrow ( S )\cdot , 0][/math] 1
[math][T \rightarrow F \cdot * T, 0][/math] 2
[math][T \rightarrow F \cdot , 0][/math] 2
[math][S \rightarrow T \cdot + S, 0][/math] 2
[math][S \rightarrow T \cdot , 0][/math] 2
[math][S' \rightarrow S \cdot , 0][/math] 2

Так как [math][S' \rightarrow S \cdot , 0] \in D_5[/math], то [math]w \in L(G) [/math].

См. также

Источники информации

  • Алексей Сорокин — Алгоритм Эрли
  • Ахо А., Ульман Д.— Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. — М.:«Мир», 1978. С. 358 — 364.