Минимизация ДКА, алгоритм Хопкрофта (сложность O(n log n))

Пусть дан автомат, распознающий определенный язык. Требуется найти эквивалентный автомат с наименьшим количеством состояний.

Содержание

1 Минимизация ДКА
2 Простой алгоритм
- 2.1 Псевдокод
- 2.2 Время работы
3 Алгоритм Хопкрофта
4 См. также
5 Источники информации

Минимизация ДКА

Если в ДКА существуют два эквивалентных состояния, то при их объединении мы получим эквивалентный ДКА, так как распознаваемый язык не изменится. Основная идея минимизации состоит в разбиении множества состояний на классы эквивалентности, полученные классы и будут состояниями минимизированного ДКА.

Простой алгоритм

Определение:

Класс разбивает класс по символу на и , если

Если класс [math]R[/math] может быть разбит по символу [math]a[/math], то он содержит хотя бы одну пару неэквивалентных состояний (так как существует строка которая их различает). Если класс нельзя разбить, то он состоит из эквивалентных состояний. Поэтому самый простой алгоритм состоит в том, чтобы разбивать классы текущего разбиения до тех пор пока это возможно.

Итеративно строим разбиение множества состояний следующим образом.

Первоначальное разбиение множества состояний — класс допускающих состояний [math]F[/math] и класс недопускающих состояний ().
Перебираются символы алфавита [math]c \in \Sigma[/math], все пары [math]\langle F,\ c \rangle[/math] и помещаются в очередь.
Из очереди извлекается пара [math]\langle C,\ a \rangle[/math], [math]C[/math] далее именуется как сплиттер.
Каждый класс [math]R[/math] текущего разбиения разбиваются на 2 подкласса (один из которых может быть пустым). Первый состоит из состояний, которые по символу [math]a[/math] переходят в сплиттер [math](R_1)[/math]), а второй из всех оставшихся [math](R_2)[/math].
Если [math]R[/math] разбился на два непустых подкласса (т.е. [math] R_1 \ne \emptyset \ \land \ R_2 \ne \emptyset [/math]).
1. В разбиении [math]P[/math] класс [math]R[/math] заменяется на свои подклассы [math]R_1[/math] и [math]R_2[/math].
2. Перебираются символы алфавита [math]c \in \Sigma[/math], все пары [math]\langle R_1, c \rangle[/math] и [math]\langle R_2, c \rangle[/math] помещаются в очередь.
Пока очередь не пуста, выполняем п.3 – п.5.

Псевдокод

[math]\mathtt{Q}[/math] — множество состояний ДКА,
[math]\mathtt{F}[/math] — множество терминальных состояний,
[math]\mathtt{\delta}[/math] — функция перехода ([math]\delta (r,\ a)[/math] — состояние, в которое можно совершить переход из [math]r[/math] по символу [math]a[/math]),
[math]\mathtt{S}[/math] — очередь пар [math]\langle C,\ a \rangle[/math],
[math]\mathtt{P}[/math] — разбиение множества состояний ДКА,
[math]\mathtt{R}[/math] — класс состояний ДКА.

 function findEquivalenceClasses[math](Q,\ F,\ \delta)[/math]: vector
   [math]\mathtt{P} \leftarrow \{ F,\ Q \setminus F \}[/math]
   [math]\mathtt{S} \leftarrow \varnothing [/math]
   for [math]c \in \Sigma[/math]
     push [math]\langle F,\ c \rangle[/math], [math]\langle Q \setminus F,\ c \rangle[/math] into [math] \mathtt{S}[/math]
   while [math]\mathtt{S} \ne \varnothing[/math]
     [math]\langle C,\ a \rangle[/math] [math]\leftarrow[/math] pop from [math]\mathtt{S}[/math]
     for [math]R[/math] in [math]\mathtt{P}[/math] 
       [math] R_1, R_2 \leftarrow [/math] [math]\mathtt{split}(R,\ C,\ a)[/math]
       if [math] R_1 \ne \varnothing [/math] and [math] R_2 \ne \varnothing [/math]
         replace [math]R[/math] in [math]\mathtt{P}[/math] with [math]R_1[/math] and [math]R_2[/math]
         for [math]c \in \Sigma[/math]
           insert [math]\langle R_1,\ c \rangle[/math] in [math]\mathtt{S}[/math]
           insert [math]\langle R_2,\ c \rangle[/math] in [math]\mathtt{S}[/math]
   return [math]\mathtt{P}[/math]

Когда очередь [math]S[/math] станет пустой, будет получено разбиение на классы эквивалентности, так как больше ни один класс невозможно разбить.

Время работы

Время работы алгоритма оценивается как [math]O(|\Sigma| \cdot n^2)[/math], где [math] n [/math] — количество состояний ДКА, а [math] \Sigma [/math] — алфавит. Это следует из того, что если пара [math]\langle C,\ a \rangle[/math] попала в очередь, и класс [math]C[/math] использовался в качестве сплиттера, то при последующем разбиении этого класса в очередь добавляется два класса [math]C_1[/math] и [math]C_2[/math], причем можно гарантировать лишь следующее уменьшение размера: [math]|C| \geqslant |C_i| + 1[/math]. Каждое состояние изначально принадлежит лишь одному классу в очереди, поэтому каждый переход в автомате будет просмотрен не более, чем [math]O(n)[/math] раз. Учитывая, что ребер всего [math]O(|\Sigma| \cdot n)[/math], получаем указанную оценку.

Алгоритм Хопкрофта

Рассмотрим алгоритм, позволяющий решить задачу быстрее, чем за [math] O(n^2) [/math].

Лемма:

Класс и , тогда разбиение всех классов (текущее разбиение) по символу любыми двумя классами из эквивалентно разбиению всех классов с помощью по символу .

Доказательство:

Разобьем все классы с помощью [math]R [/math] и [math] R_1[/math] по символу [math]a[/math], тогда для любого класса [math]B[/math] из текущего разбиения выполняется

А так как [math]R = R_1 \cup R_2[/math] и [math]R_1 \cap R_2 = \varnothing[/math] то выполняется

Из этого следует, что разбиение всех классов с помощью [math]R_2[/math] никак не повлияет на текущее разбиение.
Аналогично доказывается и для разбиения с помощью [math]R [/math] и [math] R_2[/math] по символу [math]a[/math].
Разобьем все классы с помощью [math]R_1[/math] и [math] R_2[/math] по символу [math]a[/math], тогда для любого класса [math]B[/math] из текущего разбиения выполняется

А так как [math]R = R_1 \cup R_2[/math] и [math]R_1 \cap R_2 = \varnothing[/math] то выполняется

Из этого следует, что разбиение всех классов с помощью никак не повлияет на текущее разбиение.

Алгоритм Хопкрофта отличается от простого тем, что иначе добавляет пары в очередь. После замены класса [math]R[/math] в разбиении [math]P[/math] на его подклассы [math]R_1[/math] и [math]R_2[/math], как и раньше перебираем символы алфавита [math]c \in \Sigma[/math].

Если пара [math]\langle R,\ c \rangle[/math] уже есть в очереди, то согласно лемме можно просто заменить её на пары [math]\langle R_1, c \rangle[/math] и [math]\langle R_2, c \rangle[/math].

Если пары [math]\langle R,\ c \rangle[/math] нет в очереди, то достаточно добавить любую из пар [math]\langle R_1, c \rangle[/math] и [math]\langle R_2, c \rangle[/math]. Это следует из следующих соображений: [math]R[/math] может быть в разбиении только если в очередь были положены пары [math]\langle R,\ a \rangle[/math] для [math]\forall a \in \Sigma[/math], а поскольку в очереди пары [math]\langle R,\ c \rangle[/math] нет, то мы её уже успели рассмотреть, следовательно классы из разбиения [math]P[/math] уже были разбиты по [math]\langle R,\ c \rangle[/math].

Реализация

[math]\mathtt{Q}[/math] — множество состояний ДКА,
[math]\mathtt{F}[/math] — множество терминальных состояний,
[math]\mathtt{\delta}[/math] — функция перехода ([math]\delta (r,\ a)[/math] — состояние, в которое можно совершить переход из [math]r[/math] по символу [math]a[/math]),
[math]\mathtt{S}[/math] — очередь пар [math]\langle C,\ a \rangle[/math],
[math]\mathtt{P}[/math] — разбиение множества состояний ДКА,
[math]\mathtt{R}[/math] — класс состояний ДКА.

 function findEquivalenceClasses[math](Q,\ F,\ \delta)[/math]: vector 
   [math]\mathtt{P} \leftarrow \{ F, \ Q \setminus F \}[/math]
   [math]\mathtt{S} \leftarrow \varnothing [/math]
   for [math]c \in \Sigma[/math]
     push [math]\langle F,\ c \rangle[/math], [math]\langle Q \setminus F,\ c \rangle[/math] into [math] \mathtt{S}[/math]
   while [math]\mathtt{S} \ne \varnothing[/math]
     [math]\langle C,\ a \rangle[/math] [math]\leftarrow[/math] pop from [math]\mathtt{S}[/math]
     for [math]R[/math] in [math]\mathtt{P}[/math] 
       [math] R_1, R_2 \leftarrow [/math] [math]\mathtt{split}(R,\ C,\ a)[/math]
       if [math] R_1 \ne \varnothing [/math] and [math] R_2 \ne \varnothing [/math] 
        replace [math]R[/math] in [math]\mathtt{P}[/math] with' [math]R_1[/math] and [math]R_2[/math]
        if [math]\langle R,\ c \rangle[/math] in [math] \mathtt{S}[/math] // смотрим, есть ли пара [math]\langle R,\ c \rangle[/math] в очереди 
          remove [math]\langle R, c \rangle[/math] from [math]\mathtt{S}[/math] // заменяем её на пары [math]\langle R_1, c \rangle[/math], [math]\langle R_2, c \rangle[/math] если пара есть 
          push [math]\langle R_1, c \rangle[/math] into [math]\mathtt{S}[/math]
          push [math]\langle R_2, c \rangle[/math] into [math]\mathtt{S}[/math]
        else
           if [math] |\mathtt{P}[R_1]| \leqslant |\mathtt{P}[R_2]| [/math] // вставляем любую иначе
             push [math]\langle R_1, c \rangle[/math] into [math]\mathtt{S}[/math]
           else
             push [math]\langle R_2, c \rangle[/math] into [math]\mathtt{S}[/math]
   return [math]\mathtt{P}[/math]

Понятно, что нам нет никакой необходимости просматривать все классы в разбиении. Вполне достаточно рассмотреть лишь те классы, из состояний которых есть хотя бы одно ребро в состояния сплиттера. Обозначим множество таких классов за [math]T'[/math] (его нужно будет эффективно находить для каждой пары [math]\langle C,\ a \rangle[/math]).

 function findEquivalenceClasses[math](Q,\ F,\ \delta)[/math]: vector 
   [math]\mathtt{P} \leftarrow \{ F, \ Q \setminus F \}[/math]
   [math]\mathtt{S} \leftarrow \varnothing [/math]
   for [math]c \in \Sigma[/math]
     push [math]\langle F,\ c \rangle[/math], [math]\langle Q \setminus F,\ c \rangle[/math] into [math] \mathtt{S}[/math]
   while [math]\mathtt{S} \ne \varnothing[/math]
     [math]\langle C,\ a \rangle[/math] [math]\leftarrow[/math] pop from [math]\mathtt{S}[/math]
     [math]\mathtt{Inverse} \leftarrow \{r \ | \ r \in Q, \ \delta(r, a) \in C\}[/math]
     [math]T' \leftarrow \{R \ | \ R \in \mathtt{P}, \ R \cap \mathtt{Inverse} \neq \varnothing\}[/math] // находим классы, из состояний которых есть ребро в состояния сплиттера 
     for [math]R[/math] in [math]T'[/math] // перебираем только классы входящие в [math]T'[/math]
       [math] R_1, R_2 \leftarrow [/math] [math]\mathtt{split}(R,\ C,\ a)[/math]
       if [math] R_1 \ne \varnothing [/math] and [math] R_2 \ne \varnothing [/math]
        replace [math]R[/math] in [math]\mathtt{P}[/math] with [math]R_1[/math] and [math]R_2[/math]
        if [math]\langle R,\ c \rangle[/math] in [math] \mathtt{S}[/math]
          remove [math]\langle R, c \rangle[/math] from [math]\mathtt{S}[/math]
          push [math]\langle R_1, c \rangle[/math] into [math]\mathtt{S}[/math]
          push [math]\langle R_2, c \rangle[/math] into [math]\mathtt{S}[/math]
        else
           if [math] |\mathtt{P}[R_1]| \leqslant |\mathtt{P}[R_2]| [/math]
             push [math]\langle R_1, c \rangle[/math] into [math]\mathtt{S}[/math]
           else
             push [math]\langle R_2, c \rangle[/math] into [math]\mathtt{S}[/math]
   return [math]\mathtt{P}[/math]

Каждая итерация цикла [math] \mathrm{while} [/math] может быть выполнена за для текущей пары [math]\langle C,\ a \rangle[/math]. Покажем, как можно достичь этой оценки.

Классы разбиения [math]P[/math] будем поддерживать с помощью множеств на хэш-таблицах (само же разбиение — обычный вектор, индекс — номер класса). Это позволит нам эффективно переносить состояния из одного класса в другой (за [math]O(1)[/math]).

[math]\mathtt{Class}[r][/math] — номер класса, которому принадлежит состояние [math]r[/math],
[math]\mathtt{Queue}[/math] — очередь пар [math]\langle C,\ a \rangle[/math], где [math]C[/math] — номер класса (сплиттера),
[math]\mathtt{Inv}[r][a][/math] — массив состояний, из которых есть ребра по символу [math]a[/math] в состояние [math]r[/math] (мы не меняем исходный автомат, потому может быть построен раз перед началом работы алгоритма),

Для обработки [math]T'[/math] за нам понадобится следующая структура:

[math]\mathtt{Involved}[/math] — список из номеров классов, содержащихся во множестве [math]T'[/math],
[math]\mathtt{Count}[/math] — целочисленный массив, где [math]\mathtt{Count}[i][/math] хранит количество состояний из класса [math]i[/math], которые содержатся в [math]\mathtt{Inverse}[/math],
[math]\mathtt{Twin}[/math] — массив, хранящий в [math]\mathtt{Twin}[i][/math] номер нового класса, образовавшегося при разбиении класса [math]i[/math],

 function findEquivalenceClasses[math](Q,\ F,\ \delta)[/math]: vector 
    [math]\mathtt{P} \leftarrow \{ F, \ Q \setminus F \}[/math]
    for [math]c \in \Sigma[/math]
      push [math]\langle F,\ c \rangle[/math], [math]\langle Q \setminus F,\ c \rangle[/math] into [math] \mathtt{Queue}[/math]
    while [math]\mathtt{Queue} \ne \varnothing[/math]
      [math]\langle C,\ a \rangle[/math] [math]\leftarrow[/math] pop from [math]\mathtt{Queue}[/math]
      [math]\mathtt{Involved} \leftarrow \varnothing[/math]
      for [math]q \in C[/math] and [math]r \in \mathtt{Inv}[q][a][/math]
        [math]i = \mathtt{Class}[r][/math]
        if [math]\mathtt{Count}[i] == 0[/math]
          insert [math]i[/math] into [math]\mathtt{Involved}[/math]
        [math]\mathtt{Count}[i]++[/math]
      for [math] i \in \mathtt{Involved}[/math]
        if [math]\mathtt{Count}[i] \lt  |\mathtt{P}[i]|[/math]
            insert [math]\{\}[/math] into [math]\mathtt{P}[/math] // создадим пустой класс в разбиении [math]\mathtt{P}[/math]
            [math]\mathtt{Twin}[i] = |\mathtt{P}|[/math]  //запишем в [math]\mathtt{Twin[i]}[/math] индекс нового класса
      for [math]q \in C[/math] and [math]r \in \mathtt{Inv}[q][a][/math]
        [math]i = \mathtt{Class}[r][/math]
        [math]j = \mathtt{Twin}[i][/math]
        if [math]j \neq 0[/math]
           remove [math]r[/math] from [math]\mathtt{P}[i][/math]
           add [math]r[/math] to [math]\mathtt{P}[j][/math]
      for [math] i \in \mathtt{Involved}[/math]
        [math]j = \mathtt{Twin}[i][/math]
        if [math] j \neq 0 [/math]
          if [math]|\mathtt{P}[j]| \gt  |\mathtt{P}[i]|[/math]  // парный класс должен быть меньшего размера
            [math]\mathtt{swap}(\mathtt{P}[i],\ \mathtt{P}[j])[/math] // swap за [math]\mathtt{O(1)}[/math] — просто переставить указатели
          for [math]r \in \mathtt{P}[j][/math]  // обновляем номера классов для вершин, у которых они изменились
            [math]\mathtt{Class}[r] = j[/math]
          for [math]c \in \Sigma[/math]
            push [math]\langle j, c \rangle[/math] to [math]\mathtt{Queue}[/math]
        [math]\mathtt{Count}[i] = 0[/math]
        [math]\mathtt{Twin}[i] = 0[/math]
    return [math]\mathtt{P}[/math]

Стоит отметить, что массивы аллоцируются ровно один раз при инициализации алгоритма.

Также стоит отметить, что собственно наличие/отсутствие пары в очереди можно не проверять. Если для некоторого [math]c[/math] пара [math]\langle i, c \rangle[/math] уже была в очереди, то мы добавим её "вторую половинку" . Если её в очереди не было, то мы вольны сами выбирать, какой подкласс добавлять в очередь, и таким образом добавляем опять же . Кроме того, вместо очереди можно использовать вообще произвольную структуру, хранящую элементы, в том числе стэк, множество, т.к. порядок извлечения нам по сути не важен.

Время работы

Лемма (1):

Количество классов, созданных во время выполнения алгоритма, не превышает .

Доказательство:

Представим дерево, которое соответствует операциям разделения классов на подклассы. Корнем этого дерева является все множество состояний . Листьями являются классы эквивалентности, оставшиеся после работы алгоритма. Так как дерево бинарное — каждый класс может породить лишь два новых, а количество листьев не может быть больше , то количество узлов этого дерева не может быть больше , что доказывает утверждение леммы.

Лемма (2):

Количество итераций цикла не превышает .

Доказательство:

Для доказательства этого утверждения достаточно показать, что количество пар [math]\langle C,\ a \rangle[/math] добавленных в очередь [math]S[/math] не превосходит [math] 2 |\Sigma| |Q| [/math], так как на каждой итерации мы извлекаем одну пару из очереди.

По лемме(1) количество классов не превосходит . Пусть элемент текущего разбиения. Тогда количество пар , не может быть больше . Отсюда следует, что всего различных пар, которые можно добавить в очередь, не превосходит .

Лемма (3):

Пусть и . Тогда количество пар , где , которые мы удалим из очереди, не превосходит для фиксированных и .

Доказательство:

Рассмотрим пару , где , которую мы удаляем из очереди. И пусть следующая пара, где и которую мы удалим из очереди. Согласно нашему алгоритму класс мог появиться в очереди только после операции . Но после первого же разбиения класса на подклассы мы добавим в очередь пару , где меньший из образовавшихся подклассов, то есть . Так же заметим, что , а следовательно . Но тогда таких пар не может быть больше, чем .

Лемма (4):

по всем итерациям цикла не превосходит .

Доказательство:

Пусть , и . Зафиксируем эту тройку. Заметим, что количество раз, которое встречается в при условии, что , совпадает с числом удаленных из очереди пар , где . Но по лемме(3) эта величина не превосходит . Просуммировав по всем и по всем мы получим утверждение леммы.

Теорема:

Время работы алгоритма Хопкрофта равно .

Доказательство:

Оценим, сколько времени занимает каждая часть алгоритма:

Построение массива [math]\mathtt{Inv}[/math] занимает [math]O(|\Sigma| |Q|)[/math] времени.

По второй лемме количество итераций цикла [math]\mathrm{while}[/math] не превосходит [math]O(|\Sigma| |Q|)[/math].

Операции с множеством [math]T'[/math] и разбиение классов на подклассы требуют времени. Но по лемме(4) [math]\sum(|\mathtt{Inverse}|)[/math] не превосходит [math]|\Sigma| |Q| \log_2(|Q|)[/math], то есть данная часть алгоритма выполняется за .

В лемме(1) мы показали, что в процессе работы алгоритма не может появится больше, чем [math]2 |Q| - 1[/math] классов, из чего следует, что количество операций [math]\mathtt{replace}[/math] равно [math]O(|\Sigma| |Q|)[/math].

Итого, получается, что время работы алгоритма Хопкрофта не превышает .

Альтернативная реализация

Вообще, алгоритм можно реализовать и с меньшим количеством используемых структур (что делает код на порядок читабельнее).

Все классы разбиения будем по-прежнему хранить в векторе хэш-сетов [math]\mathtt{P}[/math].

[math]\mathtt{Class}[r][/math] — индекс класса в [math]\mathtt{P}[/math], которому принадлежит состояние [math]r[/math],
[math]\mathtt{Queue}[/math] — очередь из пар [math]\langle C,\ a \rangle[/math],
[math]\mathtt{Inv}[r][a][/math] — массив состояний, из которых есть ребра по символу [math]a[/math] в состояние [math]r[/math] (мы не меняем исходный автомат, потому может быть построен раз перед началом работы алгоритма),
[math]\mathtt{Involved}[/math] — ассоциативный массив из номеров классов в векторы из номеров вершин.

 [math]\mathtt{findEquivalenceClasses}(Q,\ F,\ \delta)[/math]:
    [math]\mathtt{P} \leftarrow \{ F, \ Q \setminus F \}[/math]
    for [math]c \in \Sigma[/math]
      insert [math]\langle F,\ c \rangle[/math], [math]\langle Q \setminus F,\ c \rangle[/math] into [math] \mathtt{Queue}[/math]
    while [math]\mathtt{Queue} \ne \varnothing[/math]
      [math]\langle C,\ a \rangle[/math] [math]\leftarrow[/math] pop from [math]\mathtt{Queue}[/math]
      [math]\mathtt{Involved} = \{\}[/math]
      for [math]q \in C[/math] and [math]r \in \mathtt{Inv}[q][a][/math]
        [math]i = \mathtt{Class}[r][/math]
        if [math]\mathtt{Involved}[i] == \varnothing[/math]
            [math]\mathtt{Involved}[i] = \{\}[/math]
        add [math]r[/math] to [math]\mathtt{Involved}[i][/math]
      for [math] i \in \mathtt{Involved}[/math] //Перебираем ключи [math]\mathtt{Involved}[/math]
        if [math]|\mathtt{Involved}[i]| \lt  |\mathtt{P}[i]|[/math]
            insert [math]\{\}[/math] into [math]\mathtt{P}[/math] //Создадим пустой класс в разбиении [math]\mathtt{P}[/math]
            [math]j = |\mathtt{P}|[/math] //Запишем в [math]j[/math] индекс нового класса
            for [math]r[/math] in [math]\mathtt{Involved}[i][/math]
              remove [math]r[/math] from [math]\mathtt{P}[i][/math]
              add [math]r[/math] to [math]\mathtt{P}[j][/math]
            if [math]|\mathtt{P}[j]| \gt  |\mathtt{P}[i]|[/math]  //Парный класс должен быть меньшего размера
               [math]\mathtt{swap}(\mathtt{P}[i],\ \mathtt{P}[j])[/math] //swap за [math]\mathtt{O(1)}[/math] — просто переставить указатели
            for [math]r \in \mathtt{P}[j][/math] //Обновляем номера классов для вершин, у которых они изменились
              [math]\mathtt{Class}[r] = j[/math]
            for [math]c \in \Sigma[/math]
              push [math]\langle j, c \rangle[/math] into [math]\mathtt{Queue}[/math]
    return [math]\mathtt{P}[/math]

См. также

Алгоритм Бржозовского

Источники информации

Хопкрофт Д., Мотвани Р., Ульман Д. Введение в теорию автоматов, языков и вычислений, 2-е изд. : Пер. с англ. — М.: Издательский дом «Вильямс», 2002. — С. 177 — ISBN 5-8459-0261-4 (рус.)
D. Gries. Describing an algorithm by Hopcroft. Technical Report TR-72-151, Cornell University, December 1972.
Hang Zhou. Implementation of Hopcroft's Algorithm, 19 December 2009.
John Hopcroft An O(nlogn) algorithm for minimizing states in a finite automation

Минимизация ДКА, алгоритм Хопкрофта (сложность O(n log n))

Содержание