Изменения

Перейти к: навигация, поиск

Суффиксный автомат

14 435 байт добавлено, 01:38, 30 августа 2018
Алгоритм
__TOC__
==Описание==
Рассмотрим конечный алфавит <tex>A</tex>. Пусть <tex>A^*</tex> {{---}} набор слов в алфавите <tex>A</tex>. Суффиксный автомат <tex>\mathcal{A}</tex> {{---}} это набор <tex>\langle Q, A, i, T, \delta \rangle</tex>, где* <tex>Q</tex> {{---}} конечный набор состояний,* <tex>i</tex> для строки {{---}} начальное состояние,* <tex>sT</tex> представляет собой ациклический ориентированный граф{{---}} набор терминальных состояний, с начальной вершиной * <tex>\delta</tex> {{---}} функция перехода. Для <tex>q \in Q</tex> и множеством терминальных вершин<tex>a \in A</tex>, <tex>\delta(q, a)</tex> определена, если состояние достижимо из <tex>q</tex> переходом по символу <tex>a</tex>. Функция перехода распространяется на слова и <tex>\delta(q, x)</tex> обозначает, что если она существует, рёбра которого помечены символами то состояние достигнуто после чтения слова <tex>sx</tex> из состояния <tex>q</tex>.Автомат <tex>\mathcal{A}</tex> распознает язык <tex>\{x \in A^* : \delta(i, x) \in T \}</tex>.
Суффиксный автомат <tex>\mathcal{A}</tex> для строки <tex>s</tex> представляет собой [[Основные_определения_теории_графов|ациклический ориентированный граф]], с начальной вершиной и множеством терминальных вершин, рёбра которого помечены символами <tex>s</tex>:
* вершины этого графа {{---}} состояния автомата, а рёбра {{---}} переходы,
* каждый переход в автомате {{---}} ребро в графе, помеченное некоторым символом и все рёбра, исходящие из одной вершины имеют разные метки,
* одно из состояний называется начальным, из него достижимы все остальные состояния,
* одно или несколько состояний помечены как терминальные {{---}} если пройти от начального состояния до терминального по какому-либо пути и выписывать при этом символы на переходах, то получим один из суффиксов строки <tex>s</tex>.
<br>
[[Файл:Suffix_automaton_ex.png|540px|frame|center|Пример суффиксного автомата для строки <tex>abbab</tex>.]]
}}
Таким образом, ДКА является минимальным тогда и только тогда, когда правые контексты всех его состояний попарно различны.
В случае суффиксного автомата правый контекст <tex>X_a</tex> строки <tex>a</tex> взаимнооднозначно соответствует множеству правых позиций вхождений строки <tex>a</tex> в строку <tex>s</tex>. Таким образом, каждое состояние автомата принимает строки с одинаковым множеством правых позиций их вхождений и обратно, все строки с таким множеством позиций принимается этим состоянием.
==Построение==
===Алгоритм===
{{Определение
|definition =
Пусть длина самой короткой строки, которая принимается состоянием <tex>q</tex> равно <tex>k</tex>, тогда '''суффиксная ссылка''' <tex>\mathrm{link_q}</tex> будет вести из этого состояния в состояние, которое принимает эту же строку без первого символа.
}}
Будем обозначать длину самой длинной строки, которая принимается состоянием <tex>q</tex> как <tex>\mathrm{len_q}</tex>. Длина самой короткой строки из <tex>q</tex> в таком случае будет равна <tex>\mathrm{len(link_q) } + 1</tex>. Суффиксный автомат может быть построен за линейное время (при константном размере алфавита) online-алгоритмом. Будем добавлять символы строки <tex>s</tex> по одному, перестраивая при этом автомат. Изначально автомат состоит из одного состояния, для которого <tex>\mathrm{len(0) } = 0</tex>, а <tex>\mathrm{link_0 } = -1</tex>.<br>Обозначим состояние <tex>\mathrm{last}</tex>, соответствующее текущей строке до добавления символа <tex>c</tex> (изначально <tex>\mathrm{last } = 0</tex>). <br>Создадим новое состояние <tex>\mathrm{cur}</tex>, <tex>\mathrm{len(cur) } = \mathrm{len(last) } + 1</tex>. <br>Рассмотрим все переходы из <tex>\mathrm{last}</tex> по текущему символу <tex>c</tex>. Если перехода нет, то добавляем переход в <tex>\mathrm{cur}</tex>, переходим по суффиксной ссылке и повторяем процедуру снова. Если переход существует, то остановимся и обозначим текущее состояние за <tex>p</tex>. Если перехода не нашлось и по суффиксным ссылкам мы дошли до фиктивного состояния (на которое указывает <tex>\mathrm{link_0}</tex>), то <tex>\mathrm{link_{cur}} = 0</tex>.<br>
Допустим, что мы остановились в состоянии <tex>p</tex>, из которого существует переход с символом <tex>c</tex>. Обозначим состояние, куда ведёт переход, через <tex>q</tex>. Рассмотрим два случая:<br>
# Если <tex>\mathrm{len(p) } + 1 = \mathrm{len(q)}</tex>, то <tex>\mathrm{link(qcur) } = cur\mathrm{q}</tex>.<br># В противном случае, создадим новое состояние <tex>\mathrm{new}</tex>, скопируем в него <tex>q</tex> вместе с суффиксными ссылками и переходами. <tex>\mathrm{len(new)}</tex> присвоим значение <tex>\mathrm{len(p) } + 1</tex>. Перенаправим суффиксную ссылку из <tex>q</tex> в <tex>\mathrm{new}</tex> и добавим ссылку из <tex>\mathrm{cur}</tex> в <tex>\mathrm{new}</tex>. Пройдём по всем суффиксным ссылкам из состояния <tex>p</tex> и все переходы в состояние <tex>q</tex> по символу <tex>c</tex> перенаправим в <tex>\mathrm{new}</tex>.Обновим значение <tex>\mathrm{last } = \mathrm{cur}</tex>. ===Пример построения==={| class = "wikitable"! Изображение !! Описание|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s1.png|x180px|center|Шаг 1.]]|Изначально автомат состоит из одного начального состояния. <tex>\mathrm{last} = 0, \mathrm{len(0)} = 0</tex>|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s2.png|x180px|center|Шаг 2.]]|Добавляем символ <tex>a</tex>. Создаем состояние <tex>1</tex>. Переходов из начального состояния по символу <tex>a</tex> нет, перейти по суффиксным ссылкам некуда, значит добавим суффиксную ссылку <tex>\mathrm{link_{1}} = 0</tex>. <tex>\mathrm{last} = 1, \mathrm{len(1)} = 1</tex>|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s3.png|x180px|center|Шаг 3.]]|Добавляем символ <tex>b</tex>. Создаем состояние <tex>2</tex>.Добавим переход из <tex>1</tex>, откатимся по суффиксной ссылке и добавим переход из <tex>0</tex>. Добавим суффиксную ссылку <tex>\mathrm{link_{2}} = 0</tex>. <tex>\mathrm{last} = 2, \mathrm{len(2)} = 2</tex>|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s4.png|x180px|center|Шаг 4.]]|Аналогично добавим символ <tex>c</tex> и обновим автомат. <tex>\mathrm{last} = 3, \mathrm{len(3)} = 3</tex>|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s5.png|x180px|center|Шаг 5.]]|Добавляем символ <tex>b</tex>. Добавим переход из <tex>3</tex> и перейдем по суффиксной ссылке в начальное состояние. Из состояния <tex>0</tex> существует переход по символу <tex>b</tex>|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s6.png|x180px|center|Шаг 6.]]|Рассмотрим состояние <tex>2</tex>, куда существует переход. Имеем <tex>\mathrm{len(0)} + 1 \neq \mathrm{len(2)}</tex>.# Создаем новое состояние <tex>5</tex>.# Копируем в него все суффиксные ссылки и переходы из <tex>2</tex> и присвоим <tex>\mathrm{len(5)} = \mathrm{len(0)} + 1 = 1</tex>.# Перенаправим суффиксную ссылку из <tex>2</tex> в <tex>5</tex> и добавим ссылку из <tex>4</tex> в <tex>5</tex>. Перенаправим переход <tex>0 \rightarrow 2</tex> в состояние <tex>5</tex>.|-|style="background-color:#FFF" |[[Файл:Suffix_automaton_s7.png|x180px|center|Шаг 7.]]|Построение автомата завершено. Чтобы пометить терминальные вершины, найдём состояние, которое принимает строку <tex>abcb</tex> и пройдём по суффиксным ссылкам, помечая все посещенные состояния терминальными.|-|}
==Реализация==
В приведённой ниже реализации используются следующие переменные:* Переходы хранятся в массиве <tex>\mathrm{edges[]}</tex> {{---}} массив отображений (ключ {{---}} символ, значение {{---}} номер состояния) с переходами,* <tex>\mathrm{link[]}</tex> {{---}} массив суффиксных ссылок, * <tex>\mathrm{len[]}</tex> {{---}} массив длин строк,* <tex>edges\mathrm{newState()}</tex>{{---}} функция, которая создаёт новое состояние и возвращает его номер,* Суффиксные ссылки хранятся в массиве <tex>link\mathrm{clone()}</tex>{{---}} функция, которая копирует состояние и возвращает номер нового состояния, * Длины строк хранятся в массиве <tex>len\mathrm{last}</tex>{{---}} последнее состояние.
'''func''' addChar(c''': char''')''':''' r '''int''' cur = newState() <font color="green">// создаём новое состояние и возвращаем получаем его номер</font>
'''int''' p = last '''while''' p >= 0 '''and''' edges[p].find(c) == edges[p].end()''':'null'' edges[p][c] = rcur
p = link[p]
'''if''' p != -1 ''':int''' q = edges[p][c] '''if''' len[p] + 1 == len[q]''':''' link[rcur] = q '''else:''' '''int''' new = clone(q) <font color="green">// скопируем состояние <tex>q</tex>и получим номер нового состояния</font> len[new] = len[p] + 1 link[q] = link[rcur] = new '''while''' p >= 0 '''and''' edges[p][c] == q''':'''
edges[p][c] = new
p = link[p]
last = rcur ==Применение=====Проверка вхождения строки==={{Задача|definition =Даны строки <tex>s</tex> и <tex>p</tex>. Требуется проверить, является ли строка <tex>p</tex> подстрокой <tex>s</tex>.}}Построим суффиксный автомат для строки <tex>s</tex>.<br>Пусть текущее состояние {{---}} <tex>\mathrm{cur}</tex>, изначально равно <tex>0</tex> (начальному состоянию).<br>Будем по очереди обрабатывать символы строки <tex>p</tex>. Если из состояния <tex>\mathrm{cur}</tex> есть переход в по текущему символу, то перейдем в новое состояние и повторим процедуру. Если перехода не существует, то <tex>p</tex> не является подстрокой <tex>s</tex>. Если успешно обработали все символы <tex>p</tex>, то она является подстрокой <tex>s</tex>.<br>Асимптотика {{---}} построение суфавтомата за <tex>O(|s|)</tex>, проверка за <tex>O(|p|)</tex>. ===Позиция первого вхождения строки==={{Задача|definition =Даны строки <tex>s</tex> и <tex>p</tex>. Требуется найти позицию первого вхождения строки <tex>p</tex> в <tex>s</tex>.}}Построим суффиксный автомат для строки <tex>s</tex>.<br>В процессе построения для каждого состояния <tex>q</tex> будем хранить значение <tex>\mathrm{first(q)}</tex> {{---}} позицию окончания первого вхождения строки.Поддерживать позицию <tex>\mathrm{first}</tex> можно следующим образом: при добавлении нового состояния <tex>\mathrm{first(cur)} = \mathrm{len(cur)} - 1</tex>, а при клонировании вершины <tex>\mathrm{first(new)} = \mathrm{first(q)}</tex>.<br>Для поиска вхождения обойдём автомат, как в предыдущей задаче. Пусть состояние <tex>p'</tex> в автомате соответствует строке <tex>p</tex>. Тогда ответ на задачу <tex>\mathrm{first(p')} - |p| + 1</tex>.<br>Асимптотика {{---}} построение суфавтомата за <tex>O(|s|)</tex>, проверка за <tex>O(|p|)</tex>.===Количество различных подстрок==={{Задача|definition =Дана строка <tex>s</tex>. Найти количество различных подстрок строки <tex>s</tex>.}}Построим суффиксный автомат для строки <tex>s</tex>.<br>Каждой подстроке в суффиксном автомате соответствует путь, тогда ответ на задачу {{---}} количество различных путей из начальной вершины. Так как суфавтомат представляет собой ациклический граф, мы можем найти [[Задача_о_числе_путей_в_ациклическом_графе|количество путей в графе методом динамического программирования]].===Наибольшая общая подстрока двух строк==={{Задача|definition=Даны строки <tex>s</tex> и <tex>t</tex>. Требуется найти наибольшую общую подстроку двух строк.}}Построим суффиксный автомат для строки <tex>s</tex>.<br>Пройдём по строке <tex>t</tex> и для текущего символа будем искать длину наибольшей общей подстроки, которая заканчивается в текущей позиции. Для этого будем поддерживать <tex>v</tex> {{---}} текущее состояние и <tex>l</tex> {{---}} текущую длину совпадающей части.<br>Изначально <tex>v = 0</tex>, <tex>l = 0</tex> {{---}} совпадение пустое. Рассматриваем текущий символ <tex>t_i</tex>. Если в автомате существует переход из текущего состояния по данному символу, то перейдем в новое состояние и увеличим длину <tex>l</tex> на <tex>1</tex>.<br>Если перехода не существует, то попробуем минимально уменьшить длину совпадающей подстроки: перейдем по суффиксной ссылке из <tex>v</tex> в новое состояние и примем <tex>l = \mathrm{len(v)}</tex>. Повторим операцию до тех пор, пока не найдём переход. Если по суффиксным ссылкам мы дошли до состояния, в которое ведёт суффиксная ссылка начальной вершины, то это значит, что символа <tex>t_i</tex> нет в строке <tex>s</tex>. В таком случае примем <tex>v = l = 0</tex>, после чего перейдем к следующему символу строки <tex>t</tex>.<br>Длиной наибольшей общей подстроки будет <tex>\mathrm{maxLen}</tex> {{---}} максимум из всех значений <tex>l</tex>, полученных в ходе работы алгоритма. Тогда ответом на задачу будет являться подстрока <tex>t[(\mathrm{maxPos} - \mathrm{maxLen} + 1) .. \mathrm{maxPos}]</tex>, где <tex>\mathrm{maxPos}</tex> {{---}} позиция, в которой достигнут максимум. ==Сравнение с другими суффиксными структурами==Пусть <tex>s</tex> {{---}} строка, для которой строим соответствующую структуру, <tex>n = |s|</tex>, <tex>\Sigma</tex> {{---}} [[Основные_определения:_алфавит,_слово,_язык,_конкатенация,_свободный_моноид_слов;_операции_над_языками|алфавит]]. {| class="wikitable"|-|| align="center" | '''Время работы'''| align="center" | '''Память'''|-| align="center" | [[Суффиксный бор]]| align="center" | <tex>O(n ^ 2)</tex>| align="center" | <tex>O(n^2 + n |\Sigma|)</tex>|-| align="center" | [[Сжатое суффиксное дерево]]| align="center" | <tex>O(n \log{|\Sigma|})</tex>| align="center" | <tex>O(n |\Sigma|)</tex>|-| align="center" | [[Суффиксный массив]]| align="center" | <tex>O((n + |\Sigma|) \log{n})</tex>| align="center" | <tex>O(n + |\Sigma|)</tex>|-| align="center" | Суффиксный автомат| align="center" | <tex>O(n \log{|\Sigma|})</tex>| align="center" | <tex>O(n)</tex>|} ==См. также==* [[Автомат для поиска образца в тексте]]* [[Алгоритм Ахо-Корасик]]* [[Поиск наибольшей общей подстроки двух строк с использованием хеширования]]
==Источники информации==
* Maxime Crochemore, Christophe Hancart, Thierry Lecroq {{---}} Algorithms on Strings
* [http://codeforces.com/blog/entry/22420| А. Кульков {{---}} Лекция по суффиксным структурам]* [http://e-maxx.ru/algo/suffix_automata MAXimal :: algo :: Суффиксный автомат]
[[Категория: Алгоритмы и структуры данных]]
[[Категория: Структуры данных]]
[[Категория: Поиск подстроки в строке]]
[[Категория: Точный поиск]]
[[Категория: Автоматы и регулярные языки]]
Анонимный участник

Навигация