http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&user=188.130.155.162&feedformat=atomВикиконспекты - Вклад участника [ru]2024-03-28T08:01:15ZВклад участникаMediaWiki 1.30.0http://neerc.ifmo.ru/wiki/index.php?title=Z-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F&diff=62144Z-функция2017-11-08T12:46:48Z<p>188.130.155.162: /* Псевдокод */</p>
<hr />
<div>{{Определение<br />
|definition = '''Z-функция''' (англ. ''Z-function'') от строки <tex>S</tex> и позиции <tex>x</tex> — это длина максимального префикса подстроки, начинающейся с позиции <tex>x</tex> в строке <tex>S</tex>, который одновременно является и префиксом всей строки <tex>S</tex>. Более формально, <tex>Z[i](s) = \max k \mid s[i\, \ldots \, i + k] = s[0 \ldots k]</tex>. <!-- проинлайнил \twodots из clrscode --><br />
<br />
Значение Z-функции от первой позиции не определено, поэтому его обычно приравнивают к нулю или к длине строки.<br />
}}<br />
'''Примечание:''' далее в конспекте символы строки нумеруются с нуля.<br />
<br />
[[Файл:Zfunc-examp.png|мини|500px|Строка и её Z-функция]]<br />
<br />
== Тривиальный алгоритм ==<br />
<br />
Простая реализация за <tex>O(n^2)</tex>, где <tex>n</tex> — длина строки. Для каждой позиции <tex>i</tex> перебираем для неё ответ, начиная с нуля, пока не обнаружим несовпадение или не дойдем до конца строки. <br />
<br />
=== Псевдокод ===<br />
'''int'''[] zFunction(s : '''string'''):<br />
'''int'''[] zf = '''int'''[n]<br />
'''for''' i = 1 '''to''' n − 1<br />
'''while''' i + zf[i] < n '''and''' s[zf[i]] == s[i + zf[i]]<br />
zf[i]++<br />
'''return''' zf<br />
<br />
== Эффективный алгоритм поиска ==<br />
<br />
Z-блоком назовем подстроку с началом в позиции <tex>i</tex> и длиной <tex>Z[i]</tex>.<br><br />
Для работы алгоритма заведём две переменные: <tex>left</tex> и <tex>right</tex> — начало и конец Z-блока строки <tex>S</tex> с максимальной позицией конца <tex>right</tex> (среди всех таких Z-блоков, если их несколько, выбирается наибольший). Изначально <tex>left=0</tex> и <tex>right=0</tex>.<br />
Пусть нам известны значения Z-функции от <tex>0</tex> до <tex>i-1</tex>. Найдём <tex>Z[i]</tex>. <br />
Рассмотрим два случая.<br />
<br />
# <tex>i > right</tex>:<br><!--<br />
-->Просто пробегаемся по строке <tex>S</tex> и сравниваем символы на позициях <tex>S[i+j]</tex> и <tex>S[j]</tex>.<!--<br />
-->Пусть <tex>j</tex> первая позиция в строке <tex>S</tex> для которой не выполняется равенство <tex>S[i+j] = S[j]</tex>, тогда <tex>j</tex> это и Z-функция для позиции <tex>i</tex>. Тогда <tex>left = i, right = i + j - 1</tex>. В данном случае будет определено корректное значение <tex>Z[i]</tex> в силу того, что оно определяется наивно, путем сравнения с начальными символами строки.<br />
# <tex>i \leqslant right</tex>:<br><!--<br />
-->Сравним <tex>Z[i - left] + i</tex> и <tex>right</tex>. Если <tex>right</tex> меньше, то надо просто наивно пробежаться по строке начиная с позиции <tex>right</tex> и вычислить значение <tex>Z[i]</tex>. Корректность в таком случае также гарантирована.<!--<br />
-->Иначе мы уже знаем верное значение <tex>Z[i]</tex>, так как оно равно значению <tex>Z[i - left]</tex>.<br />
[[Файл:z-func.png]]<br />
<br />
=== Время работы ===<br />
Этот алгоритм работает за <tex>O(|S|)</tex>, так как каждая позиция пробегается не более двух раз: при попадании в диапазон от <tex>left</tex> до <tex>right</tex> и при высчитывании Z-функции простым циклом.<br />
<br />
=== Псевдокод ===<br />
'''int'''[] zFunction(s : '''string'''):<br />
'''int'''[] zf = '''int'''[n]<br />
'''int''' left = 0, right = 0<br />
'''for''' i = 1 '''to''' n − 1<br />
zf[i] = max(0, min(right − i, zf[i − left]))<br />
'''while''' i + zf[i] < n '''and''' s[zf[i]] == s[i + zf[i]]<br />
zf[i]++<br />
'''if''' i + zf[i] > right<br />
left = i<br />
right = i + zf[i]<br />
'''return''' zf<br />
<br />
== Поиск подстроки в строке с помощью Z-функции ==<br />
<tex>n</tex> — длина текста. <tex>m</tex> — длина образца. <br> <br />
Образуем строку <tt>s = pattern + # + text</tt>, где <tt>#</tt> — символ, не встречающийся ни в <tt>text</tt>, ни в <tt>pattern</tt>. Вычисляем Z-функцию от этой строки.<br />
В полученном массиве, в позициях в которых значение Z-функции равно <tex>|\texttt{pattern}|</tex>, по определению начинается подстрока, совпадающая с <tt>pattern</tt>. <br />
<br />
=== Псевдокод ===<br />
'''int''' substringSearch(text : '''string''', pattern : '''string'''):<br />
'''int'''[] zf = zFunction(pattern + '#' + text)<br />
'''for''' i = m + 1 '''to''' n + 1<br />
'''if''' zf[i] == m <br />
'''return''' i<br />
<br />
<br />
==Построение строки по Z-функции==<br />
{{Задача<br />
|definition= Необходимо восстановить строку по Z-функции, считая алфавит ограниченным.<br />
}}<br />
===Описание алгоритма===<br />
Пусть в массиве <tex>z</tex> хранятся значения Z-функции, в <tex>s</tex> будет записан ответ. Пойдем по массиву <tex>z</tex> слева направо.<br />
<br />
Нужно узнать значение <tex>s[i]</tex>. Для этого посмотрим на значение <tex>z[i]</tex>: если <tex>z[i] = 0</tex>, тогда в <tex>s[i]</tex> запишем ещё не использованный символ или последний использованный символ алфавита, если мы уже использовали все символы. Если <tex>z[i] \neq 0</tex>, то нам нужно записать префикс длины <tex>z[i]</tex> строки <tex>s</tex>. Но если при посимвольном записывании этого префикса в конец строки <tex>s</tex> мы нашли такой <tex>j</tex> (индекс последнего символа строки), что <tex>z[j]</tex> больше, чем длина оставшейся незаписанной части префикса, то мы перестаём писать этот префикс и пишем префикс длиной <tex>z[j]</tex> строки <tex>s</tex>.<br />
<br />
Для правильной работы алгоритма, будем считать значение <tex>z[0]</tex> равным нулю.<br />
<br />
Заметим, что не всегда удастся восстановить строку с ограниченным алфавитом неподходящего размера. Например, для строки <tex>abacaba</tex> массив Z-функций будет <tex>[0, 0, 1, 0, 3, 0, 1]</tex>. Используя двоичный алфавит, мы получим строку <tex>abababa</tex>, но её массив Z-функций отличается от исходного. Ошибка восстановления строки возникла, когда закончились новые символы алфавита.<br />
<br />
Если строить строку по некорректному массиву значений Z-функции, то мы получим какую-то строку, но массив значений Z-функций от неё будет отличаться от исходного.<br />
<br />
=== Время работы ===<br />
Этот алгоритм работает за O(|S|), так как мы один раз проходим по массиву Z-функций.<br />
=== Реализация ===<br />
'''string''' buildFromZ(z : '''int'''[], alphabet : '''char'''[]):<br />
'''string''' s = ""<br />
'''int''' prefixLength = 0 <font color=green>// длина префикса, который мы записываем</font><br />
'''int''' j <font color=green>// позиция символа в строке, который будем записывать</font><br />
'''int''' newCharacter = 0 <font color=green>// индекс нового символа</font><br />
'''for''' i = 0 '''to''' z.length - 1<br />
<font color=green>// мы не пишем какой-то префикс и не будем писать новый</font><br />
'''if''' z[i] = 0 '''and''' prefixLength = 0<br />
if newCharacter < alphabet.length<br />
s += alphabet[newCharacter]<br />
newCharacter++<br />
else<br />
s += alphabet[newCharacter - 1]<br />
<font color=green>// нам нужно запомнить, что мы пишем префикс </font><br />
'''if''' z[i] > prefixLength<br />
prefixLength = z[i]<br />
j = 0<br />
<font color=green>// пишем префикс</font><br />
'''if''' prefixLength > 0<br />
s += s[j]<br />
j++<br />
prefixLength-- <br />
'''return''' s<br />
<br />
===Доказательство корректности алгоритма===<br />
<br />
Докажем, что если нам дали корректную Z-функцию, то наш алгоритм построит строку с такой же Z-функцией.<br />
<br />
Пусть <tex>z</tex> — данная Z-функция, строку <tex>s</tex> построил наш алгоритм, <tex>q</tex> — массив значений Z-функции для <tex>s</tex>. Покажем, что массивы <tex>q</tex> и <tex>z</tex> будут совпадать.<br />
<br />
[[Файл: Запись_префикса.png|330px|thumb|right|Записали префикс, начинающийся в <tex>i</tex>. После пишем префикс, начинающийся в <tex>j</tex>. Этот префикс не изменит символы первого префикса.]]<br />
<br />
Рассмотрим похожий алгоритм, но с более худшей асимптотикой. Отличие будет в том, что при <tex>z[i] > 0</tex> мы будем писать префикс полностью и возвращаться в позицию <tex>i + 1</tex>. Рассмотрим каждый шаг этого алгоритма. Если <tex>z[i] = 0</tex>, то мы пишем символ, отличный от первого символа строки, поэтому <tex>q[i] = 0</tex>, а значит <tex>q[i] = z[i]</tex>. Если <tex>z[i] > 0</tex>, то при записи <tex>s[i]</tex> мы будем получать <tex>q[i] = z[i]</tex>, потому что мы переписали префикс строки. Но далее мы можем переписать этот префикс другим префиксом. Заметим, что новый префикс будет содержаться и в префиксе самой строки, поэтому пересечение двух префиксов будет состоять из одинаковых символов. Значит, префикс не будет изменяться, как и значение <tex>q[i]</tex>. Тогда массив <tex>q</tex> совпадает с <tex>z</tex>.<br />
<br />
Покажем, что этот алгоритм эквивалентен нашему алгоритму. Когда мы пишем разные префиксы, то возможны три варианта: они не пересекаются (начало и конец одного префикса не принадлежат другому), один лежит внутри другого (начало и конец префикса принадлежит другому), они пересекаются (начало одного префикса пренадлежит другому, но конец не принадлежит).<br />
* Если префиксы не пересекаются, то в алгоритме они не влияют друг на друга.<br />
[[Файл: Префиксы1.png|400px]]<br />
* Если префикс лежит внутри другого префикса, то записав большой префикс мы запишем и малый, поэтому не нужно возвращаться к началу малого префикса.<br />
[[Файл: Префиксы2.png|400px]]<br />
* Если префиксы пересекаются, то нам нужно переписать часть префикса, который начинается раньше, и начать писать другой префикс (начало этого префикса запишет конец префикса, начинающегося раньше). Если полностью переписать префикс, начинающийся раньше, то мы не сможем восстановить префикс, который начинался раньше конца первого префикса.<br />
[[Файл: Префиксы3.png|400px]]<br />
<br />
Таким образом, алгоритмы эквивалентны и наш алгоритм тоже корректен.<br />
<br />
==Построение Z-функции по префикс-функции== <br />
<br />
{{Задача<br />
|definition= Дан массив с корректной [[Префикс-функция | префикс-функцией]] для строки <tex>s</tex>. Требуется получить массив с Z-функцией для строки <tex>s</tex>.<br />
}}[[Файл:Case one.png|300px|thumb|right|'''Случай первый''']]<br />
[[Файл:Case two.png|300px|thumb|right|'''Случай второй''']]<br />
[[Файл:Case three.png|300px|thumb|right|'''Случай третий''']]<br />
<br />
<br><br />
<br />
===Описание алгоритма=== <br />
<br><br />
Пусть префикс функция хранится в массиве <tex>P[0 \ldots n - 1]</tex>. Z-функцию будем записывать в массив <tex>Z[0 \ldots n-1]</tex>. Заметим, что если <tex>P[i]>0</tex>, то мы можем заявить, что <tex>Z[i-P[i]+1]</tex> будет не меньше, чем <tex>P[i]</tex>.<br />
<br><br />
<br><br />
Так же заметим, что после такого прохода в <tex>Z[1]</tex> будет максимальное возможное значение. Далее будем поддерживать инвариант: в <tex>Z[i]</tex> будет максимальное возможное значение.<br />
<br><br />
<br><br />
Пусть в <tex>Z[i] = z > 0</tex>, рассмотрю <tex>j<z</tex>, <tex>Z[j]=k</tex> и <tex>Z[i+j]=k_1</tex>. Пусть <tex>b_1=s[0 \ldots k-1]</tex>, <tex>b_2=s[j \ldots j+k-1]</tex>, <tex>b_3=s[0 \ldots z-1]</tex>. Тогда заметим, что <tex>b_3 = s[i \ldots i+z-1]</tex> и тогда возможны три случая:<br />
<br />
# <tex>k<k_1</tex>. <br />
#: Тогда <tex>b_1 \subset s[0 \ldots k_1-1]=s[i+j \ldots i+j+k_1-1]</tex> и тогда очевидно, что мы не можем увеличить значение <tex>Z[i+j]</tex> и надо рассматривать уже <tex>i=i+j</tex>. <br />
# <tex>k<z-j</tex> и <tex>k>k_1</tex>.<br />
#: Тогда <tex>b_1 = b_2 \subset b_3 = s[i \ldots i+z-1] \Rightarrow b_1 = s[i+j \ldots i+j+k-1]</tex> и тогда очевидно, что <tex>Z[i+j]</tex> можно увеличить до <tex>k</tex>. <br />
# <tex>k>z-j</tex> и <tex>k>k_1</tex>. <br />
#: Тогда <tex>b_1 = b_2 </tex>, но <tex>b_2</tex> не является подстрокой строки <tex>b_3</tex> (так как<tex>j+k-1 > z</tex>). Так как известно, что <tex>s[z] \ne s[i+z]</tex>, то <tex>s[0 \ldots z-j] = s[i+j \ldots i+z-1]</tex> и тогда понятно, что <tex>Z[i+j]=z-j</tex>. <br />
<br />
<br><br />
<br><br />
<br><br />
<br><br />
<br><br />
<br><br />
<br />
===Псевдокод===<br />
'''int[]''' buildZFunctionFromPrefixFunction(P : '''int'''[n])<br />
'''int'''[] Z = '''int'''[n]<br />
'''for''' i = 1 '''to''' n - 1<br />
'''if''' P[i] > 0<br />
Z[i - P[i] + 1] = P[i]<br />
Z[0] = n<br />
'''int''' i = 1<br />
'''while''' i < n <br />
'''int''' t = i<br />
'''if''' Z[i] > 0<br />
'''for''' j = 1 '''to''' Z[i] - 1<br />
'''if''' Z[i + j] > Z[j]<br />
'''break'''<br />
Z[i + j] = min(Z[j], Z[i] - j)<br />
t = i + j<br />
i = t + 1<br />
'''return''' Z<br />
<br />
===Время работы===<br />
Внешний цикл <tex>\mathrm{while}</tex> отработает за <tex>O(n)</tex> итераций, так как внутри него <tex>i</tex> увеличивается не менее чем на <tex>1</tex>. А внутренний цикл выполнит суммарно не более <tex>O(n)</tex> итераций, так как после него <tex>i</tex> увеличится на количество итераций внутреннего цикла, но <tex>i</tex> не может увеличиться более чем на <tex>n</tex>, так как каждое значение <tex>Z[i]</tex> не может превзойти <tex>n</tex>.<br />
<br />
== См. также ==<br />
* [[Префикс-функция]]<br />
* [[Алгоритм Кнута-Морриса-Пратта]]<br />
<br />
== Источники информации ==<br />
* [http://habrahabr.ru/post/113266/ Поиск подстроки и смежные вопросы — Хабр]<br><br />
* [[wikipedia:ru:Z-функция | Википедия — Z-функция]]<br><br />
* [http://codeforces.ru/blog/entry/9612/ Codeforces — Переход между Z- и префикс- функциями]<br />
<br />
[[Категория: Дискретная математика и алгоритмы]]<br />
[[Категория: Поиск подстроки в строке]]<br />
[[Категория:Точный поиск]]</div>188.130.155.162