Построение суффиксного массива с помощью стандартных методов сортировки

НЕТ ВОЙНЕ

24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян. Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием. Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей. Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить. Антивоенный комитет России

Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.

meduza.io, Популярная политика, Новая газета, zona.media, Майкл Наки.

Идея построения суффиксного массива

Согласно определению суффиксного массива, для его построения достаточно отсортировать все суффиксы строки. Заменим сортировку суффиксов строки [math]\alpha[/math] на сортировку циклических сдвигов строки [math]\alpha\$[/math], где символ [math]\$[/math] строго меньше любого символа из [math]\alpha[/math]. Тогда если в упорядоченных циклических сдвигах отбросить суффикс, начинающийся на [math]\$[/math], то получатся упорядоченные суффиксы исходной строки [math]\alpha[/math]. В дальнейшем положим [math]|\alpha\$| = n [/math] (заметим, что все циклические сдвиги также имеют длину [math]n[/math]), а также [math]\alpha\$ = s[/math].

Наивный алгоритм

Данный алгоритм достаточно тривиален. Отсортируем все циклические сдвиги строки [math]\alpha\$[/math], воспользовавшись любым известным методом логарифмической сортировки (например "сортировка слиянием"). Тогда сравнение любых двух циклических сдвигов будет осуществляться за [math]O(n)[/math] и суммарная сложность алгоритма составит [math]O(n^2\log n)[/math].

Псевдокод

int[] sufArray(string s)
   suf = {0, 1 .. s.length}
   sort(suf, compare)
   return suf

order compare(int j1, int j2)
    for i = 0 .. s.length
        if (s[(j1 + i) mod s.length] > s[(j2 + i) mod s.length])
            return GT
        if (s[(j1 + i) mod s.length] < s[(j2 + i) mod s.length])
            return LT
    return EQ

Алгоритм, использующий хеши

Данный алгоритм является некоторым улучшением предыдущего. Основная цель — сократить оценку времени сравнения двух циклических сдвигов до [math]O(\log n)[/math], тогда мы по аналогии с предыдущим алгоритмом получим оценку [math]O(n \log^2 n)[/math]. У нас есть возможность быстро сравнивать подстроки на равенство используя метод, описанный в алгоритме Рабина-Карпа .

Пусть нам необходимо сравнить два циклических сдвига [math]s[i_1..i_1-1][/math] и [math]s[i_2..i_2-1][/math]. Найдем сначала их наибольший общий префикс ([math]lcp(i_1,i_2)[/math]), для этого будем использовать двоичный поиск по длине совпадающего префикса, а проверку осуществлять с помощью посчитанных хешей префиксов. Поскольку циклический сдвиг состоит из суффикса и префикса [math]suf + pref[/math] исходной строки, то с помощью двух хешей префиксов исходной строки можно найти хеш [math]suf[/math] или префикса [math]suf[/math]. Таким образом можно найти хеш префикса циклического сдвига.

Если оказалось, что [math]lcp(i_1,i_2) = n[/math], то строки равны. Если же [math]lcp(i_1,i_2) \lt n[/math], то символы [math]s[i_1 + lcp][/math] и [math]s[i_2+lcp][/math] точно различаются, и их сравнение позволяет сделать вывод, какой из циклических сдвигов меньше в лексикографическом порядке. Итак, двоичный поиск работает за [math]O(\log n)[/math], остальные операции требуют константного времени, следовательно, время, необходимое на сравнение двух циклических сдвигов, оценивается как [math]O(\log n)[/math].

Псевдокод

int[] sufArray(string s)
   suf = {0, 1 .. s.length}
   sort(suf, compare)
   return suf

order compare(int j1, int j2)
    same = lcp(j1, j2)
    if s[j1 + same] < s[j2 + same]
        return LT
    else if s[j1 + same] == s2[j2 + same]
        return EQ
    else
        return GT

int lcp(j1, j2)
   l = -1
   r = s.length + 1
   while r - l > 1
       m = (r + l) / 2
       if hash[j1 .. j1 + m] == hash[j2 .. j2 + m]
          l = m
       else
          r = m
   return l

Алгоритм, использующий префиксы циклических сдвигов

Этот алгоритм сильно отличается от двух предыдущих и от него несложно перейти к алгоритму за [math]O(n \log n)[/math]. Итак, основная идея: на каждом шаге будем сортировать префиксы циклических сдвигов длины [math]1,2,4,..., 2^{\lceil \log_2 n\rceil}[/math]. Еще одно важное дополнение: после каждой фазы каждому префиксу циклического сдвига [math]s[i..i-1][/math] будет присваиваться номер класса эквивалентности [math]c[i][/math] среди этих префиксов. Причем классы эквивалентности должны быть пронумерованы в лексикографическом порядке соответствующих представителей.

Сначала легко можно отсортировать за [math]O(n \log n)[/math] префиксы длины [math]1[/math], то есть символы. А номера классов поставить в соответствии с порядковым номером символа в алфавите.

Рассмотрим теперь переход от префиксов длины [math]l[/math] к префиксам длины [math]2l[/math]. Научимся сравнивать два префикса длины [math]2l[/math] за [math]O(1)[/math]: Пусть даны префиксы [math]s[i..i+2l-1][/math], [math]s[j..j+2l-1][/math], сравним сначала их левые половинки, использовав значения [math]c[i], c[j][/math] с предыдущего шага, если [math]c[i]\neq c[j][/math], то префиксы соотносятся так как же, как [math]c[i][/math] и [math] c[j][/math], если [math]c[i]=c[j][/math], то переходим к сравнению [math]c[i+l][/math] и [math] c[j+l][/math]. Итак, отсортировать префиксы длины [math]2l[/math] можно за [math]O(n\log n)[/math]. Вычислить новые [math]c[i][/math] можно просто пробежавшись в лексикографическом порядке по префиксам, и увеличивая номер соответствующего класса на [math]1[/math], если текущий префикс не совпадает с предыдущим (сравнивать с помощью старых [math]c[i], c[i+l][/math]).

После шага [math]l =2^{\lceil \log_2 n\rceil} \geqslant n[/math] все циклические сдвиги будут отсортированы. Всего шагов [math]O(\log n)[/math], каждый шаг проводится за [math]O(n \log n)[/math], итоговая асимптотика [math]O(n \log^2 n)[/math].

Схожая идея используется и в алгоритме цифровой сортировки суффиксов циклической строки, который имеет лучшую асимптотику.

Псевдокод

int[] suf_array(string s)
   suf = {0, 1 .. s.length}
   sort(suf, compare1)
   c = {s[0], s[1] .. s[s.length - 1]}

   for l = 1 .. 2^(ceil(log2(n)) - 1) step l *= 2
       sort(suf, compare2)
       c'[suf[0]] = 0
       for i =  1 .. s.length - 1
           l1 = suf[i - 1]
           r1 = suf[i - 1] + l
           l2 = suf[i]
           r2 = suf[i] + l
           if c[l1] [math]\neq[/math] c[l2] or c[r1] [math]\neq[/math] c[r2]
               c'[suf[i]] = c'[suf[i - 1]] + 1
           else
               c'[suf[i]] = c'[suf[i - 1]]
        c = c'
   return suf

order compare1(int j1, int j2)
    if s[j1] < s[j2]
        return LT
    else if s[j1] == s[j2]
        return EQ
    else
        return GT

order compare2(int j1, int j2)
    if c[j1] [math]\neq[/math] c[j2]
        return compare(c[j1], c[j2])
    else
        return compare(c[j1 + l], c[j2 + l])

См. также

• Суффиксный массив
• Алгоритм цифровой сортировки суффиксов циклической строки

Источники информации

Wikipedia — Suffix array construction algorithms