Сверхбыстрый цифровой бор

Цифровой бор

Работаем с целыми числами, которые представляются с помощью [math]w[/math] битов, аналогично дереву Ван Эмде Боаса. Мы можем их складывать, вычитать, умножать, сдвигать, производить с ними логические операции, адресоваться ими. В модели памяти [math]\mathrm{unit~cost~RAM}[/math], которая сейчас применима к большинству процессоров, эти операции могут быть выполнены за [math]O(1)[/math].

Цифровой бор — бор, в котором в качестве строк используются двоичные записи чисел, включая ведущие нули. Таким образом он имеет глубину [math]w[/math].

Цифровой бор поддерживает операции [math]\mathrm{insert},\ \mathrm{remove},\ \mathrm{find},\ \mathrm{succ},\ \mathrm{pred}[/math].

Добавление вершины происходит так же, как и в обычном боре. Удаление можно выполнять лениво — просто убирая пометку с листа. А можно хранить число пометок в поддереве и удалять вершину, если это число стало равным нулю.

succ

Поиск следующего элемента осуществляется проходом от корня до вершины, из которой не можем пойти в нужную сторону. Если не смогли пойти влево [math]([/math]по ребру [math]0)[/math], то ответ — минимум в правом поддереве. Если не смогли пойти вправо, поднимаемся наверх, пока являемся правым ребенком; если стали левым, то поднимаемся, пока у вершины нет правого ребенка (если такой ситуации нет, то запрос больше всех элементов). Тогда ответ — минимум в правом поддереве.

Преимущества: простая реализация, занимает [math]O(n \cdot w)[/math] памяти, все операции выполняются за [math]O(w)[/math].

Хуже дерева Ван Эмде Боаса по скорости, но памяти занимает меньше.

Быстрый цифровой бор (x-fast-trie)

x-fast-trie

Ссылки на минимум и максимум

Он по-прежнему будет занимать [math]O(n \cdot w)[/math] памяти, но немодифицирующие операции [math](read{-}only)[/math] будут выполняться за [math]O(\log w)[/math].

Улучшим структуру: было два слабых места — подниматься вверх и искать минимум.

succOrPred

Первая модификация — занесем все элементы в двусвязный список в порядке, в котором они лежат в боре. Добавим операцию [math]\mathrm{succOrPred}[/math], которая возвращает следующий или предыдущий в зависимости от того, что проще. Работает она так: спускается вниз до наибольшего общего префикса, а потом до минимума в правом дереве или же до максимума в левом. Тогда мы получим какой-то элемент списка и не более чем за два шага в списке сможем получить ответ на запрос.

Вторая модификация — добавим ссылки. Операции поиска минимума и максимума дорогие, выполним их за [math]O(1)[/math]. Теперь становится понятно, что необязательно спускаться до минимума или максимума в дереве. Если у вершины нет левого сына, отметим это одним битом, а вместо ссылки на левого сына сделаем ссылку на минимум в правом поддереве, что удобно для нашей реализации [math]\mathrm{succOrPred}[/math]. Если нет правого сына, то храним ссылку на максимум в левом поддереве.

insert

При вставке с помощью [math]\mathrm{succOrPred}[/math] и двусвязного списка находим следующий и предыдущий элементы и вставляем нужный элемент между ними. А также при создании новой вершины (у которой будет только один ребенок) на обратном пути рекурсии заменяем ссылки.

 // prefixes — HashMap всех префиксов бора
 // узлы списка и дерева будем хранить одним типом: узлом с ссылками на правый и левый элементы, а содержимым — целым числом
 // только в списке будет храниться само число, а боре 1, если вершина — лист, и 0 в остальных случаях
 function insert(x: N):
   if x in prefixes                                                // x содержится в боре
     return                                                        // тогда не добавляем его
   Node left = pred(x), right = succ(x), node = Node(x)
   // insert node между left и right в двусвязном списке листьев
   // передаём ссылку на элемент в списке, чтобы сделать на него быструю ссылку в случае отсутствия одного из сыновей
   root = insertNode(root, w, node) 
   prefixes.addAll(allPrefixes(x))

 N insertNode(vertex: N, depth: , node: N):
   if vertex == [math] \varnothing [/math]
     vertex = Node(left = [math]\varnothing[/math], right = [math]\varnothing[/math], terminal = depth == 0)
   if depth == 0
     return vertex
   if bit(node.value, depth) == 0                                  // depth-й бит, т. е. соответствующий текущей глубине
     vertex.left = insertNode(vertex.left, depth - 1, node)
   else
     vertex.right = insertNode(vertex.right, depth - 1, node)
   if vertex.left == [math] \varnothing [/math]
     vertex.mark = HASNOLEFTSON
     vertex.left = node
   else if vertex.right == [math] \varnothing [/math]
     vertex.mark = HASNORIGHTSON
     vertex.right = node
   else
     vertex.mark = HASALLSONS

delete

Удаление происходит аналогично добавлению. Модифицируем бор, чтобы в вершине был счётчик, сколько у неё вершин в поддереве. Если 0, то удаляем её совсем. Иначе же, если удалился какой-то из сыновей, то надо обновить ссылки min и max. Это сделать просто — ссылкой на минимум (максимум) в правом (левом) поддереве становится [math] successor ~(predecessor)[/math] удалённой вершины.

Вставка и удаление выполняются за [math]O(w)[/math].

binarySearch

Пока что мы не добились асимптотического выигрыша — все операции по-прежнему выполняются за [math]O(w)[/math]. Теперь слабое место — это поиск наибольшего общего префикса. Будем искать его двоичным поиском. Для этого занесём префиксы всех чисел в [math] HashMap [/math] — ассоциативный массив, который по префиксу возвращает вершину в боре [math]([/math]чтобы избежать проблемы с ведущими нулями, используем при поиске маску вида [math]0\ldots01\ldots1)[/math]. Запустим двоичный поиск по длине наибольшего общего префикса. Как только он вернет максимальный префикс, переходим в вершину (у этой вершины не может быть два сына, так как тогда поиск бы не завершился) и там за [math]O(1)[/math] находим минимум или максимум, и за [math]O(1)[/math] переходим по списку, если нужно.

Итого операции [math]find, succ[/math] и [math]pred[/math] будут выполняться за [math]O(\log w)[/math].

Сверхбыстрый цифровой бор (y-fast-trie)

y-fast-trie

Теперь усовершенствуем [math]x{-}fast{-}trie[/math] до [math]y{-}fast{-}trie[/math], который занимает [math]O(n)[/math] памяти, а все операции выполняются за [math]O(\log w)[/math], правда, для модифицирующих операций эта оценка будет амортизированной.

Уменьшим количество занимаемой памяти. Пусть [math]a_1 \lt a_2 \lt a_3 \lt ... \lt a_n[/math] — числа, которые нужно хранить в боре. Выберем какое-то [math]k[/math] (что за [math]k[/math] — будет видно дальше). Разобьём их на [math]s[/math] блоков [math] B [/math] размером от [math]\frac{k}{2}[/math] до [math]2k[/math], а точнее

[math] \overbrace {a_1 \lt a_2 \lt a_3}^{B_1} ~\overbrace {a_4 \lt ... }^{B_2} ~\overbrace {... \lt ~a_{n-1} \lt a_n}^{B_s} [/math]

Выберем в каждом блоке какого-нибудь представителя. И поместим этих представителей в [math]x{-}fast{-}trie[/math]. Всего в [math]x{-}fast{-}trie[/math] будет [math]O(\frac{2 \cdot n \cdot w} {k})[/math] элементов. Поэтому если выбрать [math]k = \Omega(w)[/math], то [math]x{-}fast{-}trie[/math] будет занимать [math]O(n)[/math] памяти.

Каждый лист [math]x{-}fast{-}trie[/math] является представителем блока, а все остальные элементы блока (в т. ч. и представителя) подвесим к листу как сбалансированное двоичное дерево поиска. В дереве может храниться от [math]\frac{w}{2}[/math] до [math]2w[/math] элементов, поэтому его высота — [math]O(\log w)[/math].

Все деревья поиска занимают [math]O(n)[/math] памяти, и [math]x{-}fast{-}trie[/math] — [math]O(n)[/math] памяти. Поэтому [math]y{-}fast{-}trie[/math] тоже занимает [math]O(n)[/math] памяти.

find

Находим [math]succ(x)[/math] среди представителей в [math]x{-}fast{-}trie[/math], а потом запускаем поиск [math]succ(x)[/math] в дереве, подвешенном к листу [math]x[/math], а также в дереве, подвешенном к листу [math]pred(x)[/math] среди представителей в [math]x{-}fast{-}trie[/math]. Представителем дерева является необязательно минимальный или максимальный элемент, поэтому нужно запустить в двух деревьях. Заметим, что мы ищем элемент только в двух деревьях, так как искомый элемент точно находится между своими следующим и предыдущим элементами. [math]O(\log w)[/math] на поиск в [math]x{-}fast{-}trie[/math] и [math]O(\log w)[/math] на поиск в деревьях поиска, поэтому итогая асимптотика — [math]O(\log w)[/math].

[math]succ[/math] и [math]pred[/math] выполняются аналогично.

insert

Вставка элемента [math]x[/math] происходит следующим образом: найдём [math]succ(x)[/math] и вставим его в подвешенное к листу дерево. Но может возникнуть плохая ситуация: размер дерева станет [math]2 \cdot w + 1[/math]. Тогда поступим следующим образом: удалим наше дерево из [math]x{-}fast{-}trie[/math], разделим его на элементы, из которых построим два дерева размером [math]w[/math] и [math]w + 1[/math], и вставим в [math]x{-}fast{-}trie[/math] их оба.

delete

Удаление происходит аналогично, только если размер дерева станет [math]\frac{w}{2} - 1[/math], то надо его слить с любым соседним деревом. А если после слияния размер получившегося дерева станет больше [math]2 \cdot w[/math], то надо его разделить аналогично предыдущему случаю.

АВЛ-деревья или красно-чёрные позволяют выполнять слияние и разделение за линейное время, поэтому операции вставки и удаления выполняются за [math]O(w)[/math].

Асимптотика

Заметим, что вставка, которая не модифицирует верхний бор, выполняется за истинный [math]\log w[/math], также и [math]succ, pred[/math]. Плохие операции — которые модифицируют верхний бор. Но они не происходят слишком часто.

Применим амортизационный анализ, используя метод предоплаты. Копим деньги на дешевых операциях. Слияние массивов осуществляется за [math]O(w)[/math], как и разделение. Поэтому если мы накопим [math]\Omega(w)[/math] дополнительных денег на дешёвых операциях, то сумеем расплатиться за все остальные, просто положив константное число дополнительных монет во время каждой операции. Худший для разделения случай произойдет, если мы дальше будем только добавлять элементы — было [math]\frac{w}{2} - 1[/math] и [math]2 \cdot w[/math], слили, стало больше [math]2 \cdot w[/math], разделили, таким образом получили два дерева с [math]\frac{5\cdot w}{4}[/math] элементами. Худший случай для слияния, когда у нас [math]w[/math] элементов (просиходит после разделения [math]2 \cdot w + 1[/math] дерева). Заметим, что в каждом случае дерево находится на расстоянии [math]\Theta(w)[/math] от границ. Следовательно, если мы будем класть определённое константное число монет, то скопим их достаточно, чтобы расплатиться за дорогие операции слияния и разделения деревьев.

Получаем амортизированную оценку [math]O(\log w)[/math] и истинную — [math]O(w)[/math].

Получилась та же оценка на операции, что и у дерева Ван Эмде Боаса, но структура данных занимает [math]O(n)[/math] памяти.

Источники информации

• Y-fast trie — Wikipedia
• X-fast trie — Wikipedia
• Лекция А. С. Станкевича в Computer Science Center