Сверхбыстрый цифровой бор

Цифровой бор

Работаем с целыми числами, которые представляются с помощью w битов, аналогично дереву Ван Эмде Боаса. Мы можем их складывать, вычитать, умножать, сдвигать, производить с ними логические операции, адресоваться ими. В модели памяти unit cost RAM, которая сейчас применима к большинству процессоров, эти операции могут быть выполнены за [math]O(1)[/math].

Цифровой бор — бор, в котором в качестве строк используются двоичные записи чисел, включая ведущие нули. Таким образом он имеет глубину w.

Цифровой бор поддерживает операции [math]insert, remove, find, succ, pred[/math].

Добавление вершины происходит так же, как и в обычном боре. Удаление можно выполнять лениво - просто убирая пометку с листа. А можно хранить число пометок в поддереве и удалять вершину, если это число стало равным нулю.

succ

Поиск следующего элемента осуществляется проходом от корня до вершины, из которой не можем пойти в нужную сторону. Если не смогли пойти влево (по ребру [math]0[/math]), то ответ - минимум в правом поддереве. Если не смогли пойти вправо, поднимаемся наверх, пока являемся правым ребенком, если стали левым, то поднимаемся, пока у вершины нет правого ребенка (если такой ситуации нет, то запрос больше всех элементов). Тогда ответ - минимум в правом поддереве.

Преимущества: простая реализация, занимает [math]O(n \cdot w)[/math] памяти, все операции выполняются за [math]O(w)[/math].

Хуже дерева Ван Эмде Боаса по скорости, но памяти занимает меньше.

Быстрый цифровой бор (x-fast-trie)

Он по-прежнему будет занимать [math]O(n \cdot w)[/math] памяти, но немодифицирующие операции (read-only) будут выполняться за [math]O(\log w)[/math].

x-fast-trie

Улучшим структуру: было два слабых места — подниматься вверх и искать минимум.

succOrPred

Первая модификация - занесем все элементы в двусвязный список в порядке, в котором они лежат в боре. Добавим операцию succOrPred, которая возвращает следующий или предыдущий в зависимости от того, что проще. Спускается вниз до наибольшего общего префикса, а потом до минимума в правом дереве или же до максимума в левом. Тогда мы получим какой-то элемент списка и не более чем за два шага сможем получить ответ на запрос.

Вторая модификация - добавим ссылки.

Операции поиска минимума и максимума дорогие, выполним их за [math]O(1)[/math]. Теперь становится понятно, что необязательно спускаться до минимума или максимума в дереве. Если у вершину нет левого сына (отметим одним битом) вместо ссылки на левого сына сделаем ссылку на минимум в правом поддереве, что удобно для нашей реализации succOrPred. Если нет правого сына, то храним ссылку на максимум в левом поддереве.

Ссылки на минимум и максимум

insert

При вставке с помощью succOrPred и двусвязного списка находим следующий и предыдущий элементы и вставляем нужный элемент между ними. А также при создании новой вершины(у которой будет только один ребенок) на обратном пути рекурсии заменяем ссылки. Удаление происходит аналогично. Вставка и удаление выполняются за [math]O(w)[/math].

binarySearch

Пока что мы не добились асимптотического выигрыша - все операции по-прежнему выполняются за [math]O(w)[/math]. Теперь слабое место - это поиск наибольшего общего префикса. Будем искать его двоичным поиском. Для этого занесём префиксы всех чисел в HashMap - ассоциативный массив, который по префиксу возвращает вершину в боре (чтобы избежать проблемы с ведущими нулями, используем при поиске маску вида [math]0...01...1[/math]). Запустим двоичный поиск по длине наибольшего общего префикса. Как только он вернет максимальный префикс, переходим в вершину(у этой вершины не может быть два сына, так как тогда поиск бы не завершился) и там за [math]O(1)[/math] находим минимум или масимум, и за [math]O(1)[/math] переходим по списку, если нужно.

Итого операции [math]find, succ[/math] и [math]pred[/math] будут выполняться за [math]O(\log w)[/math].

Сверхбыстрый цифровой бор (y-fast-trie)

y-fast-trie

Теперь усовершенствуем [math]x{-}fast{-}trie[/math] до [math]y{-}fast{-}trie[/math], который занимает [math]O(n)[/math] памяти, а все операции выполняются за [math]O(\log w)[/math], правда, для модифицирующих операций эта оценка будет амортизированной.

Уменьшим количество занимаемой памяти. Пусть [math]a_1 \lt a_2 \lt a_3 \lt ... \lt a_n[/math] - числа, которые нужно хранить в боре. Выберем какое-то [math]k[/math] (что за [math]k[/math] - будет видно дальше). Разобьём их на [math]s[/math] блоков размером от [math]\frac{k}{2}[/math] до [math]2k[/math], а точнее [math]B_{11} \lt B_{12} \lt ... \lt B_{1n1} \lt B_{21} \lt B_{22} \lt ... \lt B_{2n2} \lt ... \lt B_{s1} \lt B_{s2} \lt ... \lt B_{sns}[/math]

Выберем в каждом блоке какого-нибудь представителя. И поместим этих представителей в [math]x-fast-trie[/math]. Всего в [math]x-fast-trie[/math] будет [math]O(\frac{2 \cdot n \cdot w} {k})[/math] элементов. Поэтому если выбрать [math]k = \Omega(w)[/math], то [math]x{-}fast{-}trie[/math] будет занимать [math]O(n)[/math] памяти.

Каждый лист [math]x{-}fast{-}trie[/math] является представителем блока, а все остальные элементы блока (в т. ч. и представителя) подвесим к листу как сбалансированное двоичное дерево поиска. В дереве может храниться от [math]\frac{w}{2}[/math] до [math]2w[/math] элементов, поэтому его высота - [math]O(\log w)[/math].

Все деревья поиска занимают [math]O(n)[/math] памяти, и [math]x{-}fast{-}trie – O(n)[/math] памяти. Поэтому [math]y{-}fast{-}trie[/math] тоже занимает [math]O(n)[/math] памяти.

find

Находим [math]succ = x[/math] среди представителей в [math]x{-}fast{-}trie[/math], а потом запускаем поиск [math]succ(x)[/math] в дереве, подвешенном к листу [math]x[/math], а также в дереве, подвешенном к листу [math]pred(x)[/math] среди представителей в [math]x-fast-trie[/math]. Представителем дерева является необязательно минимальный или максимальный элемент, поэтому нужно запустить в двух деревьях. Заметим, что мы ищем элемент только в двух деревьях, так как искомый элемент точно находится между своим сакцессором и прецессором. [math]O(\log w)[/math] на поиск в [math]x{-}fast{-}trie[/math] и [math]O(\log w)[/math] на поиск в деревьях поиска, поэтому итогая асимптотика - [math]O(\log w)[/math].

[math]succ[/math] и [math]pred[/math] выполняются аналогично.

insert

Вставка элемента [math]x[/math] происходит следующим образом: найдём [math]succ(x)[/math] и вставим его в подвешенное к листу дерево. Но может возникнуть плохая ситуация: размер дерева станет [math]2 \cdot w + 1[/math]. Тогда поступим следующим образом - удалим наше дерево из [math]x{-}fast{-}trie[/math], разделим его на элементы, из которых построим два дерева размером [math]w[/math] и [math]w + 1[/math], и вставим в [math]x{-}fast{-}trie[/math] их оба. АВЛ-деревья или красно-чёрные позволяют выполнять слияние за линейное время, поэтому операция вставки выполняется за [math]O(w)[/math].

delete

Удаление происходит аналогично, только если размер дерева станет [math]\frac{w}{2} - 1[/math], то надо его слить с любым соседним деревом. А если после слияния размер получившегося дерева станет больше [math]2 \cdot w[/math], то надо его разделить аналогично предыдущему случаю.

Ассимптотика

Заметим, что вставка, которая не модифицирует верхний бор, выполняется за истинный [math]\log w[/math], также и [math]succ, pred[/math]. Плохие операции — которые модифицируют верхний бор. Но они не происходят слишком часто.

Применим амортизационный анализ, используя метод предоплаты. Копим деньги на дешевых операциях. Слиянием массивов осуществляется за [math]O(w)[/math], как и разделение. Поэтому, если мы накопим [math]\Omega(w)[/math] дополнительных денег на дешёвых операциях, то сумеем расплатиться за все остальные, просто положив константное число дополнительных монет во время каждой операции. Худший для разделения случай произойдет, если мы дальше будем только добавлять элементы - было [math]\frac{w}{2} - 1[/math] и [math]2 \cdot w[/math], слили, стало больше [math]2 \cdot w[/math], разделели, таким образом получили два дерева с [math]\frac{5\cdot w}{4}[/math] элементами. Худший случай для слияния, когда у нас [math]w[/math] элементов (просиходит после разделения [math]2 \cdot w + 1[/math] дерева). Заметим, что в каждом случае дерево находится на расстоянии [math]\Theta(w)[/math] от границ. Следовательно, если мы будем класть определённое константное число монет, то скопим их достаточно, чтобы расплатиться за преобразование верхнего дерева.

Получаем амортизированную оценку [math]O(\log w)[/math] и истинную - [math]O(w)[/math].

Здесь не имеет смысла использовать сливаемые деревья поиска, так как после слияния/разделения все равно нужно модифицировать верхний бор. Получилась та же оценка на операции, что и у Ван Эмде Боаса, но структура данных занимает [math]O(n)[/math] памяти.