СНМ (реализация с помощью леса корневых деревьев)

Данная реализация СНМ позволяет добиться наилучшей асимптотики при работе с этой структурой данных. А именно, обе операции ([math]\mathrm{get}[/math] и [math]\mathrm{union}[/math]) выполняются в среднем за практически константное время.

Реализация

Каждое множество хранится в виде дерева. Элементы множества хранятся в узлах дерева. У каждого множества есть его представитель — один из элементов этого множества, он хранится в корне дерева. В каждом узле, кроме корня, хранится ссылка на "родителя".

При объединении двух множеств, корень одного дерева подвешивается к другому (операция [math]\mathrm{union}[/math]). Таким образом, чтобы определить, в каком множестве находится элемент достаточно пройтись по ссылкам по дереву вверх до корня (операция [math]\mathrm{get}[/math]).

Без использования дополнительных "улучшений", такое дерево может выродиться в линейный список, где [math]\mathrm{get}[/math] будет работать за линейное время, и никакого выигрыша по сравнению с наивными реализацими не будет. Выигрыш в скорости можно получить, используя две эвристики: объединение по рангу (union by rank) и сжатие пути (path compression).

Объединение по рангу

Эта эвристика аналогична весовой эвристике у связных списков. Идея в том, чтобы при объединении подвешивать дерево с меньшей глубиной к дереву с большей.

Вместо того, чтобы явно хранить высоту дерева, можно хранить его ранг, который по сути является некой верхней оценкой высоты дерева. У дерева, состоящего ровно из одного элемента ранг равен [math]1[/math]. При объединении дерево с меньшим рангом подвешивается к дереву с большим, и ранг объединенного дерева становится равным большему из этих двух рангов. Если ранги объединяемых деревьев равны, то не важно какое к какому дереву подвешивать, но ранг объединенного дерева следует делать большим на [math]1[/math].

Сжатие пути

Эта эвристика несколько модифицирует операцию [math]\mathrm{get}[/math]. Операция [math]\mathrm{get}[/math] вызывается для элемента [math]x[/math], проходит через несколько вершин и попадает в корень. Все пройденные в этом процессе вершины принадлежат тому же множеству, что и [math]x[/math]. Поэтому мы можем подвесить (изменить ссылки) эти вершины напрямую к корню дерева и, таким образом, уменьшить его высоту. При нерекурсивной реализации операция [math]\mathrm{get}[/math] становится двухпроходной.

Псевдокод

Для реализации СНМ будем поддерживать следующие массивы: [math]p[x][/math] — массив "родителей", [math]r[x][/math] — массив рангов.

get

get(x)
   if p[x] != x
      p[x] = get(p[x])
   return p[x]

union

union(x, y)
   x = get(x)
   y = get(y)
   if x == y
      return
   if r[x] == r[y]
      r[x]++
   if r[x] < r[y]
      p[x] = y
   else
      p[y] = x

Асимптотика

см. также Анализ реализации с ранговой эвристикой

Операция	Истинное время	Амортизированное время
[math]\mathrm{get}[/math]	[math]\mathrm{O(\log n)}[/math]	[math]\mathrm{O(\mathrm{\alpha(m, n)})}[/math]
[math]\mathrm{union}[/math]	[math]\mathrm{O(\log n)}[/math]	[math]\mathrm{O(\mathrm{\alpha(m, n)})}[/math]

Где [math]m[/math] — общее количество операций, [math]n[/math] — полное количество элементов, [math]\mathrm{\alpha(m, n)}[/math] — функция, обратная к функции Аккермана (если [math]m[/math] операций get и [math]n[/math] элементов).

Докажем, что если глубина множества (т.е. его ранг) равна [math]k[/math], то в нем содержится как минимум [math]2^k[/math] элементов. Из этого свойства следует, что глубина множества с [math]n[/math] элементами есть [math]\mathrm{O(\log n)}[/math], а значит и время работы операции [math]\mathrm{get}[/math] является логарифмическим.

Будем доказывать данное свойство по индукции. Для [math]k = 0[/math], очевидно, в множестве содержится [math]1[/math] вершина. Пусть для множеств ранга [math]k - 1[/math] свойство выполняется. Как следует из ранговой эвристики, множество ранга [math]k[/math] может получиться только при подвешивании множества ранга [math]k - 1[/math] к множеству ранга [math]k - 1[/math]. Но тогда из предположения индукции в новом множестве действительно будет [math]2^k[/math] вершин, что и требовалось доказать.

Функция Аккермана

Функция Аккермана определяется следующим рекуррентным соотношением для целых неотрицательных чисел [math]m[/math] и [math]n[/math]:

[math]\mathrm{A(m, n)} = \begin{cases} 2^n, & m = 1 \\ 2, & m \gt 1, n = 0 \\ \mathrm{A(m - 1, A(m, n - 1))}, & m \gt 1, n \gt 0 \end{cases} [/math]

Таблица значений функции Аккермана:

[math]m \backslash n[/math]	[math]0[/math]	[math]1[/math]	[math]2[/math]	[math]3[/math]	[math]4[/math]	[math]5[/math]
[math]1[/math]	[math]1[/math]	[math]2[/math]	[math]4[/math]	[math]8[/math]	[math]16[/math]	[math]32[/math]
[math]2[/math]	[math]2[/math]	[math]4[/math]	[math]16[/math]	[math]65536[/math]	[math]2^{2^{16}}[/math]	[math]2^{2^{2^{16}}}[/math]
[math]3[/math]	[math]2[/math]	[math]16[/math]	[math]\underbrace{2^{2^{\cdot^{\cdot^{\cdot^2}}}}}_{17}[/math]	[math]\underbrace{2^{2^{\cdot^{\cdot^{\cdot^2}}}}}_{A(3, 2)}[/math]	[math]\cdots[/math]	[math]\cdots[/math]
[math]4[/math]	[math]2[/math]	[math]\underbrace{2^{2^{\cdot^{\cdot^{\cdot^2}}}}}_{17}[/math]	[math]\cdots[/math]	[math]\cdots[/math]	[math]\cdots[/math]	[math]\cdots[/math]

Функция, обратная функции Аккермана [math]\mathrm{\alpha(m, n)}[/math], равна минимальному [math]i[/math] такому, что [math]\mathrm{A \left (i, \left [\dfrac{m}{n} \right ] \right )} \geqslant \log n[/math]. Как видно из таблицы значений для функции Аккермана, обратная функция для любых значений, которые могут возникнуть при решении прикладных задач, не превышает 4, то есть можно считать, что операция get выполняется за константное время.

Анализ реализации с ранговой эвристикой

Проведем анализ реализации с ранговой эвристикой, будем доказывать более слабую оценку (итерированный логарифм [math]\mathrm(\log^*n)[/math]). Рассмотрим [math] a [/math] операций [math] \mathrm{union} [/math] и [math] b [/math] операций [math] \mathrm{get} ( b \gt a ) [/math]. Не теряя общности, будем считать, что [math] union [/math] принимает в качестве аргументов представителей, то есть [math] \mathrm{union(v_1,v_2)} [/math] заменяем на [math] \mathrm{union(get(v_1),get(v_2))} [/math].

[math]\mathrm(\log^*n)[/math] — минимальное число логарифмирований [math]n[/math], необходимое для получения значения, не превосходящего [math]1[/math] (Например: [math]\mathrm(\log^*_2 16) = 3[/math])

Оценим стоимость операции [math] \mathrm{get(v)} [/math]. Обозначим [math] \mathrm{R(v)} [/math] — ранг вершины, [math]\mathrm{P(v)}[/math] — представитель множества, содержащего [math]\mathrm{v}[/math], [math] \mathrm{L(v)} [/math] — отец вершины, [math] \mathrm{K(v)} [/math] — количество вершин в поддереве, корнем которого является [math]\mathrm{v}[/math].

Утверждение:

[math] \mathrm{R(P(v))} \gt \mathrm{R(v)} [/math]

[math]\triangleright[/math]

Из принципа работы функции [math] \mathrm{get} [/math] следует: [math] \mathrm{R(L(v))}\gt \mathrm{R(v)} [/math]. Между [math] v [/math] и [math] \mathrm{P(v)} [/math] существует путь вида: [math] v \rightarrow \mathrm{L(v)} \rightarrow \mathrm{L(L(v))} \rightarrow \dots \rightarrow \mathrm{P(v)} [/math]. Записав неравенство из первого пункта вдоль пути из второго пункта, получаем требуемое.

[math]\triangleleft[/math]

Утверждение:

[math] \mathrm{R(v)} = i \Rightarrow \mathrm{K(v)} \geqslant 2^i [/math]

[math]\triangleright[/math]

Докажем по индукции: Для [math]0[/math] равенство очевидно. Ранг вершины станет равным [math] i [/math] при объединении поддеревьев ранга [math]i-1[/math], следовательно: [math]\mathrm{K(v)} \geqslant \mathrm{K(v_1)} + \mathrm{K(v_2)} \geqslant 2^{i-1}+2^{i-1} \geqslant 2^i [/math].

[math]\triangleleft[/math]

Из последнего утверждения следует:

1. [math] \mathrm{R(v)} \leqslant \log_2a [/math].
2. Количество вершин ранга [math] i \leqslant {a \over 2^i} [/math].

Теорема:

Амортизационная стоимость [math] \mathrm{get} = \mathrm{O(\log^{*}n)} [/math]

Доказательство:

[math]\triangleright[/math]

В процессе выполнения каждой из операций [math]get[/math] двигаемся вверх по одному из деревьев, заканчивая поиск в его корне. Заметим, что на каждом шаге ранг вершины строго возрастает: если [math]\mathrm{u}[/math] - вершина, встретившаяся на пути поиска, а [math]\mathrm{v}[/math] - следующая вершина, то есть [math]\mathrm{v} = \mathrm{P(u)} [/math], то [math] \mathrm{R(v)} \leqslant \mathrm{R(u)}[/math]. Вершина [math]\mathrm{u}[/math] может неоднократно встречаться в путях поиска, при выполнении рассматриваемой в теореме последовательности операций. При этом за ней могут идти разные вершины: если в некоторый момент за [math]\mathrm{u}[/math] будет следовать уже не [math]\mathrm{v}[/math], а корень дерева, то есть вершина большего ранга, чем [math]\mathrm{v}[/math]. Наблюдая за ростом ранга при переходе от вершины к её родителю, отдельно оценим количество шагов, при которых ранг сильно растет, а количество шагов, когда он растет не сильно. Выберем в качестве границы некоторую функцию [math]\mathrm{B(k)}[/math], определенную для неотрицательных целых [math]\mathrm{k}[/math]. Мы предполагаем, что функция [math]\mathrm{B}[/math] является монотонно возрастающей и что [math]\mathrm{B(k)} \leqslant \mathrm{k}[/math] при всех [math]\mathrm{k}[/math]. При переходе от вершины [math]\mathrm{u}[/math] к её родителю [math]\mathrm{v} = \mathrm{P(u)} [/math] ранг сильно растет сильно растет, если [math] \mathrm{R(v)} \geqslant \mathrm{B(R(u))} [/math]. Оценим число шагов, при которых ранг не сильно растет, и сгруппируем их по вершинам, из которых этот шаг делается. Для вершины ранга [math]\mathrm{k}[/math] ранги ее предка могут меняться от [math]\mathrm{k+1}[/math] до [math]\mathrm{B(k)}[/math] (после этого ранг растет сильно). Значит, число таких шагов(из данной вершины ранга [math]\mathrm{k}[/math]) заведомо не больше [math]\mathrm{B(k)}[/math], поскольку каждый новый шаг ведёт в вершину большего ранга, чем предыдущий. Поскольку вершин ранга [math]\mathrm{k}[/math] не более [math]n/2^{k}[/math], то общее число шагов, при которых ранг не сильно растет, не превосходит [math]{\sum_{\mathrm{k}} \limits {\dfrac {n \mathrm{B(k)}} {2^{\mathrm{k}}}}} [/math] Если выбрать функцию [math]\mathrm{B}[/math] так, чтобы ряд [math]{\sum_{} \limits n \mathrm{B(k)} / 2^{\mathrm{k}}}[/math] сходился, то общее число шагов такого рода есть [math]\mathrm{O(n)}[/math]. Прежде чем выбрать функцию [math]\mathrm{B(k)}[/math], выясним, как оценить число шагов, при которых ранг сильно растет. Такие шаги мы сгруппируем не по вершинам, а по путям: на каждом пути поиска таких шагов мало, так как ранг не может многократно сильно расти (он меняется всего лишь от [math]0[/math] и [math]\log n[/math]). Таким образом, на каждом пути число шагов, при котором ранг сильно растёт, не превосходит числа итераций функции [math]\mathrm{B}[/math], которые нужно сделать, чтобы дойти от [math]0[/math] и [math]\log n[/math]. Если положить [math]\mathrm{B(k)} = 2^{\mathrm{k}}[/math]: тогда число итераций будет примерно равно [math]\mathrm{O(\log^{*}n)}[/math]. Но тогда написанный выше ряд расходится. Возьмем меньшую функцию. Например, положим [math]\mathrm{B(k)} = 1,9^{\mathrm{k}}[/math], тогда ряд [math]\sum_{} \limits \mathrm{B(k)} = 1,9^{\mathrm{k}}/2^{\mathrm{k}} \leqslant \sum_{} \limits \mathrm{B(k)} = (1,9^{\mathrm{k}}+1)/2^{\mathrm{k}}[/math] сходится. С другой стороны, число итераций функции [math]\mathrm{B}[/math], которые нужно сделать, чтобы от [math]0[/math] дойти до какого-то числа, возрастет (по сравнению с функцией [math]\mathrm{k}[/math], стремящейся к [math]2^{\mathrm{k}}[/math]) не более чем вдвое, поскольку [math]\mathrm{B(B(k))} \geqslant 2^{\mathrm{k}}[/math], и потому есть [math]\mathrm{O(\log^*n)}[/math].

[math]\triangleleft[/math]

См. также

• СНМ (списки с весовой эвристикой)
• СНМ (наивные реализации)

Источники информации

• Система непересекающихся множеств — описание этой реализации на habrahabr.ru
• Функция Аккермана — Википедия
• Томас Кормен, Чарльз Лейзерсон, Рональд Ривест, Клиффорд Штайн. Алгоритмы. Построение и анализ — Вильямс, 2010. - стр 589. — ISBN 978-5-8459-0857-4