Изменения

'''Алгоритм Хаффмана''Алгоритм Хаффмана' (англ. ''Huffman's algorithm'' ) — алгоритм [[Задача_об_оптимальном_префиксном_коде_с_сохранением_порядка._Монотонность_точки_разреза | оптимального префиксного кодирования]] алфавита. Был разработан в 1952 году аспирантом Массачусетского технологического института Дэвидом Хаффманом при написании им курсовой работы. Используется во многих программах сжатия данных, например, PKZIP 2, LZH и др.

Пусть <tex>A=\{a_{1},a_{2},...\ldots ,a_{n}\}</tex> — алфавит из <tex>n </tex> различных символов, <tex>W=\{w_{1},w_{2},...\ldots ,w_{n}\}</tex> — соответствующий ему набор положительных целых весов. Тогда набор бинарных кодов <tex>C=\{c_{1},c_{2},...\ldots ,c_{n}\}</tex>, где <tex>c_{i}</tex> является кодом для символа <tex>a_{i}</tex>, такой, что:

1. :* <tex>c_{i}</tex> не является префиксом для <tex>c_{j}</tex>, при <tex>i \ne j</tex>,

2. Сумма :* cумма <tex>\sum\limits_{i \in [1, n]} w_{i}\cdot |c_{i}|</tex> минимальна. (<tex>|c_{i}|</tex> — длина кода <tex>c_{i}</tex>),

Построение == Алгоритм построения бинарного кода Хаффмана сводится к построению соответствующего бинарного дерева по следующему алгоритму:==

Построение кода Хаффмана сводится к построению соответствующего [[ Двоичная_куча | бинарного дерева]] по следующему алгоритму: # Составим [[Список | список]] кодируемых символов, при этом будем рассматривать один символ как дерево, состоящее из одного элемента, c весом, равным частоте появления символа в текстестроке.

# Сформируем новый узел с весом, равным сумме весов выбранных узлов, и присоединим к нему два выбранных узла в качестве дочернихдетей.# Добавим к списку только что сформированный узелвместо двух объединенных узлов.# Если в списке больше одного узла, то повторить повторим пункты со второго по пятый. === Время работы ===Если сортировать элементы после каждого суммирования или использовать [[Приоритетные_очереди | приоритетную очередь]], то алгоритм будет работать за время <tex>O(N \log N)</tex>.Такую асимптотику можно [[Алгоритм_Хаффмана_за_O(n) |улучшить до <tex>O(N)</tex>]], используя обычные массивы. === Пример === [[Файл:Huffman_abracadabra.jpg|400px|thumb|right|Дерево Хаффмана для слова <tex>abracadabra</tex>]]

== Время работы ==Если сортировать элементы после каждого суммирования или использовать очередь с приоритетами, то алгоритм будет работать за время Закодируем слово <tex>O(NlogN)abracadabra</tex>.Такую асимптотику можно улучшить до Тогда алфавит будет <tex>OA= \{a, b, r, c, d\} </tex>, а набор весов (Nчастота появления символов алфавита в кодируемом слове)<tex>W=\{5, 2, 2, 1, 1\}</tex>, используя обычные массивы.:

[[Файл:Mississippi.png{|400pxclass="wikitable"! Узел || a || b || r || с || d|-| Вес || 5 || 2 || 2 || 1 |thumb|right1|Дерево Хаффмана для слова ''"миссисипи"'']]}

Для примера возьмём слово ''" миссисипи"''. Тогда алфавит будет По алгоритму возьмем два символа с наименьшей частотой {{---}} это <tex>A= \{c</tex> ''и, м, п, с'' <tex>\} d</tex>. Сформируем из них новый узел <tex>cd</tex>, а набор весов весом <tex>W=\{4, 1, 1, 3\}2</tex>и добавим его к списку узлов:

! Узел || и a || м b || п r || сcd

| Вес || 4 5 || 1 2 || 1 2 || 32

По алгоритму возьмем Затем опять объединим в один узел два символа с наименьшей частотой минимальных по весу узла {{---}} это ''м'' и ''п''. Сформируем из них новый узел ''мп'' весом 2 <tex>r</tex> и добавим его к списку узлов<tex>cd</tex>:

! Узел || и a || мп rcd || с b

| Вес || 5 || 4 || 2 || 3

Затем объединим в один узел узлы ''мп'' Еще раз повторим эту же операцию, но для узлов <tex>rcd</tex> и ''c''<tex>b</tex>:

! Узел || и brcd || мпс a

| Вес || 4 6 || 5

И, наконец, объединяем На последнем шаге объединим два узла ''{{---}} <tex>brcd</tex> и'' и ''мпс''. Итак, мы получили дерево Хаффмана и соответствующую ему таблицу кодов<tex>a</tex>:

! Символ Узел || и || м || п || сabrcd

| Код || 0 || 100 || 101 Вес || 11

Остался один узел, значит, мы пришли к корню дерева Хаффмана (смотри рисунок). Теперь для каждого символа выберем кодовое слово (бинарная последовательность, обозначающая путь по дереву к этому символу от корня): {| class="wikitable"! Символ || a || b || r || с || d|-| Код || 0 || 11 || 101 || 1000 || 1001|} Таким образом, закодированное слово ''"миссисипи"'' <tex>abracadabra</tex> будет выглядеть как ''"1000111101101010"''<tex>01110101000010010111010</tex>. Длина закодированного слова {{---}} 16 бит<tex>23</tex> бита. Стоит заметить, что если бы мы использовали для алгоритм кодирования каждого символа из четырёх по 2 с одинаковой длиной всех кодовых слов, то закодированное слово заняло бы <tex>33</tex> бита, длина закодированного слова составила бы 18 битчто существенно больше.

Чтобы доказать корректность алгоритма Хаффмана, покажем, что в задаче о построении оптимального префиксного кода проявляются свойства жадного выбора и оптимальной подструктуры. В сформулированной ниже лемме показано соблюдение свойства жадного выбора.

Пусть символы <tex>a</tex> и <tex>b</tex> имеют общий родительский узел и находятся на максимальной глубине дерева <tex>T</tex>. Предположим, что <tex>f[a] \le leqslant f[b]</tex> и <tex>f[x] \le leqslant f[y]</tex>. Так как <tex>f[x]</tex> и <tex>f[y]</tex> — две наименьшие частоты, а <tex>f[a]</tex> и <tex>f[b]</tex> — две произвольные частоты, то выполняются отношения <tex>f[x] \le leqslant f[a]</tex> и <tex>f[y] \le leqslant f[b]</tex>. Пусть дерево <tex>T'</tex> — дерево, полученное из <tex>T</tex> путем перестановки листьев <tex>a</tex> и <tex>x</tex>, а дерево <tex>T''</tex> — дерево полученное из <tex>T'</tex> перестановкой листьев <tex>b</tex> и <tex>y</tex>. Разность стоимостей деревьев <tex>T</tex> и <tex>T'</tex> равна:

Таким образом, выполняется неравенство <tex>B(T'') \le leqslant B(T)</tex>. С другой стороны, <tex>T</tex> — оптимальное дерево, поэтому должно выполняться неравенство <tex>B(T) \le leqslant B(T'')</tex>. Отсюда следует, что <tex>B(T) = B(T'')</tex>. Значит, <tex>T''</tex> — дерево, представляющее оптимальный префиксный код, в котором символы <tex>x</tex> и <tex>y</tex> имеют одинаковую максимальную длину, что и доказывает лемму.

== Литература См. также ==* Томас Х. Кормен, Чарльз И. Лейзерсон, Рональд Л. Ривест, Клиффорд Штайн Алгоритмы: построение и анализ — 2-е изд. — М.: «Вильямс», 2007. — с. 459. — ISBN 5-8489-0857-4[[Оптимальное_хранение_словаря_в_алгоритме_Хаффмана | Оптимальное хранение словаря в алгоритме Хаффмана]] == Источники информации ==

==Ссылки==*[httpТомас Х. Кормен, Чарльз И. Лейзерсон, Рональд Л. Ривест, Клиффорд Штайн. Алгоритмы://ruпостроение и анализ — 2-е изд. — М.: «Вильямс», 2007. — с.wikipedia459.org/wiki/Алгоритм_Хаффмана Википедия — Алгоритм Хаффмана]ISBN 5-8489-0857-4

[[Категория: Алгоритмы сжатия ]]