Изменения

На заре компьютерной эры на каждый символ было отведено по пять бит. Это было связано с малым количеством оперативной памяти на компьютерах тех лет. В эти <tex>64 </tex> символа входили только управляющие символы и строчные буквы английского алфавита.

Первой <tex>7 </tex>-ми битной кодировкой стала ASCII7. В нее уже вошли прописные буквы английского алфавита, арабские цифры, знаки препинания.Затем на ее базе была разработана ASCII8, в которым уже стало возможным хранение <tex>256 </tex> символов: <tex>128 </tex> основных и еще столько же расширенных. Первая часть таблицы осталась без изменений, а вторая может иметь различные варианты (каждый имеет свой номер). Эта часть таблицы стала заполняться символами национальных алфавитов.

Но для многих языков (например, арабского, японского, китайского) <tex>256 </tex> символов недостаточно, поэтому развитие кодировок продолжалось, что привело к появлению UNICODE.

'''<tex>7 </tex> бит:'''

'''Кодировки стандарта ASCII (<tex>8 </tex> бит):'''

* Цифры 0—9 0-9 представляются своими двоичными значениями (например, <tex>5=0101_2</tex>), перед которыми стоит <tex>0011_2</tex>. Таким образом, двоично-десятичные числа (BCD) превращаются в ASCII-строку с помощью простого добавления слева <tex>0011_2</tex> к каждому двоично-десятичному полубайту.

Хотя формы записи UTF-8 и UTF-32 позволяют кодировать до <tex>2^{31}</tex> <tex> (2 \ 147 \ 483 \ 648) </tex> кодовых позиций, было принято решение использовать лишь <tex>1 \ 112 \ 064 </tex> для совместимости с UTF-16. Впрочем, даже и этого на текущий момент более чем достаточно — в версии 6.0 используется чуть менее <tex>110 \ 000 </tex> кодовых позиций (<tex>109 \ 242 </tex> графических и <tex>273 </tex> прочих символов).

Кодовое пространство разбито на <tex>17 </tex> плоскостей (англ. ''planes'') по <tex>2^{16}</tex> <tex> (65 \ 536) </tex> символов. Нулевая плоскость называется базовой, в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, вторая {{---}} для для редко используемых иероглифов китайского письма, третья зарезервирована для архаичных китайских иероглифов. Плоскости <tex>15 </tex> и <tex>16 </tex> выделены для частного употребления.

Для обозначения символов Unicode используется запись вида «U+xxxx» (для кодов <tex>00000_{16}..FFFFFFFF_{16}</tex>) или «U+xxxxx» (для кодов <tex>1000010000_{16}..FFFFFFFFFF_{16}</tex>) или «U+xxxxxx» (для кодов <tex>100000100000_{16}..10FFFF10FFFF_{16}</tex>), где xxx — шестнадцатеричные цифры. Например, символ «я» (U+044F) имеет код <tex>044F_{16} = 1103_{10}</tex>.

UTF-8 {{---}} представление Юникода, обеспечивающее наилучшую совместимость со старыми системами, использовавшими <tex>8</tex>-битные символы. Текст, состоящий только из символов с номером меньше <tex>128</tex>, при записи в UTF-8 превращается в обычный текст ASCII. И наоборот, в тексте UTF-8 любой байт со значением меньше <tex>128 </tex> изображает символ ASCII с тем же кодом. Остальные символы Юникода изображаются последовательностями длиной от 2 двух до 6 шести байт (на деле, только до 4 четырех байт, поскольку в Юникоде нет символов с кодом больше <tex>10FFFF10FFFF_{16}</tex>, и вводить их в будущем не планируется), в которых первый байт всегда имеет вид <tex>11xxxxxx</tex>, а остальные — <tex>10xxxxxx</tex>. В UTF-8 не используются суррогатные пары, 4-x байтов четырех байт достаточно для записи любого символа юникода.

1. Если размер символа в кодировке UTF-8 = <tex>1 </tex> байт<br />

2. Если размер символа в кодировке в UTF-8 <tex>> 1 </tex> байт (то есть от <tex>2 </tex> до <tex>6</tex>):

UTF-16 {{---}} один из способов кодирования символов (англ. ''code point'') из Unicode в виде последовательности <tex>16</tex>-битных слов (англ. ''code unit''). Данная кодировка позволяет записывать символы Юникода в диапазонах U+0000..U+D7FF и U+E000..U+10FFFF (общим количеством <tex>1 \ 112 \ 064</tex>), причем <tex>4</tex>-байтные символы представляются как есть, а более длинные {{---}} с помощью суррогатных пар (англ. ''surrogate pair''), для которых и вырезан диапазон 0xD800–0xDFFF<tex>D800_{16}..DFFF_{16}</tex>.

В UTF-16 символы кодируются двухбайтовыми словами с использованием всех возможных диапазонов значений (от <tex>00000_{16}</tex> до <tex>FFFF_{16}</tex>). При этом можно кодировать символы Unicode в дипазонах <tex>0000_{16}..D7FF_{16}</tex> и <tex>E000_{16}..10FFFF_{16}</tex>. Исключенный отсюда диапазон <tex>D800_{16}..DFFF_{16}</tex> используется как раз для кодирования так называемых суррогатных пар — символов, которые кодируются двумя <tex>16</tex>-битными словами. Символы Unicode до <tex>FFFF_{16}</tex> включительно (исключая диапазон для суррогатов) записываются как есть <tex>16</tex>-битным словом. Символы же в диапазоне <tex>10000_{16}..10FFFF_{16}</tex> (больше <tex>16 </tex> бит) уже кодируются парой <tex>16</tex>-битных слов. Для этого их код арифметически сдвигается до нуля (из него вычитается минимальное число <tex>10000_{16}</tex>). В результате получится значение от нуля до <tex>FFFF_{16}</tex>, которое занимает до <tex>20 </tex> бит. Старшие <tex>10 </tex> бит этого значения идут в лидирующее (первое) слово, а младшие <tex>10 </tex> бит — в последующее (второе). При этом в обоих словах старшие <tex>6 </tex> бит используются для обозначения суррогата. Биты с <tex>11 </tex> по <tex>15 </tex> имеют значения <tex>11011_2</tex>, а <tex>10</tex>-й бит содержит <tex>0 </tex> у лидирующего слова и <tex>1 </tex> — у последующего. В связи с этим можно легко определить к чему относится каждое слово.

Хотя использование неменяющегося числа байтов на символ удобно, но не настолько, как кажется. Операция усечения строк реализуется легче в сравнении с UTF-8 и UTF-16. Но это не делает более быстрым нахождение конкретного смещения в строке, так как смещение может вычисляться и для кодировок фиксированного размера. Это не облегчает вычисление отображаемой ширины строки, за исключением ограниченного числа случаев, так как даже символ «фиксированной ширины» может быть получен комбинированием обычного символа с модифицирующим, который не имеет ширины. Например, буква «й» может быть получена из буквы «и» и диакритического знака «крючок над буквой». Сочетание таких знаков означает, что текстовые редакторы не могут рассматривать <tex>32</tex>-битный код как единицу редактирования. Редакторы, которые ограничиваются работой с языками с письмом слева направо и составными символами (англ. ''Precomposed character''), могут использовать символы фиксированного размера. Но такие редакторы вряд ли поддержат символы, лежащие за пределами нулевой (базовой) плоскости кодового пространства и вряд ли смогут работать одинаково хорошо с символами UTF-16.

Когда символ закодирован в UTF-16, его <tex>2 </tex> или <tex>4 </tex> байта можно упорядочить двумя разными способами (little-endian или big-endian). Изображение справа показывает это. Byte order mark указывает, какой порядок используется, так что приложения могут немедленно расшифровать контент. UTF-16 контент должен всегда начинатся с BOM.