Изменения

В вычислительных машинах символы не могут храниться иначе, как в виде последовательностей битов бит (как и числа). Для передачи символа и его корректного отображения ему должна соответствовать уникальная последовательность нулей и единиц. Для этого были разработаны таблицы кодировок.

Количество символов, которые можно задать последовательностью битов бит длины ''<tex>n''</tex>, задается простой формулой <tex>C(n) = 2^n</tex>. Таким образом, от нужного количества символов напрямую зависит количество используемой памяти.

На заре компьютерной эры на каждый символ было отведено по 5 пять бит. Это было связано с малым количеством оперативной памяти на компьютерах тех лет. В эти 64 <tex>32</tex> символа входили только управляющие символы и строчные буквы английского алфавита.

Первой 7 битной семибитной кодировкой стала ASCII7. В нее уже вошли прописные буквы английского алфавита, арабские цифры, знаки препинания.Затем на ее базе была разработана ASCII8, в которым уже стало возможным хранение <tex>256 </tex> символов: <tex>128 </tex> основных и еще столько же расширенных. Первая часть таблицы осталась без изменений, а вторая может иметь различные варианты (каждый имеет свой номер). Эта часть таблицы стала заполняться символами национальных алфавитов.

|definition='''ASCII ''' {{- --}} таблицы кодировок, в которых содержатся основные символы (английский алфавит, цифры, знаки препинания, символы национальных алфавитов(свои для каждого региона), служебные символы) и длина кода каждого символа <tex>n = 8</tex> бит.

Но '''<tex>7</tex> бит:'''* '''ASCII7''' {{---}} первая кодировка, пригодная для многих языков работы с текстом. Помимо маленьких букв английского алфавита и служебных символов, содержит большие буквы английского языка, цифры, знаки препинания и другие символы. '''Кодировки стандарта ASCII (<tex>8</tex> бит):'''* '''ASCII''' {{---}} первая кодировка, в которой стало возможно использовать символы национальных алфавитов.* '''КОИ8-R''' {{---}} первая русская кодировка. Символы кириллицы расположены не в алфавитном порядке. Их разместили в верхнюю половину таблицы так, чтобы позиции кириллических символов соответствовали их фонетическим аналогам в английском алфавите. Это значит, что даже при потере старшего бита каждого символа, например, при проходе через устаревший семибитный модем, текст остается "читаемым".* '''CP866''' {{---}} русская кодировка, использовавшаяся на компьютерах IBM в системе DOS.* '''Windows-1251''' {{---}} русская кодировка, использовавшаяся в русскоязычных версиях операционной системы Windows в начале 90-х годов. Кириллические символы идут в алфавитном порядке. Содержит все символы, встречающиеся в типографике обычного текста (кроме знака ударения).===Структурные свойства таблицы===* Цифры 0-9 представляются своими двоичными значениями (например, арабского<tex>5=0101_2</tex>), перед которыми стоит <tex>0011_2</tex>. Таким образом, японскогодвоично-десятичные числа (BCD) превращаются в ASCII-строку с помощью простого добавления слева <tex>0011_2</tex> к каждому двоично-десятичному полубайту.* Буквы A-Z верхнего и нижнего регистров различаются в своём представлении только одним битом, китайскогочто упрощает преобразование регистра и проверку на диапазон. Буквы представляются своими порядковыми номерами в алфавите, записанными в двоичной системе счисления, перед которыми стоит <tex>0100_2</tex> (для букв верхнего регистра) или <tex>0110_2</tex> (для букв нижнего регистра). {| border="1" cellspacing="0" style="text-align: center; font-family: monospace" |- ! width="4%" | &nbsp; ! width="6%" | 0 || width="6%" | 1 ! width="6%" | 2 || width="6%" | 3 ! width="6%" | 4 || width="6%" | 5 ! width="6%" | 6 || width="6%" | 7 ! width="6%" | 8 || width="6%" | 9 ! width="6%" | A || width="6%" | B ! width="6%" | C || width="6%" | D ! width="6%" | E || width="6%" | F |- ! 0 | NUL || SOH || STX || ETX | EOT || ENQ || ACK || BEL | BS || TAB || LF || VT | FF || CR || SO || SI |- ! 1 | DLE || DC1 || DC2 || DC3 | DC4 || NAK || SYN || ETB | CAN || EM || SUB || ESC | FS || GS || RS || US |- ! 2 | &nbsp; || ! || " || # | $ || % || & || ' | ( || ) || * || + | , || - || . || / |- ! 3 | 0 || 1 || 2 || 3 | 4 || 5 || 6 || 7 | 8 || 9 || : || ; | &lt; || = || &gt; || ? |- ! 4 | @ || A || B || C | D || E || F || G | H || I || J || K | L || M || N || O |- ! 5 | P || Q || R || S | T || U || V || W | X || Y || Z || [ | \ || ] || ^ || _ |- ! 6 | ` || a || b || c | d || e || f || g | h || i || j || k | l || m || n || o |- ! 7 | p || q || r || s | t || u || v || w | x || y || z || { | &#124; || } || ~ || DEL |} ==Кодировки стандарта UNICODE== '''Юникод''' или '''Уникод''' (англ. ''Unicode'') {{---}} это промышленный стандарт обеспечивающий цифровое представление символов всех письменностей мира, и специальных символов. Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. ''Unicode Consortium, Unicode Inc.''). Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей.Стандарт состоит из двух основных разделов: '''универсальный набор символов''' (англ. ''UCS, universal character set'') и семейство кодировок (англ. ''UTF, Unicode transformation format'') 256 . '''Универсальный набор символов недостаточно''' задаёт однозначное соответствие символов кодам — элементам кодового пространства, поэтому развитие представляющим неотрицательные целые числа.Семейство кодировок продолжалосьопределяет машинное представление последовательности кодов UCS. Коды в стандарте Unicode разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Далее расположены области знаков различных письменностей, знаки пунктуации и технические символы. Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F. Часть кодов зарезервирована для использования в будущем.===Кодовое пространство===Хотя формы записи UTF-8 и UTF-32 позволяют кодировать до <tex>2^{31}</tex> <tex>(2\ 147\ 483\ 648)</tex> кодовых позиций, было принято решение использовать лишь <tex>1\ 112\ 064</tex> для совместимости с UTF-16. Впрочем, даже и этого на текущий момент более чем достаточно — в версии 6.0 используется чуть менее <tex>110\ 000</tex> кодовых позиций (<tex>109\ 242</tex> графических и <tex>273</tex> прочих символов). Кодовое пространство разбито на <tex>17</tex> плоскостей (англ. ''planes'') по <tex>2^{16}</tex> <tex>(65\ 536)</tex> символов. Нулевая плоскость называется базовой, в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, что привело к появлению UNICODEвторая {{---}} для для редко используемых иероглифов китайского письма, третья зарезервирована для архаичных китайских иероглифов. Плоскости <tex>15</tex> и <tex>16</tex> выделены для частного употребления. Для обозначения символов Unicode используется запись вида «U+xxxx» (для кодов <tex>0000_{16}..FFFF_{16}</tex>) или «U+xxxxx» (для кодов <tex>10000_{16}..FFFFF_{16}</tex>) или «U+xxxxxx» (для кодов <tex>100000_{16}..10FFFF_{16}</tex>), где xxx — шестнадцатеричные цифры. Например, символ «я» (U+044F) имеет код <tex>044F_{16} = 1103_{10}</tex>.

{{Определение| class="wikitable sortable collapsible collapsed"|definition-! colspan=UNICODE "3" | Плоскости Юникода|-! Плоскость !! Название !! Диапазон символов|-| Plane 0 || Basic multilingual plane (BMP) || U+0000…U+​FFFF|-| Plane 1 || Supplementary multilingual plane (SMP) || U+10000…U+​1FFFF|-| Plane 2 || Supplementary ideographic plane (SIP) || U+20000…U+​2FFFF|-| Planes 3-13 || Unassigned || U+30000…U+​DFFFF|-| Plane 14 || Supplement­ary special-purpose plane (SSP) || U+E0000…U+​EFFFF|-| Planes 15- таблицы кодировок, 16 || Supplement­ary private use area (S PUA A/B) || U+F0000…U+​10FFFF|-|} ===Модифицирующие символы===[[Файл:Ji.png|thumb|right| 250px]]Графические символы в которых содержатся все используемые Юникоде делятся на протяжённые и непротяжённые. Непротяжённые символы при отображении не занимают дополнительного места в строке. К примеру, к ним относятся знак ударения. Протяжённые и длина кода каждого символа <tex>n \geq 8</tex> битнепротяжённые символы имеют собственные коды, но последние не могут встречаться самостоятельно. Протяжённые символы называются базовыми (англ.''base characters''), а непротяженные {{---}}модифицирующими (англ. ''combining characters''). Например символ «Й» (U+0419) может быть представлен в виде базового символа «И» (U+0418) и модифицирующего символа « ̆» (U+0306).

== Наиболее известные кодировки =Способы представления===Юникод имеет несколько форм представления (англ. ''Unicode Transformation Format, UTF''): UTF-8, UTF-16 (UTF-16BE, UTF-16LE) и UTF-32 (UTF-32BE, UTF-32LE). Была разработана также форма представления UTF-7 для передачи по семибитным каналам, но из-за несовместимости с ASCII она не получила распространения и не включена в стандарт.

''7 бит:''===UTF-8===* '''ASCII7''' UTF- первая кодировка, пригодная для работы с текстом. Помимо маленьких букв английского алфавита и служебных символов8 {{---}} представление Юникода, содержит большие буквы английского языкаобеспечивающее наилучшую совместимость со старыми системами, цифры, знаки препинания и другие символы.''Кодировки стандарта ASCII (использовавшими <tex>8 бит):''* '''ASCII''' </tex>- первая кодировка, в которой стало возможно использовать битные символы национальных алфавитов.* '''КОИ8-R''' - первая русская кодировка. Символы кириллицы расположены не в алфавитном порядке. Их разместили в верхнюю половину таблицы такТекст, чтобы позиции кириллических состоящий только из символов соответствовали их фонетическим аналогам в английском алфавите. Это значитс номером меньше <tex>128</tex>, что даже при потере старшего бита каждого символа, например, при проходе через устаревший семибитный модем, текст остается "читаемым".* '''CP866''' записи в UTF- русская кодировка, использовавшаяся на компьютерах IBM 8 превращается в системе DOSобычный текст ASCII.* '''Windows-1251''' - русская кодировкаИ наоборот, использовавшаяся в русскоязычных версиях операционной системы Windows в начале 90тексте UTF-х годов8 любой байт со значением меньше <tex>128</tex> изображает символ ASCII с тем же кодом. Кириллические Остальные символы идут Юникода изображаются последовательностями длиной от двух до шести байт (на деле, только до четырех байт, поскольку в алфавитном порядке. Содержит все символыЮникоде нет символов с кодом больше <tex>10FFFF_{16}</tex>, встречающиеся и вводить их в типографике обычного текста (кроме знака ударениябудущем не планируется).[http://ru.wikipedia.org/wiki/CP1251]''Кодировки стандарта UNICODE:''* '''UTF8''' - самая распространенная на данный момент кодировка из семейства UNICODE. [http:, в которых первый байт всегда имеет вид <tex>11xxxxxx</tex>, а остальные — <tex>10xxxxxx</ru.wikipediatex>.org/wiki/UTF-8]

Символы UTF-8 получаются из Unicode cледующим образом:{|class="standardwikitable"

Также возможны коды длиной в 5 ====UTF-16LE и 6 UTF-16BE====Один символ кодировки UTF-16 представлен последовательностью двух байтили двух пар байт. Который из двух байт в словах идёт впереди, но на практике они не используютсястарший или младший, зависит от порядка байт. Это связано с тем, что в стандарт Unicode не входят символы с кодом выше <code>0x10ffff</code>Подробнее об этом будет сказано ниже.

==BOM=UTF-32===UTF-32 {{---}} один из способов кодирования символов из Юникод, использующий для кодирования любого символа ровно <tex>32</tex> бита. Остальные кодировки, UTF-8 и UTF-16, используют для представления символов переменное число байт. Символ UTF-32 является прямым представлением его кодовой позиции (англ. ''code point'').

'''Byte Order Mark (BOM)''' Хотя использование неменяющегося числа байт на символ удобно, но не настолько, как кажется. Операция усечения строк реализуется легче в сравнении с UTF-8 и UTF- Unicode символ16. Но это не делает более быстрым нахождение конкретного смещения в строке, используемый так как смещение может вычисляться и для индикации порядка байтов (порядка байт) текстового файлакодировок фиксированного размера. Его кодовый Это не облегчает вычисление отображаемой ширины строки, за исключением ограниченного числа случаев, так как даже символ U+FEFF«фиксированной ширины» может быть получен комбинированием обычного символа с модифицирующим, который не имеет ширины. Например, буква «й» может быть получена из буквы «и» и диакритического знака «крючок над буквой». По спецификации его использование Сочетание таких знаков означает, что текстовые редакторы не является обязательныммогут рассматривать <tex>32</tex>-битный код как единицу редактирования. Редакторы, однако если BOM используетсякоторые ограничиваются работой с языками с письмом слева направо и составными символами (англ. ''Precomposed character''), то он должен быть установлен вначале текстового файламогут использовать символы фиксированного размера. Помимо своего конкретного использования в качестве указателя порядка байтовНо такие редакторы вряд ли поддержат символы, символ может также указать какой кодировкой Unicode закодирован текстлежащие за пределами нулевой (базовой) плоскости кодового пространства и вряд ли смогут работать одинаково хорошо с символами UTF-16.

Кодировка Unicode ===Порядок байт===В современной вычислительной технике и цифровых системах связи информация обычно представлена в виде последовательности байт. В том случае, если число не может использовать 16-битные быть представлено одним байтом, имеет значение в каком порядке байты записываются в памяти компьютера или 32-разрядных числа передаются по линиям связи. Часто выбор порядка записи байт произволен и приложение должно знать как дальше с ним поступать. Поэтому потребность в BOM возникает при обмене документамиопределяется только соглашениями.

== Использование ==В потоке данных UTF-16 старший байт может записываться либо перед младшим общем случае, для представления числа <tex>M</tex>, большего <tex>255</tex> (англ. UTFздесь <tex>255=2^8-16 big-endian1</tex> — максимальное целое число, записываемое одним байтом), либо после младшего (англ. UTF-16 little-endian). Аналогично существует два варианта четырёхбайтной кодировки — UTF-32BE и UTF-32LEприходится использовать несколько байт.При этом число <tex>M</tex> записывается в позиционной системе счисления по основанию <tex>256</tex>:

<tex>M = \sum_{i=0}^{n}A_i\cdot 256^i=A_0\cdot 256^0+A_1\cdot 256^1+A_2\cdot 256^2+\dots+A_n\cdot 256^n.</tex> Набор целых чисел <tex>A_0,\dots,A_n</tex>, каждое из которых лежит в интервале от <tex>0</tex> до <tex>255</tex>, является последовательностью байт, составляющих <tex>M</tex>. При этом <tex>A_0</tex> называется младшим байтом, а <tex>A_n</tex> — старшим байтом числа <tex>M</tex>. ====Варианты записи=========Порядок от старшего к младшему=====Порядок от старшего к младшему (англ. ''big-endian''): <tex>A_n,\dots,A_0</tex>, запись начинается со старшего и заканчивается младшим. Этот порядок является стандартным для протоколов TCP/IP, он используется в заголовках пакетов данных и во многих протоколах более высокого уровня, разработанных для использования поверх TCP/IP. Поэтому, порядок байт от старшего к младшему часто называют сетевым порядком байт (англ. ''network byte order''). Этот порядок байт используется процессорами IBM 360/370/390, Motorola 68000, SPARC (отсюда третье название — порядок байт Motorola, Motorola byte order). В этом же виде (используя представление в десятичной системе счисления) записываются числа индийско-арабскими цифрами в письменностях с порядком знаков слева направо (латиница, кириллица). Для письменностей с обратным порядком (арабская) та же запись числа воспринимается как «от младшего к старшему». Порядок байт от старшего к младшему применяется во многих форматах файлов — например, PNG, FLV, EBML. =====Порядок от младшего к старшему=====Порядок от младшего к старшему (англ. ''little-endian''): <tex>A_0,\dots,A_n</tex>, запись начинается с младшего и заканчивается старшим. Этот порядок записи принят в памяти персональных компьютеров с x86-процессорами, в связи с чем иногда его называют интеловский порядок байт (по названию фирмы-создателя архитектуры x86). В противоположность порядку big-endian, соглашение little-endian поддерживают меньше кросс-платформенных протоколов и форматов данных; существенные исключения: USB, конфигурация PCI, таблица разделов GUID, рекомендации FidoNet. =====Переключаемый порядок=====Многие процессоры могут работать и в порядке от младшего к старшему, и в обратном, например, ARM, PowerPC (но не PowerPC 970), DEC Alpha, MIPS, PA-RISC и IA-64. Обычно порядок байт выбирается программно во время инициализации операционной системы, но может быть выбран и аппаратно перемычками на материнской плате. В этом случае правильнее говорить о порядке байт операционной системы. Переключаемый порядок байт иногда называют англ. ''bi-endian''. =====Смешанный порядок=====Смешанный порядок байт (англ. ''middle-endian'') иногда используется при работе с числами, длина которых превышает машинное слово. Число представляется последовательностью машинных слов, которые записываются в формате, естественном для данной архитектуры, но сами слова следуют в обратном порядке. Классический пример middle-endian — представление <tex>4</tex>-байтных целых чисел на <tex>16</tex>-битных процессорах семейства PDP-11 (известен как PDP-endian). Для представления двухбайтных значений (слов) использовался порядок little-endian, но <tex>4</tex>-хбайтное двойное слово записывалось от старшего слова к младшему. В процессорах VAX и ARM используется смешанное представление для длинных вещественных чисел. =====Различия=====[[Файл:endian.png|thumb|right| 300px]]Существенным достоинством little-endian по сравнению с big-endian порядком записи считается возможность «неявной типизации» целых чисел при чтении меньшего объёма байт (при условии, что читаемое число помещается в диапазон). Так, если в ячейке памяти содержится число <tex>00000022_{16}</tex>, то прочитав его как int16 (два байта) мы получим число <tex>0022_{16}</tex>, прочитав один байт — число <tex>22_{16}</tex>. Однако, это же может считаться и недостатком, потому что провоцирует ошибки потери данных. Обратно, считается что у little-endian, по сравнению с big-endian есть «неочевидность» значения байт памяти при отладке (последовательность байт (A1, B2, C3, D4) на самом деле значит <tex>D4C3B2A1_{16}</tex>, для big-endian эта последовательность (A1, B2, C3, D4) читалась бы «естественным» для арабской записи чисел образом: <tex>A1B2C3D4_{16}</tex>). Наименее удобным в работе считается middle-endian формат записи; он сохранился только на старых платформах. Для записи длинных чисел (чисел, длина которых существенно превышает разрядность машины) обычно предпочтительнее порядок слов в числе little-endian (поскольку арифметические операции над длинными числами производятся от младших разрядов к старшим). Порядок байт в слове — обычный для данной архитектуры. ====Маркер последовательности байт====Для определения формата представления Юникода в текстовом файле используется приём, по которому в начале текста начало текстового файла записывается сигнатура — символ U+FEFF (неразрывный пробел с нулевой шириной), также именуемый меткой порядка байтов маркером последовательности байт (англ. ''byte order mark, (BOM)''). Этот способ Это позволяет различать UTF-16LE и UTF-16BE, поскольку символа U+FFFE не существует. Также он иногда применяется для обозначения формата UTF-8, хотя к этому формату и неприменимо понятие порядка байтов[[Файл:Bom.== Представление кодировки Byte order marks ==png|thumb|right| 400px]]

! Представление (Шестнадцатеричная)! Представление (Десятичная)! Представление (ISO-8859-1Шестнадцатеричное)

| UTF-16 ([[Big Endian|BE]])

| UTF-16 ([[Little Endian|LE]])

В кодировке UTF-8, наличие BOM не является существенным, поскольку, нет альтернативной последовательности байт. Когда BOM используется на страницах или редакторах для контента закодированного в UTF-8, иногда он может представить пробелы или короткие последовательности символов, имеющие странный вид (такие как ). Именно поэтому, при наличии выбора, для совместимости, как правило, лучше упустить BOM в UTF-8 контенте.Однако BOM могут еще встречаться в тексте закодированном в UTF-8, как побочный продукт перекодирования или потому, что он был добавлен редактором. В этом случае BOM часто называют подписью UTF-8. Когда символ закодирован в UTF-16, его <tex>2</tex> или <tex>4</tex> байта можно упорядочить двумя разными способами (little-endian или big-endian). Изображение справа показывает это. Byte order mark указывает, какой порядок используется, так что приложения могут немедленно расшифровать контент. UTF-16 контент должен всегда начинатся с BOM. BOM также используется для текста обозначенного как UTF-32. Аналогично UTF-16 существует два варианта четырёхбайтной кодировки — UTF-32BE и UTF-32LE. К сожалению, этот способ не позволяет надёжно различать UTF-16LE и UTF-32LE, поскольку символ U+0000 допускается Юникодом  ===Проблемы Юникода===В Юникоде английское «a» и польское «a» {{---}} один и тот же символ. Точно так же одним символом (хотя реальные тексты редко начинаются с негоно отличающимся от «a» латинского) считаются русское «а» и сербское «а». Такой принцип кодирования не универсален; по-видимому, решения «на все случаи жизни» вообще не может существовать. ==Примеры==Если записать строку 'hello мир' в файл exampleBOM, а затем сделать его hex-дамп, то можно убедиться в том, что разные символы кодируются разным количеством байт. Например, английские буквы,пробел, знаки препинания и пр. кодируются одним байтом, а русские буквы - двумя===Код на python===<pre>#!/usr/bin/env python#coding:utf-8import codecsf = open('exampleBOM','w')b = u'hello мир'f.write(codecs.BOM_UTF8)f.write(b.encode('utf-8'))f.close()</pre>===hex-дамп файла exampleBOM==={|class = "wikitable" border = "1" style="text-align:center" |Символ |colspan="3" |BOM |h||e||l||l||o |Пробел |colspan="2" |м |colspan="2" |и |colspan="2" |р |- |Код в UNICODE |EF |BB |BF |68||65||6C||6C||6F |20||D0||BC||D0||B8||D1||80 |- |Код в UTF-8 |11101111||10111011||10111111 |01101000||01100101||01101100||01101100||01101111 |00100000||11010000||10111100||11010000||10111000||11010001||10000000 |} ==См. также==* [[Представление целых чисел: прямой код, код со сдвигом, дополнительный код]]* [[Представление вещественных чисел]] == Источники информации ==* [http://ru.wikipedia.org/wiki/ASCII Wikipedia {{---}} таблица ASCII]* [http://ru.wikipedia.org/wiki/%D0%AE%D0%BD%D0%B8%D0%BA%D0%BE%D0%B4 Wikipedia {{---}} стандарт UNICODE]* [http://ru.wikipedia.org/wiki/Byte_order_mark Wikipedia {{---}} Byte order mark]* [http://ru.wikipedia.org/wiki/Порядок_байтов Wikipedia {{---}} Порядок байтов]* [http://ru.wikipedia.org/wiki/%D0%AE%D0%BD%D0%B8%D0%BA%D0%BE%D0%B4 Wikipedia {{---}} Юникод] * [http://ru.wikipedia.org/wiki/CP1251 Wikipedia {{---}} Windows-1251]* [http://ru.wikipedia.org/wiki/UTF-8 Wikipedia {{---}} UTF-8]* [http://ru.wikipedia.org/wiki/UTF-16 Wikipedia {{---}} UTF-16]* [http://ru.wikipedia.org/wiki/UTF-32 Wikipedia {{---}} UTF-32]