Изменения

В вычислительных машинах символы не могут храниться иначе, как в виде последовательностей битов бит (как и числа). Для передачи символа и его корректного отображения ему должна соответствовать уникальная последовательность нулей и единиц. Для этого были разработаны таблицы кодировок.

Количество символов, которые можно задать последовательностью битов бит длины ''<tex>n''</tex>, задается простой формулой <tex>C(n) = 2^n</tex>. Таким образом, от нужного количества символов напрямую зависит количество используемой памяти.

На заре компьютерной эры на каждый символ было отведено по 5 пять бит. Это было связано с малым количеством оперативной памяти на компьютерах тех лет. В эти <tex>64 </tex> символа входили только управляющие символы и строчные буквы английского алфавита.

Первой 7 битной семибитной кодировкой стала ASCII7. В нее уже вошли прописные буквы английского алфавита, арабские цифры, знаки препинания.Затем на ее базе была разработана ASCII8, в которым уже стало возможным хранение <tex>256 </tex> символов: <tex>128 </tex> основных и еще столько же расширенных. Первая часть таблицы осталась без изменений, а вторая может иметь различные варианты (каждый имеет свой номер). Эта часть таблицы стала заполняться символами национальных алфавитов.

|definition='''ASCII ''' {{- --}} таблицы кодировок, в которых содержатся основные символы (английский алфавит, цифры, знаки препинания, символы национальных алфавитов(свои для каждого региона), служебные символы) и длина кода каждого символа <tex>n = 8</tex> бит.

Но '''<tex>7</tex> бит:'''* '''ASCII7''' {{---}} первая кодировка, пригодная для многих языков (напримерработы с текстом. Помимо маленьких букв английского алфавита и служебных символов, арабского, японского, китайского) 256 символов недостаточносодержит большие буквы английского языка, поэтому развитие кодировок продолжалосьцифры, что привело к появлению UNICODEзнаки препинания и другие символы.

'''Кодировки стандарта ASCII (<tex>8</tex> бит):'''* '''ASCII''' {{---}} первая кодировка, в которой стало возможно использовать символы национальных алфавитов.* '''КОИ8-R''' {{---}} первая русская кодировка. Символы кириллицы расположены не в алфавитном порядке. Их разместили в верхнюю половину таблицы так, чтобы позиции кириллических символов соответствовали их фонетическим аналогам в английском алфавите. Это значит, что даже при потере старшего бита каждого символа, например, при проходе через устаревший семибитный модем, текст остается "читаемым".* '''CP866''' {{---}} русская кодировка, использовавшаяся на компьютерах IBM в системе DOS.* '''Windows-1251''' {{---}} русская кодировка, использовавшаяся в русскоязычных версиях операционной системы Windows в начале 90-х годов. Кириллические символы идут в алфавитном порядке. Содержит все символы, встречающиеся в типографике обычного текста (кроме знака ударения).===Структурные свойства таблицы===* Цифры 0-9 представляются своими двоичными значениями (например, <tex>5=0101_2</tex>), перед которыми стоит <tex>0011_2</tex>. Таким образом, двоично-десятичные числа (BCD) превращаются в ASCII-строку с помощью простого добавления слева <tex>0011_2</tex> к каждому двоично-десятичному полубайту.* Буквы A-Z верхнего и нижнего регистров различаются в своём представлении только одним битом, что упрощает преобразование регистра и проверку на диапазон. Буквы представляются своими порядковыми номерами в алфавите, записанными в двоичной системе счисления, перед которыми стоит <tex>0100_2</tex> (для букв верхнего регистра) или <tex>0110_2</tex> (для букв нижнего регистра). {Определение| border="1" cellspacing="0" style="text-align: center; font-family: monospace" |- ! width="4%" | &nbsp; ! width="6%" | 0 || width="6%" | 1 ! width="6%" | 2 || width="6%" | 3 ! width="6%" | 4 || width="6%" | 5 ! width="6%" | 6 || width="6%" | 7 ! width="6%" | 8 || width="6%" | 9 ! width="6%" | A || width="6%" | B ! width="6%" | C || width="6%" | D ! width="6%" | E || width="6%" | F |- ! 0 | NUL || SOH || STX || ETX | EOT || ENQ || ACK || BEL | BS || TAB || LF || VT | FF || CR || SO || SI |- ! 1 | DLE || DC1 || DC2 || DC3 | DC4 || NAK || SYN || ETB | CAN || EM || SUB || ESC | FS || GS || RS || US |- ! 2 | &nbsp; || ! || " || # | $ || % || & || ' | ( || ) || * || + | , || - || . || / |- ! 3 | 0 || 1 || 2 || 3 | 4 || 5 || 6 || 7 | 8 || 9 || : || ; | &lt; ||definition=|| &gt; || ? |- ! 4 | @ || A || B || C | D || E || F || G | H || I || J || K | L || M || N || O |- ! 5 | P || Q || R || S | T || U || V || W | X || Y || Z || [ | \ || ] || ^ || _ |- ! 6 | ` || a || b || c | d || e || f || g | h || i || j || k | l || m || n || o |- ! 7 | p || q || r || s | t || u || v || w | x || y || z || { | &#124; || } || ~ || DEL |} ==Кодировки стандарта UNICODE == '''Юникод''' или '''Уникод''' (англ. ''Unicode'') {{--- таблицы }} это промышленный стандарт обеспечивающий цифровое представление символов всех письменностей мира, и специальных символов. Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. ''Unicode Consortium, Unicode Inc.''). Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей.Стандарт состоит из двух основных разделов: '''универсальный набор символов''' (англ. ''UCS, universal character set'') и семейство кодировок(англ. ''UTF, Unicode transformation format''). '''Универсальный набор символов''' задаёт однозначное соответствие символов кодам — элементам кодового пространства, представляющим неотрицательные целые числа.Семейство кодировок определяет машинное представление последовательности кодов UCS. Коды в которых содержатся все используемые стандарте Unicode разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Далее расположены области знаков различных письменностей, знаки пунктуации и длина кода каждого символа технические символы. Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F. Часть кодов зарезервирована для использования в будущем.===Кодовое пространство===Хотя формы записи UTF-8 и UTF-32 позволяют кодировать до <tex>2^{31}</tex> <tex>(2\ 147\ 483\ 648)</tex> кодовых позиций, было принято решение использовать лишь <tex>1\ 112\ 064</tex> для совместимости с UTF-16. Впрочем, даже и этого на текущий момент более чем достаточно — в версии 6.0 используется чуть менее <tex>110\ 000</tex> кодовых позиций (<tex>109\ 242</tex> графических и <tex>273</tex> прочих символов). Кодовое пространство разбито на <tex>17</tex> плоскостей (англ. ''planes'') по <tex>2^{16}</tex> <tex>n (65\geq 8536)</tex> символов. Нулевая плоскость называется базовой, в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, вторая {{---}} для для редко используемых иероглифов китайского письма, третья зарезервирована для архаичных китайских иероглифов. Плоскости <tex>15</tex> и <tex>16</tex> выделены для частного употребления. Для обозначения символов Unicode используется запись вида «U+xxxx» (для кодов <tex>0000_{16}..FFFF_{16}</tex>) или «U+xxxxx» (для кодов <tex>10000_{16}..FFFFF_{16}</tex>) или «U+xxxxxx» (для кодов <tex>100000_{16}..10FFFF_{16}</tex>), где xxx — шестнадцатеричные цифры. Например, символ «я» (U+044F) имеет код <tex>044F_{16} = 1103_{10}</tex> бит. {| class="wikitable sortable collapsible collapsed"|-! colspan="3" | Плоскости Юникода|-! Плоскость !! Название !! Диапазон символов|-| Plane 0 || Basic multilingual plane (BMP) || U+0000…U+​FFFF|-| Plane 1 || Supplementary multilingual plane (SMP) || U+10000…U+​1FFFF|-| Plane 2 || Supplementary ideographic plane (SIP) || U+20000…U+​2FFFF|-| Planes 3-13 || Unassigned || U+30000…U+​DFFFF|-| Plane 14 || Supplement­ary special-purpose plane (SSP) || U+E0000…U+​EFFFF|-| Planes 15-16 || Supplement­ary private use area (S PUA A/B) || U+F0000…U+​10FFFF|-|} ===Модифицирующие символы===[[Файл:Ji.png|thumb|right| 250px]]Графические символы в Юникоде делятся на протяжённые и непротяжённые. Непротяжённые символы при отображении не занимают дополнительного места в строке. К примеру, к ним относятся знак ударения. Протяжённые и непротяжённые символы имеют собственные коды, но последние не могут встречаться самостоятельно. Протяжённые символы называются базовыми (англ. ''base characters''), а непротяженные {{---}}модифицирующими (англ. ''combining characters''). Например символ «Й» (U+0419) может быть представлен в виде базового символа «И» (U+0418) и модифицирующего символа « ̆» (U+0306).

== Наиболее известные кодировки =Способы представления===Юникод имеет несколько форм представления (англ. ''Unicode Transformation Format, UTF''): UTF-8, UTF-16 (UTF-16BE, UTF-16LE) и UTF-32 (UTF-32BE, UTF-32LE). Была разработана также форма представления UTF-7 для передачи по семибитным каналам, но из-за несовместимости с ASCII она не получила распространения и не включена в стандарт.

''7 бит:''===UTF-8===* '''ASCII7''' UTF- первая кодировка, пригодная для работы с текстом. Помимо маленьких букв английского алфавита и служебных символов8 {{---}} представление Юникода, содержит большие буквы английского языкаобеспечивающее наилучшую совместимость со старыми системами, цифры, знаки препинания и другие символы.''Кодировки стандарта ASCII (использовавшими <tex>8 бит):''* '''ASCII''' </tex>- первая кодировка, в которой стало возможно использовать битные символы национальных алфавитов.* '''КОИ8-R''' - первая русская кодировка. Символы кириллицы расположены не в алфавитном порядке. Их разместили в верхнюю половину таблицы такТекст, чтобы позиции кириллических состоящий только из символов соответствовали их фонетическим аналогам в английском алфавите. Это значитс номером меньше <tex>128</tex>, что даже при потере старшего бита каждого символа, например, при проходе через устаревший семибитный модем, текст остается "читаемым".* '''CP866''' записи в UTF- русская кодировка, использовавшаяся на компьютерах IBM 8 превращается в системе DOSобычный текст ASCII.* '''Windows-1251''' - русская кодировкаИ наоборот, использовавшаяся в русскоязычных версиях операционной системы Windows в начале 90тексте UTF-х годов8 любой байт со значением меньше <tex>128</tex> изображает символ ASCII с тем же кодом. Кириллические Остальные символы идут Юникода изображаются последовательностями длиной от двух до шести байт (на деле, только до четырех байт, поскольку в алфавитном порядке. Содержит все символыЮникоде нет символов с кодом больше <tex>10FFFF_{16}</tex>, встречающиеся и вводить их в типографике обычного текста (кроме знака ударениябудущем не планируется).[http://ru.wikipedia.org/wiki/CP1251]''Кодировки стандарта UNICODE:''* '''UTF8''' - самая распространенная на данный момент кодировка из семейства UNICODE. [http:, в которых первый байт всегда имеет вид <tex>11xxxxxx</tex>, а остальные — <tex>10xxxxxx</ru.wikipediatex>.org/wiki/UTF-8]

Символы UTF-8 получаются из Unicode cледующим образом:{|class="standardwikitable"

Также возможны коды длиной ====Принцип кодирования=========Правила записи кода одного символа в 5 и 6 байт, но на практике они не используютсяUTF-8=====1. Это связано с тем, что Если размер символа в стандарт Unicode не входят символы с кодом выше кодировке UTF-8 = <tex>1<code/tex>0x10ffffбайт<br /code>.

Кодировка Unicode может использовать 16-битные или 32-разрядных числа и приложение должно знать как дальше с ним поступать. Поэтому потребность в BOM возникает при обмене документами: 2.2 «0» — бит терминатор, означающий завершение кода размера

== Использование ==В потоке данных UTF-16 старший байт может записываться либо перед младшим (англ: 2. UTF-16 big-endian)3 далее идут значащие байты кода, либо после младшего которые имеют вид (англ. UTF-16 little-endian10xx xxxx). Аналогично существует два варианта четырёхбайтной кодировки — UTF-32BE и UTF-32LE, где «10» — биты признака продолжения, а «x» — значащие биты.

Для определения формата В общем случае варианты представления Юникода '''одного символа''' в текстовом файле используется приём, по которому в начале текста записывается символ U+FEFF кодировке UTF-8 выглядят так: (1 байт) 0aaa aaaa (2 байта) 110x xxxx 10xx xxxx (3 байта) 1110 xxxx 10xx xxxx 10xx xxxx (4 байта) 1111 0xxx 10xx xxxx 10xx xxxx 10xx xxxx (неразрывный пробел с нулевой шириной5 байт), также именуемый меткой порядка байтов 1111 10xx 10xx xxxx 10xx xxxx 10xx xxxx 10xx xxxx (англ. byte order mark, BOM6 байт). Этот способ позволяет различать UTF-16LE и UTF-16BE, поскольку символа U+FFFE не существует. Также он иногда применяется для обозначения формата 1111 110x 10xx xxxx 10xx xxxx 10xx xxxx 10xx xxxx 10xx xxxx =====Определение длины кода в UTF-8, хотя к этому формату и неприменимо понятие порядка байтов.== Представление кодировки Byte order marks ===

! Представление (Шестнадцатеричная)! Представление (Десятичная)! Представление (ISO-8859-1Шестнадцатеричное)

| UTF-16 (Big Endian|BE)

| UTF-16 (Little Endian|LE)

В кодировке UTF-8, наличие BOM не является существенным, поскольку, нет альтернативной последовательности байт. Когда BOM используется на страницах или редакторах для контента закодированного в UTF-8, иногда он может представить пробелы или короткие последовательности символов, имеющие странный вид (такие как ). Именно поэтому, при наличии выбора, для совместимости, как правило, лучше упустить BOM в UTF-8 контенте.Однако BOM могут еще встречаться в тексте закодированном в UTF-8, как побочный продукт перекодирования или потому, что он был добавлен редактором. В этом случае BOM часто называют подписью UTF-8. Когда символ закодирован в UTF-16, его <tex>2</tex> или <tex>4</tex> байта можно упорядочить двумя разными способами (little-endian или big-endian). Изображение справа показывает это. Byte order mark указывает, какой порядок используется, так что приложения могут немедленно расшифровать контент. UTF-16 контент должен всегда начинатся с BOM. BOM также используется для текста обозначенного как UTF-32. Аналогично UTF-16 существует два варианта четырёхбайтной кодировки — UTF-32BE и UTF-32LE. К сожалению, этот способ не позволяет надёжно различать UTF-16LE и UTF-32LE, поскольку символ U+0000 допускается Юникодом  ===Проблемы Юникода===В Юникоде английское «a» и польское «a» {{---}} один и тот же символ. Точно так же одним символом (хотя реальные тексты редко начинаются с негоно отличающимся от «a» латинского) считаются русское «а» и сербское «а». Такой принцип кодирования не универсален; по-видимому, решения «на все случаи жизни» вообще не может существовать. ==Примеры==Если записать строку 'hello мир' в файл exampleBOM, а затем сделать его hex-дамп, то можно убедиться в том, что разные символы кодируются разным количеством байт. Например, английские буквы,пробел, знаки препинания и пр. кодируются одним байтом, а русские буквы - двумя===Код на python===<pre>#!/usr/bin/env python#coding:utf-8import codecsf = open('exampleBOM','w')b = u'hello мир'f.write(codecs.BOM_UTF8)f.write(b.encode('utf-8'))f.close()</pre>===hex-дамп файла exampleBOM==={|class = "wikitable" border = "1" style="text-align:center" |Символ |colspan="3" |BOM |h||e||l||l||o |Пробел |colspan="2" |м |colspan="2" |и |colspan="2" |р |- |Код в UNICODE |EF |BB |BF |68||65||6C||6C||6F |20||D0||BC||D0||B8||D1||80 |- |Код в UTF-8 |11101111||10111011||10111111 |01101000||01100101||01101100||01101100||01101111 |00100000||11010000||10111100||11010000||10111000||11010001||10000000 |} ==См. также==* [[Представление целых чисел: прямой код, код со сдвигом, дополнительный код]]* [[Представление вещественных чисел]] == Источники информации ==* [http://ru.wikipedia.org/wiki/ASCII Wikipedia {{---}} таблица ASCII]* [http://ru.wikipedia.org/wiki/%D0%AE%D0%BD%D0%B8%D0%BA%D0%BE%D0%B4 Wikipedia {{---}} стандарт UNICODE]* [http://ru.wikipedia.org/wiki/Byte_order_mark Wikipedia {{---}} Byte order mark]* [http://ru.wikipedia.org/wiki/Порядок_байтов Wikipedia {{---}} Порядок байтов]* [http://ru.wikipedia.org/wiki/%D0%AE%D0%BD%D0%B8%D0%BA%D0%BE%D0%B4 Wikipedia {{---}} Юникод] * [http://ru.wikipedia.org/wiki/CP1251 Wikipedia {{---}} Windows-1251]* [http://ru.wikipedia.org/wiki/UTF-8 Wikipedia {{---}} UTF-8]* [http://ru.wikipedia.org/wiki/UTF-16 Wikipedia {{---}} UTF-16]* [http://ru.wikipedia.org/wiki/UTF-32 Wikipedia {{---}} UTF-32]