Международная система кодировки unicode обеспечивает. Кодировка Unicode. Основные принципы Юникода

Или оттиск на бумаге, сделанный с такой гравюры.

История [ | ]

Ксилография возникла и получила распространение в странах Дальнего Востока . В Корее найден текст, оттиснутый в первой половине VIII века , а в Японии - фрагмент буддийского текста, датируемый 60-ми годами того же столетия .

Китайские литературные источники относят первые печатные изображения с деревянных досок к VI веку . Самая ранняя из сохранившихся китайских гравюр создана в IX веке . В «Алмазной сутре » (датированной 868 годом н. э.), которая ныне хранится в Британской библиотеке , указано, что мастер Ван Чи (Ван Цзе) вырезал доски и напечатал книгу «ради поминовения усопших родителей своих».

Предшественники: эстампажи и печать притиркой [ | ]

Косвенным предшественником ксилографии отдельные исследователи предлагают считать эстампаж - технику получения прямого оттиска рельефного изображения. Первые опыты такого своеобразного способа печати относят ко времени, практически совпадающему со временем изобретения в Китае бумаги (II век н. э.) - это получение оттисков с плоских каменных рельефов; на рельеф накладывается слегка увлажнённая бумага, которую специальными щётками притирают и лёгким постукиванием вдавливают в углубления; после того на поверхность высушенной бумаги, воспринявшей формы рельефа, большой плоской кистью и тампонами наносят водяную краску. В результате получается прямое воспроизведение рельефа, которое состоит из силуэтов (в зависимости от задач и применяемых материалов - чёрных или цветных), перемежающихся пробельными линиями .

Этот способ имел применение и в дальнейшем, уже с появлением гравюры на дереве. Есть предположения о том, что он мог оказать влияние на отдельные стилистические приёмы старой китайской гравюры, в которых можно наблюдать подражание эстампажу, что выражается наличием белого штриха по цветному или чёрному фону или силуэтам .

Усматриваются сходство с эстампажем и в приёмах печати торцовой гравюры притиркой - единственном возможном способе получения качественных оттисков с досок малых форматов; о чём - далее .

Техника [ | ]

В самых общих чертах история техники гравюры на дереве сводится к следующему.

Продольная (обрезная) гравюра [ | ]

Первоначально техника гравирования в Западной Европе , как и на Востоке, была близка к технике изготовления досок для набойки . В старой продольной гравюре основным строящим форму элементом был нож, а в распоряжении гравёра имелся набор ножей разной величины и формы.

На отшлифованную поверхность доски (если предполагается тиражировать гравюру на типографском станке - толщиною около 2,5 см) наносится рисунок, после чего линии этого рисунка обрезаются с обеих сторон острым ножом, сам же штрих остаётся нетронутым (отсюда одно из названий продольной гравюры - «обрезная»), а фон выбирается широкими стамесками до глубины 2-5 мм. После этого доску закатывают специальной краской и выполняют оттиск на бумагу.

Важнейшая особенность старой «обрезной» гравюры - господство чёрного штриха. Технически вполне возможен и белый штрих; его достаточно часто можно видеть в старых гравюрах, например, в иллюстрациях флорентийских изданий конца XV - начала XVI века. Были даже гравюры, нарезанные как негатив - белым по чёрному, например, работы швейцарского мастера XVI века Урса Графа («чёрная манера» в гравюре на дереве). Но всё это воспринимается скорее как исключение из общего правила. В системе художественных средств старой «обрезной» гравюры белый штрих занимает скромное место.

Современные мастера продольной ксилографии пользуются помимо ножей также инструментами, которые применяются в линогравюре . Это угловые и полукруглые стамески, подобные, применяемым резчиками по дереву, - прямые или слегка изогнутые, вставляемые в точёные грибовидные ручки, а иногда - в прямые (например, в японском наборе инструментов).

Торцовая (тоновая, репродукционная) гравюра [ | ]

Первые образцы западноевропейской гравюры , выполненные в этой технике, появились на рубеже XIV -XV веков . В 1780-х годах английский художник и гравёр Томас Бьюик ( -) изобрёл способ гравюры на поперечном срезе ствола твёрдых пород дерева. Он сам создал иллюстрации к «Общей истории четвероногих» и двухтомной «Истории птиц Британии» .

Торцовая гравюра произвела переворот в книжной графике. Ксилография снова заняла господствующее положение в книге, будучи прежде вытесненной офортом и резцовой гравюрой на металле. Твёрдая и однородная поверхность торцовой доски позволяла несравнимо легче, чем на продольном дереве, получать тончайшие линии и передавать штриховкой любой частоты сложные тональные и цветовые отношения.

В торцовой гравюре инструментами служат штихели , подобные тем, какие употребляют в глубокой гравюре на металле, но более разнообразной формы. Штихель представляет собой узкий стальной стержень различного сечения, длиной 10-11 см, с режущим концом, заточенным под углом 45° (для металла штихели затачивают под более тупым углом). Другой конец вставляется в ручку грибовидной формы. Нижняя, обращённая к доске часть ручки плоско срезается. Если положить штихель с ручкой на доску, режущий конец его может быть слегка приподнят.

Торцовую гравюру называют также «тоновой», поскольку одной из основных отличительных особенностей её является чрезвычайно широкий линеарный диапазон, позволяющий создавать произведения, наделённые уникальными возможностями богатой пластической выразительности: от чёткого рисующего чёрного и белого штриха до пятна с разнообразной цветовой и фактурной характеристикой, тончайшие переходы тона. Эти её достоинства стали причиной использования торцовой гравюры для репродуцирования. Отсюда третье название торцовой гравюры - «репродукционная».

Morihite. «M.Koide. Op.7». Гравюра на органическом стекле. 1989

Ещё одной особенностью торцовой гравюры, выгодно отличающей её от продольной, является долговечность печатной формы. Качественные оттиски с продольных досок возможны в пределах нескольких сот, максимум - тысяч. Исключением можно считать те случаи, когда произведение подразумевает чисто декоративные качества, а структурные особенности композиции не столь существенны, когда практически отсутствует штриховка. После многократной печати штрихи раздавливаются, происходит заплыв краски, что делает невозможным получение качественных оттисков. Напротив - торцовые доски использовались даже для стандартного типографского тиражирования, когда они включались в форму для печати инициалов, заставок и даже больших иллюстраций. Тираж при малом изменении качества может доходить до нескольких десятков тысяч.

В качестве материала, заменяющего традиционно используемый в торцовой гравюре самшит и другие сходные по своим свойствам породы дерева, с некоторых пор применяют пластики, в том числе органическое стекло. При незначительных, непринципиальных изменениях техники работа с этими материалами почти не сказывается на валёре .

Очевидными техническими недостатками торца является, во-первых, ограничение размеров произведений, обусловленное толщиной ствола, из которого делается форма; самшит, идеальный для торцовой гравюры, до приемлемых размеров вырастает чрезвычайно медленно, и ареал его сравнительно невелик, а вырубка, например, на Кавказе практически прекращена или производится исключительно из санитарных соображений; во-вторых, именно последнее условие диктует потребность использования иных материалов. Первый фактор успешно преодолевается склейкой досок, что позволяет делать работы крупного формата, примером чему служат произведения В. Фаворского , сопоставимые по этим параметрам с продольными гравюрами среднего размера. Но ещё У. Блейк без особого ущерба для решаемых задач резал на груше , что можно расценивать как изначально найденный путь преодоления второй проблемы. Пластик же позволяет решить обе эти проблемы .

Мастера ксилографии [ | ]

• Мастер E. S. (1420-е - около ) - немецкий художник.
• Альбрехт Дюрер ( -) - немецкий художник.
• Лукас ван Лейден ( -) - голландский художник.
• ( -) - французский график.
• Томас Бьюик ( -) - английский гравёр и орнитолог.
• Мориц Ретч ( -) - немецкий гравёр и иллюстратор.
• Эдмунд Эванс ( -) - английский гравёр
• Холевиньский, Юзеф ( -) - польский художник, график, гравер.
• Василий Васильевич Матэ ( -) - русский художник, гравёр
• Анна Петровна Остроумова-Лебедева ( -) - российская и советская художница.
• Павел Яковлевич Павлинов ( -) - русский и советский график.
• Дмитрий Исидорович Митрохин ( -) - русский график.
• Владимир Андреевич Фаворский
• Гиббингс, Роберт ( -) - ирландский и английский мастер гравюры на дереве, писатель, издатель.
• Франс Мазерель ( -) - бельгийский график.
• Мауриц Корнелис Эшер ( -) - нидерландский график.
• Геннадий Дмитриевич Епифанов ( -) - русский советский график.
• Михаил Владимирович Маторин ( -) - русский советский график.

Ксилография

Ксилографией называется гравюра на дереве (по-гречески "ксилос" - дерево). Существует два вида гравюры на дереве: обрезная и торцовая.

В обрезной или продольной гравюре печатная форма создается на деревянных досках продольного распила. При помощи специальных режущих инструментов штрихи, линии и пятна, образующие на доске рисунок, обрезаются со всех сторон, а промежутки, то есть все, что не должно печататься, углубляются. Затем на доску накатывается при помощи валика краска, сверху кладут мягкую бумагу и делают отпечаток на специальном станке или вручную. Рисунок (гравюра) оттискивается с выступающих возвышенных частей доски, на которые накатана краска, следовательно ксилография является одним из видов выпуклой гравюры, а ее печать относится к группе высокой печати.

Почти во всех видах эстампа изображение на печатной форме должно быть исполнено в обратном (зеркальном) положении, чтобы оттиск получился в том виде, как задумал его художник. В распоряжении автора имеется ряд способов переноса на печатную форму зеркального изображения. Эта особенность не создает для художника особых трудностей, и, работая над печатной формой, он хорошо представляет себе, каким будет оттиск.

Первые обрезные гравюры были довольно примитивными. Со временем техника совершенствовалась, появились более гибкие и разнообразные штрихи, но все же изобразительные возможности этого вида ксилографии не особенно широки. Затрудняет гравирование неоднородность древесных слоев, к тому же гравирование вдоль слоя идет легко, но значительно труднее - поперек слоя. Но обрезная гравюра имеет свои неповторимые художественные достоинства. Материал заставляет художника освобождать изображение от мелочей, быть лаконичным, искать обобщений. Крупный штрих, глубокие по тону и простые по рисунку пятна создают особый декоративный строй обрезной гравюры. Именно этими качествами объясняется большой интерес современных художников к обрезной гравюре.

Первые продольные гравюры появились в Китае еще в VI веке, В Европе этот вид гравюры известен с XV века и наибольшее распространение получил в Нидерландах и Германии в XV - XVI веках. Широко применялась гравюра в печатании книг, причем, нередко на одной доске гравировались и рисунки и шрифт. Во многих странах были распространены ксилографские оттиски, раскрашенные от руки акварелью. В XVI веке в Италии получил распространение особый вид цветной гравюры на дереве. Печатались такие гравюры с нескольких досок. Оперируя сдержанными, близкими друг к другу цветами, а иногда тональными переходами одного цвета, художники стремились полнее передать эффекты света и тени и создавали гравюры с такими подчеркнутыми объемами, что они напоминали скульптурные рельефы. Такой вид гравюры называется "кьяроскуро" (от сочетания итальянских слов "свет" и "тень").

Но особенно большое развитие обрезная гравюра получила в XVII - XIX веках в Китае и Японии. Прекрасным мастером одноцветных гравюр был японский художник Моронобу. Японская цветная гравюра на дереве XVIII и первой половины XIX века составляет одну из замечательных страниц мирового изобразительного искусства. Печатались эти гравюры с нескольких досок. Одна из них была рисующей: с нее оттискивался линейный рисунок. Рисунок дополнялся целой гаммой плоских цветовых пятен. Для каждого цвета гравировалась отдельная доска. Лучшие художники того времени, смело отойдя от старых, традиционных тем и сюжетов, преимущественно мифологического и религиозного содержания, обратились к явлениям окружающей жизни. Появились живые и искренние жанровые сцены, пейзажи и портреты.

Произведения Харунобу, Утамаро, Тойокуни, Хиросиге, Хокусаи (см. обложку) и других мастеров свидетельствуют о гуманизме их творчества, большой любви к человеку и природе. Их гравюры отличаются необычайной точностью и меткостью рисунка, совершенством композиции, тонким цветовым решением, лишенным всякой иллюзорности. Цветовой строй каждого листа прост "и благороден. Японская цветная гравюра оказала благотворное влияние на развитие цветного эстампа и в других странах.

В России обрезная гравюра известна с середины XVI века. Первые печатные издания в России (например, "Апостол", изданный Иваном Федоровым в 1564 году) были украшены оттисками с деревянных досок. Как мы уже говорили, этот дешевый и доступный способ гравирования и печати был широко распространен в создании народных картинок - лубков.

Торцовая гравюра на дереве, также относящаяся к выпуклой гравюре, была изобретена английским художником Т. Бьюиком во второй половине XVIII века. Необычайно быстро распространившись, торцовая гравюра почти совершенно вытеснила обрезную. Печатная форма в торцовой гравюре создается на досках поперечного распила, волокна древесины перпендикулярны поверхности доски. Применяются твердые породы: пальма, самшит, бук. Гравирование производится стальными резцами различных размеров и профилей - штихелями. Острый инструмент одинаково легко режет дерево в любом направлении. Принципы гравирования и печати сходны с теми, которые знакомы нам по обрезной гравюре: углубляются на доске те места, которые не должны печататься. Но однородное по плотности дерево и более совершенный инструмент позволяют достичь многочисленных технических приемов, выгодно отличающихся от ограниченной техники продольной гравюры. Свободным движением штихеля художник гравирует самые разнообразные штрихи, передает многообразие тональных отношений, переходы от света к тени, более объемно строит форму. Появилась так называемая тоновая деревянная гравюра.

Штрих торцовой гравюры отличается четкостью и изяществом: густая сеть таких штрихов имеет серебристый оттенок, очень выгодно сочетающийся с черными пятнами. Примером очень хорошего использования достоинств техники ксилографии могут служить иллюстрации Г. Д. Епифанова к "Одиссее" Гомера (илл. 10). Торцовая гравюра очень широко распространена в книжной графике. Деревянная печатная форма нередко верстается вместе со шрифтовым набором и печатается полиграфическим, машинным способом.

10. Г. Епифанов. Иллюстрация к "Одиссее" Гомера. 1955. Ксилография

Долгое время торцовая гравюра являлась лишь только средством репродуцирования. По оригиналам художников мастера-граверы создавали печатную форму, достигая порой замечательного совершенства, проявляя большой вкус. Многих из них мы по праву можем считать соавторами художественных произведений. Широко известны, например, гравированные иллюстрации и станковые рисунки Домье, Гаварни и Доре.

Яркий пример творческого отношения к делу представляют гравюры русского мастера Е. Вернадского к "Мертвым душам" Н. В. Гоголя, сделанные по рисункам А. Агина. Высоким мастерством, ясным индивидуальным почерком отличаются гравюры Л. Серякова и В. Матэ.

Вполне творчески самостоятельная, свободная от репродукционных тенденций торцовая гравюра зародилась в странах Западной Европы и в России к началу XX века. Художники стали создавать авторскую печатную форму.

Из европейских мастеров, положивших начало эстампа в этой технике, следует прежде всего назвать Ф. Валлотона во Франции, К. Колльвиц в Германии и Ф. Мазерееля в Бельгии. В нашей стране лучшие торцовые гравюры создали советские художники. Если до революции и появлялись сравнительно немногочисленные гравюры в станковой и книжной графике, то в советском искусстве сложилось очень интересное и разнообразное искусство торцовой гравюры. Работы наших художников известны далеко за пределами Родины и причисляются к лучшим образцам этой техники.

Произведения замечательного художника В. А. Фаворского отличаются глубиной и значительностью замысла. В. А. Фаворский работает преимущественно в технике торцовой гравюры, и это яркий пример того, как художник наилучшим образом раскрывает свой богатый талант, свои убеждения, свой темперамент в определенной технике. Этот требовательный и мудрый художник решает свои замыслы языком ксилографии с ее строгой и ясной техникой, чеканностью форм, благородством и чистотой штриха. Его гравюрам свойственна простота, строгость и значительность - качества, присущие произведениям глубокого художественного обобщения (илл. 11).

11. В. Фаворский. Иллюстрация к "Скупому рыцарю" А. С. Пушкина. 1959 - 1961. Ксилография

Мы не имеем возможности характеризовать здесь творчество других советских мастеров гравюры на дереве, имеющих ярко вы-раженные индивидуальные особенности, создавших замечательные произведения станковой и книжной графики. Ясно определились и развиваются традиции торцовой гравюры в двух основных центpax: в Москве и Ленинграде. А. Кравченко, Н. Купреянов, А. Остроумова-Лебедева, В. Фалилеев, П. Шиллинговский, А. Гончаров, Д. Митрохин, М. Пиков, С. Мочалов, Л. Хижинский, Г. Епифанов и множество других имен, вероятно, знакомы читателю. На смену старшим художникам идет новое поколение ксилографов, заявившее о себе интересными работами. Опыты цветной торцовой гравюры немногочисленны, но говорят о ее больших возможностях.

Купить парик из натуральных волос в интернет магазине.

Гравюра режется на крепком и упругом дереве, причем здесь в отличие от гравюры на металле, выбираются будущие светлые места, а будущие темные места оттиска (это высокая печать).

Самый лучший материал для досок – пальма, затем самшит кавказский, используется так же бук и груша. Гравюры, не предназначены для многочисленного тиражирования, можно делать и на других, более мягких породах дерева, например на березе.

Доски для гравюр готовят следующим образом. От бревна отпиливают кружки примерно 3см. в течение 2-х недель их просушивают в комнатных условиях. Затем из каждого кружка вырезают по прямоугольнику, которые снова сушат. Лицевую сторону прямоугольника шлифуют шкурками и полируют пемзой.

Режут гравюру на дереве обычными резцами (стамесками) которые называются штихелями. Они получают различные сечения в зависимости от назначения. От их назначения и называют их по – разному: грабштилем, тонштилем, болштилем, и т. д. Самые большие белые места вынимаются стамесками. Эти инструменты можно изготавливать и самостоятельно, используя для этого надфили или некоторые стоматологические и хирургические инструменты.

Чтобы вырезанный рисунок был хорошо виден, доску слегка тонируют тушью. Можно тонировать и типографической краской, разбавленную бензином. Затем доску протирают воском и до блеска полируют суконкой. Рисунок, подлежащий переводу на доску, делают на бумаге иле кальке мягким карандашом, прикладывают лицом к доске и притирают, карандаш переходит на вощеное дерево.

Подготовленная для гравирования доска обязательно кладется на подушку, сшитую из кожи или из прочной парусины и набитую сухим песком. Она служит для того, чтобы во время работы доску можно было свободно поворачивать и класть с любым наклоном, отдельным в каждом отдельном случае.

Сидеть при работе надо прямо, не сгибаясь, руки держать на весу. Процесс гравирования требует выдержки и терпения, спешить тут никак нельзя.

Литография.

Литография – от греческого: Litos – камень и графо – пишу. Это вид графического искусства, когда изображение исполняется на особом отполированном камне и затем с него печатается на специальном станке. Если рисунок на камне исполняет сам автор – художник, то такое изображение называется автолитографией. Печатанье производится не с выпуклой или рубленой формы, а с совершенно гладкой плоскости и является результатом физико-химических процессов, происходящим между материалом формы и теми веществами, которыми эта форма обрабатывается. На поверхности печатной формы получаются две среды, обладающие разными свойствами: одна (образующая рисунок) принимает на себя краску, а другая (образующая пробели между элементами изображения) не принимает ее.

Это происходит потому, что литографский камень состоит в основном из углекислого кальция, обладающего способностью с одной стороны, легко принимать на себя жиры, а с другой – под действием азотной кислоты становится совершенно невосприимчивым к ним.

На плоский камень наносят специальным литографским карандашом рисунок, после чего камень обрабатывают кислотой и, слегка увлажнив его, наносят краску. Краска пристает только в тех местах, где рисунок, а с чистого камня скатывается и он остается чистым. Литографский карандаш или тушь представляют собой смесь сала, мыла, воска, некоторых смол и пигмента.

Литография как способ печати была изобретена в конце Х\/111 века в Германии печатником А.Зенефельдом. В начале Х1Х века получила распространение сначала только как черно-белая. Чтобы получать цветное изображение, оттиски в то время раскрашивали акварелью от руки. В середине Х1Х века появилась цветная литография, в которой изображение печаталось с нескольких камней, по числу применяемых красок. Как самостоятельный вид подлинного графического искусства цветная литография зародилась только в конце Х1Х века.

Этим видом графического искусства можно заниматься, имея лишь специальное оборудование и мастерскую.

Юникод

Материал из Википедии - свободной энциклопедии

Перейти к: навигация , поиск

Юнико́д (чаще всего) или Унико́д (англ. Unicode ) - стандарт кодирования символов , позволяющий представить знаки практически всех письменных языков .

Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. Unicode Consortium , Unicode Inc . ). Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей: в документах Unicode могут соседствовать китайские иероглифы , математические символы, буквы греческого алфавита , латиницы и кириллицы , при этом становится ненужным переключение кодовых страниц .

Стандарт состоит из двух основных разделов: универсальный набор символов (англ. UCS, universal character set ) и семейство кодировок (англ . UTF, Unicode transformation format ). Универсальный набор символов задаёт однозначное соответствие символов кодам - элементам кодового пространства, представляющим неотрицательные целые числа. Семейство кодировок определяет машинное представление последовательности кодов UCS.

Коды в стандарте Юникод разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Далее расположены области знаков различных письменностей, знаки пунктуации и технические символы. Часть кодов зарезервирована для использования в будущем. Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F (см. Кириллица в Юникоде ).

Предпосылки создания и развитие Юникода

К концу 1980-х годов стандартом стали 8-битные символы, при этом существовало множество разных 8-битных кодировок, и постоянно появлялись всё новые. Это объяснялось как постоянным расширением круга поддерживаемых языков, так и стремлением создать кодировку, частично совместимую с какой-нибудь другой (характерный пример - появление альтернативной кодировки для русского языка, обусловленное эксплуатацией западных программ, созданных для кодировки CP437 ). В результате появилось несколько проблем:

Проблема «кракозябр » (отображения документов в неправильной кодировке): её можно было решить либо последовательным внедрением методов указания используемой кодировки, либо внедрением единой для всех кодировки.

Проблема ограниченности набора символов: её можно было решить либо переключением шрифтов внутри документа, либо внедрением «широкой» кодировки. Переключение шрифтов издавна практиковалось в текстовых процессорах , причём часто использовались шрифты с нестандартной кодировкой , т. н. «dingbat fonts» - в итоге при попытке перенести документ в другую систему все нестандартные символы превращались в кракозябры.

Проблема преобразования одной кодировки в другую: её можно было решить либо составлением таблиц перекодировки для каждой пары кодировок, либо использованием промежуточного преобразования в третью кодировку, включающую все символы всех кодировок.

Проблема дублирования шрифтов: традиционно для каждой кодировки делался свой шрифт, даже если эти кодировки частично (или полностью) совпадали по набору символов: эту проблему можно было решить, делая «большие» шрифты, из которых потом выбираются нужные для данной кодировки символы - однако это требует создания единого реестра символов, чтобы определять, чему что соответствует.

Было признано необходимым создание единой «широкой» кодировки. Кодировки с переменной длиной символа, широко использующиеся в Восточной Азии, были признаны слишком сложными в использовании, поэтому было решено использовать символы фиксированной ширины. Использование 32-битных символов казалось слишком расточительным, поэтому было решено использовать 16-битные.

Таким образом, первая версия Юникода представляла собой кодировку с фиксированным размером символа в 16 бит, то есть общее число кодов было 2 16 (65 536). Отсюда происходит практика обозначения символов четырьмя шестнадцатеричными цифрами (например, U+04F0). При этом в Юникоде планировалось кодировать не все существующие символы, а только те, которые необходимы в повседневном обиходе. Редко используемые символы должны были размещаться в «области пользовательских символов» (private use area), которая первоначально занимала коды U+D800…U+F8FF. Чтобы использовать Юникод также и в качестве промежуточного звена при преобразовании разных кодировок друг в друга, в него включили все символы, представленные во всех наиболее известных кодировках.

В дальнейшем, однако, было принято решение кодировать все символы и в связи с этим значительно расширить кодовую область. Одновременно с этим, коды символов стали рассматриваться не как 16-битные значения, а как абстрактные числа, которые в компьютере могут представляться множеством разных способов (см. Способы представления ).

Поскольку в ряде компьютерных систем (например, Windows NT ) фиксированные 16-битные символы уже использовались в качестве кодировки по умолчанию, было решено все наиболее важные знаки кодировать только в пределах первых 65 536 позиций (так называемая англ. basic multilingual plane , BMP ). Остальное пространство используется для «дополнительных символов» (англ. supplementary characters ): систем письма вымерших языков или очень редко используемых китайских иероглифов, математических и музыкальных символов.

Для совместимости со старыми 16-битными системами была изобретена система UTF-16 , где первые 65 536 позиций, за исключением позиций из интервала U+D800…U+DFFF, отображаются непосредственно как 16-битные числа, а остальные представляются в виде «суррогатных пар» (первый элемент пары из области U+D800…U+DBFF, второй элемент пары из области U+DC00…U+DFFF). Для суррогатных пар была использована часть кодового пространства (2048 позиций), ранее отведённого для «символов для частного использования».

Поскольку в UTF-16 можно отобразить только 2 20 +2 16 −2048 (1 112 064) символов, то это число и было выбрано в качестве окончательной величины кодового пространства Юникода.

Хотя кодовая область Юникода была расширена за пределы 2 16 уже в версии 2.0, первые символы в «верхней» области были размещены только в версии 3.1.

Роль этой кодировки в веб-секторе постоянно растёт, на начало 2010 доля веб-сайтов, использующих Юникод, составила около 50 %.

Версии Юникода

По мере изменения и пополнения таблицы символов системы Юникода и выхода новых версий этой системы, - а эта работа ведётся постоянно, поскольку изначально система Юникод включала только Plane 0 - двухбайтные коды, - выходят и новые документы ISO . Система Юникод существует в общей сложности в следующих версиях:

1.1 (соответствует стандарту ISO/IEC 10646-1:1993 ), стандарт 1991-1995 годов.

2.0, 2.1 (тот же стандарт ISO/IEC 10646-1:1993 плюс дополнения: «Amendments» с 1-го по 7-е и «Technical Corrigenda» 1 и 2), стандарт 1996 года.

3.0 (стандарт ISO/IEC 10646-1:2000), стандарт 2000 года.

3.1 (стандарты ISO/IEC 10646-1:2000 и ISO/IEC 10646-2:2001), стандарт 2001 года.

3.2, стандарт 2002 года .

4.0, стандарт 2003 .

4.01, стандарт 2004 .

4.1, стандарт 2005 .

5.0, стандарт 2006 .

5.1, стандарт 2008 .

5.2, стандарт 2009 .

6.0, стандарт 2010 .

6.1, стандарт 2012 .

6.2, стандарт 2012 .

Кодовое пространство

Хотя формы записи UTF-8 и UTF-32 позволяют кодировать до 2 31 (2 147 483 648) кодовых позиций, было принято решение использовать лишь 1 112 064 для совместимости с UTF-16. Впрочем, даже и этого на текущий момент более чем достаточно - в версии 6.0 используется чуть менее 110 000 кодовых позиций (109 242 графических и 273 прочих символов).

Кодовое пространство разбито на 17 плоскостей по 2 16 (65536) символов. Нулевая плоскость называется базовой , в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, вторая - для редко используемых иероглифов ККЯ , третья зарезервирована для архаичных китайских иероглифов . Плоскости 15 и 16 выделены для частного употребления.

Для обозначения символов Unicode используется запись вида «U+xxxx » (для кодов 0…FFFF), или «U+xxxxx » (для кодов 10000…FFFFF), или «U+xxxxxx » (для кодов 100000…10FFFF), где xxx - шестнадцатеричные цифры. Например, символ «я» (U+044F) имеет код 044F 16 = 1103 10 .

Система кодирования

Универсальная система кодирования (Юникод) представляет собой набор графических символов и способ их кодирования для компьютерной обработки текстовых данных.

Графические символы - это символы, имеющие видимое изображение. Графическим символам противопоставляются управляющие символы и символы форматирования.

Графические символы включают в себя следующие группы:

• знаки пунктуации;

  специальные знаки (математические , технические, идеограммы и пр.);

  разделители.

Юникод - это система для линейного представления текста. Символы, имеющие дополнительные над- или подстрочные элементы, могут быть представлены в виде построенной по определённым правилам последовательности кодов (составной вариант, composite character) или в виде единого символа (монолитный вариант, precomposed character).

Модифицирующие символы

Представление символа «Й» (U+0419) в виде базового символа «И» (U+0418) и модифицирующего символа « ̆» (U+0306)

Графические символы в Юникоде подразделяются на протяжённые и непротяжённые (бесширинные). Непротяжённые символы при отображении не занимают места в строке . К ним относятся, в частности, знаки ударения и прочие диакритические знаки . Как протяжённые, так и непротяжённые символы имеют собственные коды. Протяжённые символы иначе называются базовыми (англ. base characters ), а непротяжённые - модифицирующими (англ. combining characters ); причём последние не могут встречаться самостоятельно. Например, символ «á» может быть представлен как последовательность базового символа «a» (U+0061) и модифицирующего символа « ́» (U+0301) или как монолитный символ «á» (U+00C1).

Особый тип модифицирующих символов - селекторы варианта начертания (англ. variation selectors ). Они действуют только на те символы, для которых такие варианты определены. В версии 5.0 варианты начертания определены для ряда математических символов, для символов традиционного монгольского алфавита и для символов монгольского квадратного письма .

Формы нормализации

Поскольку одни и те же символы можно представить различными кодами, что иногда затрудняет обработку, существуют процессы нормализации, предназначенные для приведения текста к определённому стандартному виду.

В стандарте Юникода определены 4 формы нормализации текста:

Форма нормализации D (NFD) - каноническая декомпозиция. В процессе приведения текста в эту форму все составные символы рекурсивно заменяются на несколько составных, в соответствии с таблицами декомпозиции.

Форма нормализации C (NFC) - каноническая декомпозиция с последующей канонической композицией. Сначала текст приводится к форме D, после чего выполняется каноническая композиция - текст обрабатывается от начала к концу и выполняются следующие правила:

• Символ S является начальным , если он имеет нулевой класс модификации в базе символов Юникода.

  В любой последовательности символов, стартующей с начального символа S, символ C блокируется от S, если и только если между S и C есть какой-либо символ B, который или является начальным, или имеет одинаковый или больший класс модификации, чем C. Это правило распространяется только на строки, прошедшие каноническую декомпозицию.

  Первичным композитом считается символ, у которого есть каноническая декомпозиция в базе символов Юникода (или каноническая декомпозиция для хангыля и он не входит в список исключений ).

  Символ X может быть первично совмещён с символом Y, если и только если существует первичный композит Z, канонически эквивалентный последовательности .

  Если очередной символ C не блокируется последним встреченным начальным базовым символом L и он может быть успешно первично совмещён с ним, то L заменяется на композит L-C, а C удаляется.

Форма нормализации KD (NFKD) - совместимая декомпозиция. При приведении в эту форму все составные символы заменяются, используя как канонические карты декомпозиции Юникода, так и совместимые карты декомпозиции, после чего результат ставится в каноническом порядке.

Форма нормализации KC (NFKC) - совместимая декомпозиция с последующей канонической композицией.

Термины «композиция» и «декомпозиция» понимают под собой соответственно соединение или разложение символов на составные части.

Примеры

Двунаправленное письмо

Стандарт Юникод поддерживает письменности языков как с направлением написания слева направо (англ. left - to - right , LTR ), так и с написанием справа налево (англ. right - to - left , RTL ) - например, арабское и еврейское письмо. В обоих случаях символы хранятся в «естественном» порядке; их отображение с учётом нужного направления письма обеспечивается приложением.

Кроме того, Юникод поддерживает комбинированные тексты, сочетающие фрагменты с разным направлением письма. Данная возможность называется двунаправленность (англ. bidirectional text , BiDi ). Некоторые упрощённые обработчики текста (например, в сотовых телефонах) могут поддерживать Юникод, но не иметь поддержки двунаправленности. Все символы Юникода поделены на несколько категорий: пишущиеся слева направо, пишущиеся справа налево, и пишущиеся в любом направлении. Символы последней категории (в основном это знаки пунктуации ) при отображении принимают направление окружающего их текста.

Представленные символы

Основная статья: Символы, представленные в Юникоде

Схема базовой плоскости Unicode, см. описание

Юникод включает практически все современные письменности , в том числе:

арабскую ,

армянскую ,

бенгальскую ,

бирманскую ,

глаголицу ,

греческую ,

грузинскую ,

деванагари ,

еврейскую ,

кириллицу ,

китайскую (китайские иероглифы активно используются в японском языке , а также достаточно редко в корейском ),

коптскую ,

кхмерскую ,

латинскую ,

тамильскую ,

корейскую (хангыль) ,

чероки ,

эфиопскую ,

японскую (которая включает в себя кроме китайских иероглифов ещё и слоговую азбуку ),

и другие.

С академическими целями добавлены многие исторические письменности, в том числе: германские руны , древнетюркские руны , древнегреческая , египетские иероглифы , клинопись , письменность майя , этрусский алфавит .

В Юникоде представлен широкий набор математических и музыкальных символов, а также пиктограмм .

Однако в Юникод принципиально не включаются логотипы компаний и продуктов, хотя они и встречаются в шрифтах (например, логотип Apple в кодировке MacRoman (0xF0) или логотип Windows в шрифте Wingdings (0xFF)). В юникодовских шрифтах логотипы должны размещаться только в области пользовательских символов.

ISO/IEC 10646

Консорциум Юникода работает в тесной связи с рабочей группой ISO/IEC/JTC1/SC2/WG2, которая занимается разработкой международного стандарта 10646 (ISO /IEC 10646). Между стандартом Юникода и ISO/IEC 10646 установлена синхронизация, хотя каждый стандарт использует свою терминологию и систему документации.

Сотрудничество Консорциума Юникода с Международной организацией по стандартизации (англ. International Organization for Standardization, ISO ) началось в 1991 году . В 1993 году ISO выпустила стандарт DIS 10646.1. Для синхронизации с ним Консорциум утвердил стандарт Юникода версии 1.1, в который были внесены дополнительные символы из DIS 10646.1. В результате значения закодированных символов в Unicode 1.1 и DIS 10646.1 полностью совпали.

В дальнейшем сотрудничество двух организаций продолжилось. В 2000 году стандарт Unicode 3.0 был синхронизирован с ISO/IEC 10646-1:2000. Предстоящая третья версия ISO/IEC 10646 будет синхронизирована с Unicode 4.0. Возможно, эти спецификации даже будут опубликованы как единый стандарт.

Аналогично форматам UTF-16 и UTF-32 в стандарте Юникода, стандарт ISO/IEC 10646 также имеет две основные формы кодирования символов: UCS-2 (2 байта на символ, аналогично UTF-16) и UCS-4 (4 байта на символ, аналогично UTF-32). UCS значит универсальный многооктетный (многобайтовый) кодированный набор символов (англ. universal multiple - octet coded character set ). UCS-2 можно считать подмножеством UTF-16 (UTF-16 без суррогатных пар), а UCS-4 является синонимом для UTF-32.

Способы представления

Юникод имеет несколько форм представления (англ. Unicode transformation format, UTF ): UTF-8 , UTF-16 (UTF-16BE, UTF-16LE) и UTF-32 (UTF-32BE, UTF-32LE). Была разработана также форма представления UTF-7 для передачи по семибитным каналам, но из-за несовместимости с ASCII она не получила распространения и не включена в стандарт. 1 апреля 2005 года были предложены две шуточные формы представления: UTF-9 и UTF-18 (RFC 4042 ).

В Microsoft Windows NT и основанных на ней системах Windows 2000 и Windows XP в основном используется форма UTF-16LE. В UNIX -подобных операционных системах GNU/Linux , BSD и Mac OS X принята форма UTF-8 для файлов и UTF-32 или UTF-8 для обработки символов в оперативной памяти .

Punycode - другая форма кодирования последовательностей Unicode-символов в так называемые ACE-последовательности, которые состоят только из алфавитно-цифровых символов, как это разрешено в доменных именах.

Основная статья: UTF-8

UTF-8 - представление Юникода, обеспечивающее наилучшую совместимость со старыми системами, использовавшими 8-битные символы. Текст, состоящий только из символов с номером меньше 128, при записи в UTF-8 превращается в обычный текст ASCII . И наоборот, в тексте UTF-8 любой байт со значением меньше 128 изображает символ ASCII с тем же кодом. Остальные символы Юникода изображаются последовательностями длиной от 2 до 6 байт (на деле, только до 4 байт, поскольку в Юникоде нет символов с кодом больше 10FFFF, и вводить их в будущем не планируется), в которых первый байт всегда имеет вид 11xxxxxx, а остальные - 10xxxxxx.

Формат UTF-8 был изобретён 2 сентября 1992 года Кеном Томпсоном и Робом Пайком и реализован в Plan 9 . Сейчас стандарт UTF-8 официально закреплён в документах RFC 3629 и ISO/IEC 10646 Annex D.

Символы UTF-8 получаются из Unicode следующим образом :

0x00000000 - 0x0000007F: 0xxxxxxx

0x00000080 - 0x000007FF: 110xxxxx 10xxxxxx

0x00000800 - 0x0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx

0x00010000 - 0x001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

Теоретически возможны, но не включены в стандарт также:

0x00200000 - 0x03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

0x04000000 - 0x7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

Несмотря на то, что UTF-8 позволяет указать один и тот же символ несколькими способами, только наиболее короткий из них правильный. Остальные формы должны отвергаться по соображениям безопасности.

Порядок байтов

В потоке данных UTF-16 старший байт может записываться либо перед младшим (англ. UTF-16 little-endian ), либо после младшего (англ . UTF-16 big-endian ). Аналогично существует два варианта четырёхбайтной кодировки - UTF-32LE и UTF-32BE.

Для определения формата представления Юникода в начало текстового файла записывается сигнатура - символ U+FEFF (неразрывный пробел с нулевой шириной), также именуемый меткой порядка байтов (англ. byte order mark , BOM ). Это позволяет различать UTF-16LE и UTF-16BE, поскольку символа U+FFFE не существует. Также этот способ иногда применяется для обозначения формата UTF-8, хотя к этому формату и неприменимо понятие порядка байтов. Файлы, следующие этому соглашению, начинаются с таких последовательностей байтов:

К сожалению, этот способ не позволяет надёжно различать UTF-16LE и UTF-32LE, поскольку символ U+0000 допускается Юникодом (хотя реальные тексты редко начинаются с него).

Файлы в кодировках UTF-16 и UTF-32, не содержащие BOM, должны иметь порядок байтов big-endian (unicode.org ).

Юникод и традиционные кодировки

Внедрение Юникода привело к изменению подхода к традиционным 8-битным кодировкам. Если раньше кодировка задавалась шрифтом, то теперь она задаётся таблицей соответствия между данной кодировкой и Юникодом. Фактически 8-битные кодировки превратились в форму представления некоторого подмножества Юникода. Это намного упростило создание программ, которые должны работать с множеством разных кодировок: теперь, чтобы добавить поддержку ещё одной кодировки, надо всего лишь добавить ещё одну таблицу перекодировки в Юникод.

Кроме того, многие форматы данных позволяют вставлять любые символы Юникода, даже если документ записан в старой 8-битной кодировке. Например, в HTML можно использовать коды с амперсандом .

Реализации

Большинство современных операционных систем в той или иной степени обеспечивают поддержку Юникода.

В операционных системах семейства Windows NT для внутреннего представления имён файлов и других системных строк используется двухбайтовая кодировка UTF-16LE. Системные вызовы, принимающие строковые параметры, существуют в однобайтном и двухбайтном вариантах. Подробнее см. в статье .

UNIX -подобные операционные системы, в том числе GNU/Linux , BSD , Mac OS X , используют для представления Юникода кодировку UTF-8. Большинство программ могут работать с UTF-8 как с традиционными однобайтными кодировками, не обращая внимания на то, что символ представляется как несколько последовательных байт. Для работы с отдельными символами строки обычно перекодируются в UCS-4, так что каждому символу соответствует машинное слово .

Одной из первых успешных коммерческих реализаций Юникода стала среда программирования Java . В ней принципиально отказались от 8-битного представления символов в пользу 16-битного. Это решение увеличивало расход памяти, но позволило вернуть в программирование важную абстракцию: произвольный одиночный символ (тип char). В частности, программист мог работать со строкой, как с простым массивом. К сожалению, успех не был окончательным, Юникод перерос ограничение в 16 бит и к версии J2SE 5.0 произвольный символ снова стал занимать переменное число единиц памяти - один char или два (см. суррогатная пара ).

Сейчас большинство языков программирования поддерживают строки Юникода, хотя их представление может различаться в зависимости от реализации.

Методы ввода

Поскольку ни одна раскладка клавиатуры не может позволить вводить все символы Юникода одновременно, от операционных систем и прикладных программ требуется поддержка альтернативных методов ввода произвольных символов Юникода.

Microsoft Windows

Основная статья: Юникод в операционных системах Microsoft

Начиная с Windows 2000 , служебная программа «Таблица символов» (charmap.exe) показывает все символы в ОС и позволяет копировать их в буфер обмена . Похожая таблица есть, например, в Microsoft Word .

Иногда можно набрать шестнадцатеричный код, нажать Alt +X, и код будет заменён на соответствующий символ, например, в WordPad , Microsoft Word. В редакторах Alt+X выполняет и обратное преобразование.

Во многих программах MS Windows, чтобы получить символ Unicode, нужно при нажатой клавише Alt набрать десятичное значение кода символа на цифровой клавиатуре. Например, полезными при наборе кириллических текстов будут комбинации Alt+0171 («) и Alt+0187 (»). Интересны также комбинации Alt+0133 (…) и Alt+0151 (-).

Macintosh

В Mac OS 8.5 и более поздних версиях поддерживается метод ввода, называемый «Unicode Hex Input». При зажатой клавише Option требуется набрать четырёхзначный шестнадцатеричный код требуемого символа. Этот метод позволяет вводить символы с кодами, большими U+FFFF, используя пары суррогатов; такие пары операционной системой будут автоматически заменены на одиночные символы. Этот метод ввода перед использованием нужно активизировать в соответствующем разделе системных настроек и затем выбрать как текущий метод ввода в меню клавиатуры.

Начиная с Mac OS X 10.2, существует также приложение «Character Palette», позволяющее выбирать символы из таблицы, в которой можно выделять символы определённого блока или символы, поддерживаемые конкретным шрифтом.

GNU/Linux

В GNOME также есть утилита «Таблица символов», позволяющая отображать символы определённого блока или системы письма и предоставляющая возможность поиска по названию или описанию символа. Когда код нужного символа известен, его можно ввести в соответствии со стандартом ISO 14755: при зажатых клавишах Ctrl + ⇧ Shift ввести шестнадцатеричный код (начиная с некоторой версии GTK+ ввод кода нужно предварить нажатием клавиши «U» ). Вводимый шестнадцатеричный код может иметь до 32 бит в длину, позволяя вводить любые символы Юникода без использования суррогатных пар.