Вопрос о связи между энтропией и информацией обсуждается уже давно, фактически со времен формулировки парадокса с «демоном Максвелла». Некоторое время проблема казалась отвлеченной. Сейчас, однако, она становится актуальной, поскольку оказывается связанной с вполне конкретными вопросами: какова энтропийная (и энергетическая) плата за информацию, каковы минимальные размеры информационной ячейки и т. п.

Эти вопросы приобретают особую остроту в связи с биологической спецификой. Во-первых, информационные системы в живой природе обладают малыми (микроскопическими) размерами. Во-вторых, они функционируют при нормальной температуре, т. е. в условиях, когда тепловые флуктуации не пренебрежимо малы. -третьих, в биологии особую важность приобретает запоминание и хранение информации. Отметим, что в технике более актуальны проблемы передачи информации; на примере оптимизации передачи были разработаны основные положения теории информации. Вопросам же рецепции и хранения информации уделялось меньше внимания. В биологии, напротив, эти вопросы становятся первостепенными.

Не претендуя на строгое определение понятия «информация», подчеркнем два необходимых ее атрибута: 1) информация предполагает выбор одного (или нескольких) вариантов из многих возможных, 2) сделанный выбор должен быть запомнен. Подчеркнем: второе условие - запоминание информации - является очень важным. Впервые на это обратил внимание Кастлер [П26] в 1960. г. В процессах передачи информации «запоминаемость» играет меньшую роль, чем при рецепции, обработке и хранении информации. Действительно, передающая система обязана запомнить информацию лишь на время передачи, которое в принципе может быть коротким. В биологии условие запоминания на длительный срок, напротив, играет важную роль.

Количеством информации называют величину

где полное число возможных вариантов, число выбранных вариантов. Количество информации отлично от нуля, если известно, что по каким-либо причинам из априорных вариантов реализовался один из вариантов (но не известно, какой именно). Это количество максимально, если т. е. известно, что реализовался (выбран) один определенный вариант. Величина если

Ничего не известно. Основание логарифма (т. е. двоичная система) выбрано для удобства; единицей информации в этой системе является один бит; он соответствует выбору одного варианта из двух возможных.

Выражение (12.8) легко обобщается на случай, когда a priori N вариантов могут реализоваться с вероятностями а реализуются a posteriori с вероятностями тогда

Выбор или реализация апостериорных вариантов может осуществляться двумя различными способами; либо в результате действия сторонних сил - в этом случае говорят о рецепции информации от другой (сторонней) системы, либо спонтанно, в результате неустойчивого поведения самой системы - в этом случае имеет место рождение (возникновение) новой информации.

Информационная система должна быть способной: а) рецептировать информацию, б) хранить или, что то же, запоминать информацию, в) выдавать информацию при взаимодействии с другой, акцепторной по отношению к рассматриваемой, системой. Отсюда следует, что информационная система должна быть мультистационарной.

Число устойчивых стационарных состояний определяет информационную емкость, т. е. максимальное количество информации, которое система может рецептировать:

Система должна быть диссипативной. Это значит, что вещественные части всех характеристических чисел стационарных состояний отрицательны; это является необходимым условием запоминания информации. Примером такой системы может служить китайский биллиард. Он представляет собою шарик на доске с бортами, лунками и штырями. Принадлежность шарика к определенной лунке и является информацией о состоянии системы.

На микроскопическом (молекулярном) уровне проблема конструкции информационной системы становится не тривиальной . Во-первых, в мультистационарной системе каждая из фазовых траекторий располагается только в определенной части фазового пространства (в области притяжения данного состояния). Весь фазовый объем недоступен для каждой из траекторий. Это означает, что информационная система не является полностью зргодической и термодинамически равновесной. Должны существовать выделенные степени свободы которые в течение длительного времени сохраняют свои значения, а не перебирают все возможные.

Поясним это на примере китайского биллиарда. Выделенными степенями свободы здесь являются координаты шарика. Изменение х и у ограничено краями лунок; шарик не может переместиться в другую лунку без стороннего вмешательства. При этом

другие степени свободы, связанные с колебаниями атомов как шарика, так и доски, могут (и далее должны) быть эргодическими.

Во-вторых, условие диссипативности, как мы видели, связано с неустойчивостью (и отсюда хаотичностью) микроскопических движений. Это значит, что соответствующие степени свободы обязаны быть эргодическими. Таким образом, фазовое пространство информационной системы должно быть расслоено на эргодическую и динамическую подсистемы. Однако такое расслоение нельзя осуществить абсолютно строго, различные степени свободы всегда связаны друг с другом. Это проявляется в том, что динамические (информационные) степени свободы флуктуируют и существует некоторая вероятность их радикального изменения (например, переброс шарика в другую лунку) под влиянием эргодической подсистемы (т. е. тепловых флуктуаций).

В макроскопических информационных системах эта вероятность пренебрежимо мала, однако в микроскопических системах ее нужно учитывать. Таким образом, условия мультистационарности и диссипативности не могут быть выполнены одновременно абсолютно строго; они являются дополнительными. Это значит, что условие «запоминания» не может быть абсолютным, можно лишь говорить о запоминании с определенной вероятностью на определенное (не бесконечно большое) время. Иными словами, информационная система не может помнить вечно. В реальных информационных системах характерное время запоминания зависит от их конструкции, температуры и свободной энергии.

Вопрос о связи между энтропией и информацией в свете изложенного оказывается не тривиальным. Физическая энтропия представляет собой логарифм фазового объема, доступного для системы (с учетом условности этого понятия - см. выше), измеренного в единицах где число степеней свободы и размер минимальной (квантовой) ячейки фазового пространства. Формально энтропия может быть представлена в виде

Величина является энтропией, измеренной в битах; число ячеек фазового пространства. С другой стороны, информационная емкость может быть записана в форме

где размер фазового пространства одной информационной ячейки. Сопоставление формул (12.11) и (12.12) показывает, что энтропия и информация отличаются как коэффициентом, так и размером ячейки.

Совпадение (12.11) и (12.12) по форме послужило основанием для утверждения о тождественности понятий информации и энтропии. Точнее, утверждается, что энтропия есть недостающая информация о состоянии системы и (или) информация есть недостающая энтропия, т. е. разность между максимальной энтропией, которой

обладала бы система без информации, и реальной энтропией, которую система имеет, обладая полученной информацией. В этой связи используется термин негоэнтропия, который считается тождественным информации.

Многих, однако, эти утверждения не удовлетворяют и вопрос о связи информации и энтропии остается дискуссионным.

Обсудим вопрос более детально.

Прежде всего бросается в глаза большая количественная разница между информацией, заключенной в системе, и ее энтропией.

Блюменфельд (см. [П61) на ряде биологических примеров (клетка, организм и т. д.) показал, что содержащаяся в объекте энтропия во много раз (на несколько порядков) превышает имеющуюся нем информацию. Разница еще больше в современных неживых информационных системах (например, в печатном тексте энтропия превышает информацию примерно в 1010 раз).

Столь большая количественная разница не случайна. Она связана с тем, что объем фазового пространства информационной ячейки велик по сравнению с величиной Последнее обусловлено тем, что информационная ячейка должна содержать эргодическую подсистему и, следовательно, занимать большой (по сравнению с элементарной ячейкой) объем.

Таким образом, разница масштабов энтропии и информации не случайна, а связана с их принципиальным различием. Энтропия - это мера множества тех состояний системы, о пребывании в которых система должна забыть; информация - мера множества тех состояний, о пребывании в которых система должна помнить.

Посмотрим, как связаны изменения энтропии и информации на примере китайского биллиарда. Ограничим рассмотрение временем существования системы. Дело в том, что любая информационная система, будучи неравновесной, по структурным степеням свободы релаксирует и разрушается, т. е. перестает быть информационной.

Время структурной релаксации больше (или равно) времени запоминания. В нашем примере речь идет о спонтанном разрушении барьеров между лунками; характерное время этого процесса достаточно велико. В течение этого времени структурные степени свободы не меняются, следовательно, и не вносят вклада в энтропию. (Часть фазового пространства, связанная с этими степенями свободы, в это время является недоступной.) Энтропия при этом связана только со степенями свободы, которые быстро релаксируют. Их поведение не зависит от того, в какой из лунок находится шарик и положен ли он в какую-либо лунку или лежит около. Физическая энтропия системы во всех случаях одинакова, однако количество информации различно: оно равно нулю, если шарик не положен в лунку, и равно если он лежит в определенной лунке.

Процесс рецепции информации (в нашем случае - помещение шарика в определенную лунку) требует затраты работы которая переходит в тепло (в противном случае рецепция не была бы необратимой). Следовательно, при рецепции физическая энтропия системы увеличивается (на величину и одновременно

увеличивается информация (на величину Обычно но в остальном они никак не связаны. Таким образом, при рецепции информации соотношение не соблюдается.

Несколько сложнее обстоит дело в случае возникновения новой информации. Система, способная рождать информацию, должна обладать всеми свойствами информационной и, кроме того, удовлетворять условию: определенный слой ее фазового пространства должен быть зргодическим, включая выделенные (информационные) степени свободы. Именно в этом случае задаются начальные условия при спонтанном возникновении информации.

Примером может служить тот же китайский биллиард со штырьками. Если вначале кинетическая энергия шарика достаточно велика (больше барьеров между лунками), то шарик движется по всей доске, не застревая в лунках. В силу неустойчивости отражения от шпилек (они играют роль вогнутых поверхностей в биллиарде Синая, рис. 12.2) движение шарика стохастично и начальные условия быстро забываются. При уменьшении кинетической энергии (в силу диссипативности системы, в данном случае из-за трения и соударений) до величины порядка высоты барьера шарик попадает в область притяжения одной из лунок и остается в ней. Таким образом, выбранное состояние «запоминается», что и является рождением информации. Тот же принцип используется в рулетке и других игровых машинах.

Во всех этих случаях критерием отделения эргодического слоя начальных условий от информационного слоя является величина начальной свободной энергии (в биллиарде это кинетическая энергия шарика). Она же определяет и прирост энтропии системы в процессе рождения информации. Оценим величину Если информационная емкость системы мала: то главным ограничением снизу является условие где барьер между лунками. Барьеры определяют время «запоминания» согласно соотношению

При достаточно большой (макроскопической) величине с барьер составляет

Таким образом, в этом случае увеличение энтропии, приходящееся на один бит информации, равно

или в информационных единицах:

В случае, когда информационная емкость велика (т. е. нужно учесть другое условие: до того как «выбрано» определенное состояние, система должна побывать хотя бы раз в области влияния каждого из возможных состояний.

Пусть при прохождении каждого из состояний диссипирует энергия Минимальная величина порядка энергии тепловых флуктуаций: При этом ограничена снизу условием

Прирост энтропии на один бит информации при этом равен

Таким образом, в случае возникновения информации за нее нужно «платить» увеличением энтропии, таким, что Однако соотношения типа «прирост информации равен убыли энтропии» и в данном случае не имеют места.

Обсудим ситуацию, которая возникает, если отказаться от условия запоминания информации. В этом случае можно говорить об информации о мгновенных значениях координат и импульсов всех атомов системы. Чтобы отличить эту «информацию» от настоящей (запоминаемой), Лайзер предложил термин микроинформация запоминаемая информация при этом именуется макроинформацией.

Если известно, что в данный момент система находится в одной (из возможных) определенной ячейке фазового пространства, то количество микроинформации максимально и равно

Энтропия системы при этом равна нулю, поскольку все остальные ячейки в данный момент можно считать «недоступными».

Если известно, что в данный момент система находится в любой из возможных ячеек, но неизвестно, в какой, то микроинформация равна нулю, а энтропия максимальна и равна

Если известно, что в данный момент система находится в одной (любой) из ячеек то

и между микроинформацией и энтропией имеет место простое соотношение:

Микроинформация, в принципе, может быть превращена в макроинформацию путем рецепции ее другой информационной системой. Например, путем фотографирования картины броуновского движения мгновенные координаты частиц могут быть запечатлены (запомнены) на фотопленке. Эта информация затем может использоваться для каких-либо (даже не связанных с движением частиц)

целей. Важно, что при этом в процессе рецепции (превращения микроинформации в макро- должна быть затрачена работа и повышена энтропия всей системы на величину, заведомо превышающую количество запомненной информации.

Именно этот процесс - превращение микроинформации в макро- и использование ее для управления - лежит в основе парадокса с «демоном Максвелла». Разрешение его в том, что процесс рецепции микроинформации и использования ее для управления сопровождается увеличением энтропии всей системы/превосходящем информацию.

В связи со столь существенной разницей между микро- и макроинформацией используется также и два понятия энтропии. Наряду с физической энтропией используется информационная энтропия, которая определяется как

где число стационарных устойчивых макросостояний, о которых известно, что система находится в одном из них (но неизвестно, в каком именно).

Согласно определению, информационная энтропия связана с информацией соотношением

Увеличение информации (при сохранении при этом всегда сопровождается равным уменьшением информационной энтропии. Термин Информационная энтропия удобно использовать, когда речь идет о возникновении информации и упорядочении системы. Именно в этом смысле он употребляется в гл. 2. Подчеркнем, что с физической энтропией эта величина, вообще говоря, не связана.

Итак, основой отличия физической энтропии и информации (как качественно, так и количественно) является условие запоминания и обусловленный этим большой объем фазового пространства информационной ячейки по сравнению с элементарным.

Представляет интерес оценить величину «запаса». Сделать это в общем виде сейчас трудно. Можно думать, однако, что в живой природе реализовался оптимальный размер (т. е. минимальный, но удовлетворяющий требованиям). Его можно оценить, используя фактические данные.

В молекуле ДНК ячейкой, содержащей два бита информации, является пара комплементарных нуклеотидов. Она содержит около атомов. Энтропия, связанная с колебательными степенями свободы, составляет бит, или энтропия, приходящаяся на один бит информации, равна примерно 60 бит. Отсюда объем фазового пространства, приходящийся на один бит, равен

4.ЭНТРОПИЯ И ИНФОРМАЦИЯ

4.1. Энтропия как мера статистической неопределенности. В одном из недавних общественных обсуждений проблем образования было высказано мнение, что каждый образованный человек должен понимать фундаментальность понятия неопределенности. В последние десятилетия этот термин уверенно лидирует среди физических первопринципов, проникая в новые области знания. В данном разделе надлежит ближе ознакомиться с этим понятием и уяснить связь неопределенности с системообразующими характеристиками.

Неопределенность может иметь разное происхождение. Один из ее видов – неизвестность – рассматривается теорией познания и философией; такого типа неопределенность возникает, когда мы, например, задаем вопрос «Есть ли жизнь на других планетах?» или «Существуют ли другие цивилизации?» и т.п.

Другой вид неопределенности – расплывчатость, размытость, – например, «Сколько надо взять песчинок, чтобы образовать небольшую кучу»? С неопределенностью этого типа мы встречаемся в квантовой механике. На её основе построена нелокальная версия термодинамики, которая способна ответить на сходный вопрос: «сколько надо иметь частиц, чтобы образовать макроуровень и каково квантовое рассеяние этого числа»?. Эта неопределенность объективна, для нее характерно, что она неустранима в процессе измерений. В математике такой неопределенностью занимается теория размытых множеств. Следует попутно отметить, что размытость – характерное свойство языка: «в комнату (какую?) вошел высокий (какого роста?) молодой (какого конкретно возраста?) человек (кто он?) и т.п.

Третий вид неопределенности – случайность . В ее основе лежат статистические закономерности, устанавливаемые теорией вероятности. Этот вид неопределенности используется статистической физикой и совместно с неопределённостью второго типа в квантовой механике. Отличительная особенность статистической неопределенности заключается в том, что для нее можно установить количественную меру, о которой пойдет речь далее.

Оставим пока в стороне вопрос о практической значимос888ти статистической меры неопределенности, сосредоточив внимание на её сущности. Рассмотрим несколько простейших ситуаций, которые будем именовать опытами А,BиC. Предполагается, что читателю знакомы элементы теории вероятности.

О п ы т А будет заключаться в бросании монеты. В этом опыте возможны два исхода (k =2): “орел или решка”. Очевидно, вероятность каждого исхода(i =1,2).

О п ы т B– бросание игральной шестигранной кости. В этом опыте возможны уже шесть исходов (k =6). Вероятность каждого исхода.

О п ы т C предполагает одновременное бросание двух костей. Для этого опыта k =36 и.

Оценка неопределённости результатов опытов есть оценка трудности предугадывания исхода опыта. Интуитивно ясно, что из всех описанных ситуаций опыт С имеет максимальную неопределённость, поскольку число исходов здесь самое большое и заранее предвидеть исход этого опыта труднее всего.

Чтобы перейти к количественной оценке неопределённости сформулируем основные требования к функции, которая должна играть роль меры неопределённости. Будем обозначать эту функцию буквой H .

П е р в о е требование. Функция Н должна монотонно возрастать с увеличением числа исходов опыта.

В т о р о е требование. Функция Н должна быть равна нулю, если имеется единственный исход (k =1). Это означает, что если возможен лишь один исход, то никакой неопределённости не возникает и результат опыта можно предвидеть безошибочно.

Т р е т ь е требование. Обратим внимание на то, что один опыт С можно рассматривать как два опыта В, и потребуем, чтобы суммарное значение энтропии двух опытов В было равно энтропии опыта С

или в общем случае не для двух, а n простых опытов

Если бы третье требование не соблюдалось, то оценка неопределённости опыта С оказалась бы противоречивой и зависела бы от субъективной трактовки самого опыта – считать ли, что имел место опыт С, или всё же кости упали не одновременно и имели место два опыта В. Принятие этого требования равносильно введению свойств аддитивности для будущей оценки неопределённости. По умолчанию принимается, что рассматриваемые элементы (кости) не взаимодействуют между собой. В термодинамической трактовке это равносильно принятию идеальной системы.

Решим функциональное уравнение (4.1) относительно функции . Для этого дифференцируем обе части выражения (4.1-1) поk , используя требование монотонности функции:

Теперь дифференцируем (4.1) по n

Разделим уравнение (4.2) на (4.3)

что равносильно

Интегрируя это выражение, используя для правой части табличный интеграл, находим

где – постоянная интегрирования.

Из последнего выражения

Так как с увеличением k энтропия растёт (первое требование), тоC >0, и это выражение можно переписать в следующем окончательном виде:

,a >1.

Из него следует, что оно удовлетворяет также второму требованию. Выбор основания логарифмов при a >1не имеет значения и определяет лишь выбор единицы измерения неопределённости. Чаще всего применяют двоичные или натуральные логарифмы. Если используют двоичные логарифмы, то за единицу измерения неопределённости принимают неопределённость опыта, который имеет два равновероятных исхода (опыт А). Такая ситуация отвечает энтропии одной элементарной компьютерной ячейки, в которой хранится либо 0 либо 1. Для этой ячейки

Такая единица измерения называется битом (от англ.binarydiget– двоичная единица).

Итак, при k равновероятных исходах неопределённость опыта составляет

где p – вероятность исхода опыта.

Если учесть, что для равновероятных исходов

то, умножая (4.4) на единицу в виде суммы вероятностей , получаем

Каждый член правой части этого выражения можно рассматривать как вклад отдельного исхода в общую неопределённость опыта. В случае равновероятных исходов вклад каждого из них в общую неопределенность опыта одинаков и формула (4.5) сворачивается в (4.4).

Выражение (4.5) легко обобщается на случай, когда вероятности исходов различны. В этом случае (4.5) можно рассматривать как среднюю энтропию опыта, а вероятности перед logприобретают смысл весовых коэффициентов. Теперь предполагается, что вклад каждого исхода в общую неопределенность опыта не обязательно одинаков. В качестве примера ситуации с неравновероятными исходами может служить опыт извлечения наугад шара из урны, в которой находится большое количество шаров нескольких цветов. Оговорка относительно большого количества шаров сделана специально, чтобы подчеркнуть вероятностный характер меры неопределенности.

Выражение (4.5) можно записать в компактной форме

Если число опытов N , то с учётом аддитивности энтропии

Энтропия как мера неопределенности была введена американским математиком Клодом Шенноном в 1949 году при разработке математической теории связи . Функцию типа (4.6), или энтропию выбора часто называют также шенноновской энтропией. Поскольку понятие энтропии сегодня становится общенаучным, то указание на ее информационное происхождение, как правило, используется лишь в случаях, если по тексту следует различать информационную и термодинамическую (физическую) энтропию.

Рис. 4.1. Зависимость энтропии для двух исходов опыта

Рассмотрим некоторые свойства энтропии. Отметим прежде всего, что энтропия не может принимать отрицательных значений: так как , товсегда положительно. Если, то(для доказательства следует раскрыть неопределенность типа). Если, то также.

Так как только приp =0 илиp =1, то энтропия опыта равна нулю только в случае, когда одна из вероятностей равна единице и, следовательно, все остальные равны нулю. Это обстоятельство хорошо согласуется со смыслом величиныH как меры неопределенности: в этом случае опыт вообще не содержит никакой неопределенности, так как результат опыта можно предвидеть заранее.

На рис.4.1 изображен график функции H для двух исходов опыта, из которого видно, как меняется энтропия при изменении одного из исходов опыта от нуля до единицы. Из графика следует, что максимальное значение энтропии соответствует равновероятным событиям,. При этом максимальное значение энтропии

В общем случае, т. е. не для двух, а k исходов опыта, максимальное значение энтропии соответствует.

Тот факт, что максимум энтропии отвечает равновероятным событиям, согласуется со смыслом энтропии. Действительно, в случае равновероятных событий нельзя отдать предпочтение ни одному исходу и таким образо8м предвидеть результат труднее всего.

4.2. Энтропия как мера количества информации. Вернемся к простейшим опытам с монетой или игральной костью. Перед проведением опыта существует некоторая неопределенность, связанная с незнанием результата опыта. После проведения опыта, т.е. после получения результата, эта неопределенность устраняется, исчезает. Однако так обстоит дело далеко не всегда, и в практике чаще всего встречаются случаи, когда и после окончания опыта еще остается некоторая неопределенность.

Если неопределенность до опыта составляла Н (априорная неопределенность ), а после опыта –(апостериорная неопределенность ), то очевидно, неопределенность, устраненная в ходе опыта, составит:

Эта разность носит название количества информации .

Таким образом, количество информации есть количество устраненной неопределенности . В частном случае, когда неопределенность в результате опыта устраняется полностью, как это было в опытах А, В, и С, получаем:. Хотя здесь количество информации формально равно энтропии, следует иметь в виду различный смысл количества информации и энтропии. Энтропия (неопределенность) существует до опыта, тогда как информация появляется после проведения опыта. Просто следует учитывать, что для количественной оценки информации отсутствует другая мера кроме энтропии. Связь между понятиями энтропии и количеством информации напоминает соотношение между физическими понятиями потенциала (энтропии) и разности потенциалов (количество информации).

Количество информации, как и энтропия, измеряется в битах. Один бит информации – это количество информации, сообщающее о том, какое из двух равновероятных событий имело место. Например, количество информации, заключающееся в одной элементарной ячейке ЭВМ, содержащей либо 0, либо 1, составляет один бит.

Рассмотрим пример, в котором бы фигурировала апостериорная неопределенность. Пусть методом перебора вариантов ведется поиск корня некоторого уравнения с точностью до полуцелого числа. Предварительно известно, что значение корня находится в интервале от 1 до 100, так что следует перебрать 200 вариантов. Тогда неопределенность значения корня в равновероятном варианте (4.4) составит H = log 2 200 = 13,3 бит.

Пусть проведена проверка 150 вариантов возможных значений корня, но корень не найден. Однако получена ли некоторая информация о значении корня? Несомненно, и чтобы ее определить, необходимо сначала найти остаточную (апостериорную) неопределенность: Н 1 =log 2 (200 – 150) = 5,6. Тогда искомое количество информации составит= 13,3 – 5,6 = 7,7 бит.

Условная энтропия. Рассмотрим понятие количества информации на примере передачи сигналов. Пусть передается группа сигналов азбукой Морзе:

        

До получения очередного символа на приемном конце существует неопределенность «какой сигнал будет отправлен?» Эту неопределенность можно характеризовать энтропией «на один символ» (4.6) при числе исходов k= 3 (точка, тире, пробел) с вероятностями р i (i= 1, 2, 3). Вероятности появления на приемном конце точки, тире или пробела, т.е. вероятности (частоты) употребления символов конкретного языка специалистам известны из статистического анализа большого объема текстов на этом языке. Подсчитав энтропию на один символ, по формуле (4.6) легко определить общую энтропию сообщения (4.7). В данном примере 10 символов, включая пробел и, следовательно, N = 10.

Итак, на приемном конце до получения сообщения существовала априорная неопределенность (4.7) или на один знак (4.6). После получения сообщения неопределенность была устранена и получена информация I=H– 0.

Однако такая простая ситуация возникает, если сообщение передается без помех (канал без шума ). Если имеется шум, то его действие приводит к тому, что переданный символ может либо остаться прежним (i-м), либо быть случайно подмененным любым другим (n-м) символом. Вероятность такой подмены по обозначению р(y n  x i), где х относится к переданному сигналу, а y к принимаемому сигналу в приемнике. В канале без помех y n = x i . Вероятность р(y n  x i) носит название условной вероятности x i) -–вероятность того, что отправленный i-й сигнал соответствует n-му сигналу на приемном конце. Конечно, эту ситуацию можно рассматривать и со стороны передатчика, используя условные вероятности вида р(x i y n). В этом случае р(x i y n) – вероятность того, что принятый на приемном конце n-й сигнал соответствует i-му сигналу на передающей стороне. Понятие условной вероятности вводит условную энтропию как функцию условной вероятности. В общем виде это записывается в следующих обозначениях:

I(X,Y) = H(X) – H(XY)

I(X,Y) = H(Y) – H(YX)

В этих идентичных выражениях условная энтропия играет роль апостериорной энтропии, а количество информации есть мера соответствия двух случайных объектов Х и Y.

Эта мера позволяет понять связь между понятием информации и её количеством . Информация есть отражение одного объекта другим. В данном примере такими объектами являются приемник и передатчик. Среднее же количество информации и есть числовая характеристика полноты этого отражения, степени соответствия, наконец,степени взаимодействия этих объектов. Но при взаимодействии объекты оказывают влияние друг на друга, и мы привыкли при этом различать причину и следствие.Количественное описание информации это другой тип описания взаимодействий, никак не связанный с классическими причинно-следственными описаниями . Такой тип связи характерен для НВТ.

Здесь полезно обратиться к п.3.6, где уже касались ограничений классического, причинно-следственного механизма при описании взаимодействий в открытой системе.

4.3.Энтропия непрерывного множества. Ранее была рассмотренаэнтропия дискретного множества. Это означает, что подразумевались системы, где число возможных исходов (элементов множества) конечно. Однако приходится часто сталкиваться с ситуациями, когда число элементов может быть сколь угодно велико. Из теории вероятностей известно, что в этом случае следует иметь дело не с вероятностью отдельного исхода, которая равна нулю, а с плотностью распределения вероятности. Эта функция обладает таким свойством, что величинаесть вероятность того, что интересующая нас переменнаяx (значение корня в примере п.4.2.) примет значения, заключенные в интервале отx доx+dx .

Теперь для оценки неопределенности необходимо прибегнуть к энтропии непрерывного множества, которая по аналогии с энтропией дискретного множества (4.5) имеет вид

. (4.9)

В качестве примера использования этой функции, попытаемся оценить неопределенность опыта, связанного со случайным поиском в заданном интервале значения корня (см. п.4.2) при отсутствии ограничения на точность поиска.

Повышая требования к точности ответа, можно ожидать сколь угодно большого числа возможных исходов опыта. При этом вероятность каждого исхода стремится к нулю, а искомый корень может принимать все возможные (бесчисленные) значения в заданном числовом интервале от 0 до 200. Попробуем использовать для этой же задачи энтропию непрерывного множества. Введем отрезок длиной l =x 1 –x 0 относительных единиц. Вероятность обнаружить значение корня на участке dx составляет dx/1 . С другой стороны, эта же вероятность по определению. Следовательно, для равновероятного случая=dx /l и= 1/l. Подставляя это значение в (4.), несложно получить H = log 2 l= 5,6 бит.

Сравним полученный результат с примером в п.4.2. В случае дискретного множества в энтропии используется число дискретных интервалов на выделенном отрезке, а в случае непрерывного множества – относительная длина самого отрезка . Заметим, что длина должна быть выражена в относительной форме, в противном случае под логарифмом появилась бы размерная величина. Масштаб приведения к относительной форме не имеет для информационной энтропии принципиального значения, поскольку с самого начала энтропия введена с точностью до множителя (до постоянной интегрирования, см процедуру интегрирования в п.4.1).

Энтропия непрерывного множества или дифференциальная энтропия (4.9) обладает большинством свойств энтропии дискретного множества.

В современной литературе можно встретить критику понятия дифференциальной энтропии и вытекающего из этого понятия дифференциального количества информации . Эта критика по своему характеру совпадает с критикой концепции непрерывности, рассмотренной ранее в п.3.5.

4.4.Энтропия как мера разнообразия, неупорядоченности, хаоса. До сих пор понятие энтропии связывалось с неопределенностью. Энтропия допускает и другое толкование. Представим себе систему, состоящую из камеры, в которой находятсяN шаровmтипов, отличающихся, например, цветом. Предполагается, чтоNдостаточно большое число. Обозначим долю шаровi -го типа (цвета) –. Если произвести опыт над системой, заключающийся в извлечении наугад одного шара, то энтропия одного опыта согласно (4.6) составит:

При этом принято, что размеры шаров одинаковы, в противном случае вероятность извлечения шаров i -того типа не будет точно соответствовать их доле в камере. Энтропия всех опытов над системой

Поскольку правая часть последних выражений включает в себя параметры, характеризующие содержимое системы, то возникает вопрос, нельзя ли не обращаясь к опытам с шарами уяснить, с какой точки зрения эти функции характеризуют содержимое камеры.

Первая из двух функций характеризует степень неупорядоченности системы или степень разнообразия в ней с учётом выбранного признака для различения элементов системы (цвета шаров). Если бы в камере находились шары одного типа, тогда одно из значений вероятностиp =z равнялось бы единице, а все остальные – нулю, и энтропия приняла бы нулевое значение. Это означало бы, что система полностью упорядочена, или, что то же самое – в системе отсутствует разнообразие по оцениваемому признаку (цвету).

Вторая функция (4.11) измеряет неупорядоченность (разнообразие) в системе несколько иначе. Отличие этих двух функций можно иллюстрировать следующим примером. Если камеру разделить на две части, то при достаточно большом количестве шаров в ней доля шаров i -го типа в каждой из двух частей останется прежней, но число шаров уменьшится вдвое, также вдвое уменьшится неупорядоченность, оцениваемая формулой (4.11). Однако степень неупорядоченности для каждой из двух частей, оцениваемая функцией (4.10) останется прежней.

По аналогии с только что рассмотренным примером формулой (4.11) можно оценивать неупорядоченность потока смеси каких-либо веществ. В этом случае – концентрацияi -го компонента в мольных долях;N – расход потока или число молекул, проходящее через некоторое сечение в единицу времени. Поскольку числоN в практических задачах всегда очень велико, можно перейти к иному масштабу для энтропии. Например, поделив левую и правую части на число Авогадро, получим

где F – расход потока, кмоль/ед. времени. Обозначение энтропии в новом масштабе оставлено прежним.

Таким образом, энтропия оценивает разнообразие элементов в системе по некоторому определенному признаку, который может нас интересовать в той или иной задаче; см п. 4.6 и 4.7.

Обратим внимание, что выражение (4.10) с точностью до множителя совпадает с термодинамическим выражением для мольной энтропии смешения идеального газа

S= –R, (4.13)

где R– газовая постоянная.

На этом примере можно заметить связь информационной энтропии, введенной в предыдущих разделах без использования каких-либо физических принципов, с термодинамикой. Здесь полезно также отметить не только внешнюю, структурную аналогию. Энтропия смешения (4.13) это только энтропия термодинамически и д е а л ь н о й смеси. При рассмотрении камеры с шарами также были приняты некоторые ограничения, например, требование равных размеров шаров.

Энтропию, записанную через вероятности, часто называют функциональной , в отличие от энтропии, выраженной через мольные доли, которую именуютатрибутивной .

4.5.Связь информационной энтропии с физикой. Понятие энтропии впервые было введено в термодинамику Клаузисом как соотношение, связывающее элементарное приращение энтропииdS с элементарным количеством теплотыdQ при температуреТ

dS = dQ/T (4.14)

Это выражение мало говорит о физической сущности энтропии. В физике неоднократно делались попытки раскрыть содержание этого понятия, руководствуясь модельными представлениями.

Энтропия Больцмана. Рассмотрим основанное на статистическом подходе известное уравнение Больцмана

где k B – постоянная Больцмана,k B =1,3810Дж/К;W– число микросостояний.

Для того чтобы понять сущность статистических методов в качестве начального примера рассмотрим газ, как ансамбль большого числа частиц. Первое, что кажется необходимо сделать при построении математической модели поведения частиц, это попытаться записать уравнение движения для каждой из них, ведь газ, во всяком случае в первом приближении, представляет собой систему частиц, движущихся по законам механики Ньютона.

Однако при таком подходе число уравнений становится невообразимо велико, не говоря уже о том, что для интегрирования этих уравнений необходимы начальные скорости и координаты каждой молекулы. Тем не менее, такой путь не только сложен, но и бесплоден, поскольку знание траекторий и закона движения отдельных молекул оказывается не даёт никакой информации относительно свойств газа в целом. Дело в том, что в системе, состоящей из многих частиц, возникают новые, чисто статистические системные, или интегративные закономерности, которых не было в системе с малым числом частиц.

Проследим на весьма упрощённой модели, как появляются эти новые свойства, связанные с понятием энтропии Больцмана.

Для наглядности возьмем систему всего из десяти частиц (N =10), распределённых на четырёх энергетических уровнях, имеющих относительные величины энергии 1, 2, 3 и 4. Общая энергия системы равна 20 относительным единицам. Задача заключается в том, чтобы высказать некоторые соображения относительно того состояния, которое примет система, предоставленная самой себе, т.е. относительно того, как распределятся частицы по уровням энергии.

Для этого выясним, какие энергетические распределения частиц возможны. При этом будем различать изменения микро- и макросостояния системы. Если произошло изменение ч и с л а частиц на каком-либо энергетическом уровне, то будем говорить об изменении макросостояния системы. Если же произошёл только о б м е н частиц между энергетическими уровнями, но число частиц на каждом уровне энергии осталось прежним, будем фиксировать изменениемикросостояния системы. Для внешнего наблюдателя, следящего только за макросостояниями системы, изменения микроскопического характера окажутся незамеченными, а микросостояния неразличимы. Одно макросостояние может быть реализовано с помощью очень многих микросостояний.

Так, одно из возможных макросостояний в рассматриваемой системе из десяти частиц таково: на первом энергетическом уровне находится одна частица (N 1 =1), на втором располагаются восемь частиц (N 2 =8) и одна занимает третий уровень (N 3 =1). Четвертый уровень не занят. Общая энергия равна 11+82+13+ 40=20. Предположим, что частицы пронумерованы. Тогда данное макросостояние можно было бы осуществлять различным способом (через различные микросостояния), помещая, например, на уровеньcэнергией 1 поочерёдно частицы с номером 1, 2, 3, 4, 5 и т.д., т.е. осуществляя разные перестановки частиц, не нарушая макросостояния системы.

. (4.16)

Здесь r – число энергетических уровней; в данном примереr = 4.

Если теперь перейти к другому макросостоянию, т.е. взять иное распределение частиц по энергетическим уровням, например, N 1 =2,N 2 =7,N 3 =0 иN4=1 (общая энергия 21+72+14 = 20), то число способов осуществления данного макросостоянияWоказывается равным 360.

При любом процессе управления и передачи происходит преобразование входной информации в выходную. Обычно под информацией понимают некоторые сведения, символы, знаки. Статистическая теория: понятие информации характеризуется как устранение неопределён.

Информация определяется как сведение является объектом хранения, передачи и приёма. Информация передаётся с помощью сигнала. В основе количественной оценки получение информации лежит представление о передачи сообщения, как о случайном стохастическом процессе во времени.

Устраняют неопределённость с помощью испытаний, чем выше неопределённость, тем выше ценность информации.

Степень неопределённости зависит от числа значений, которые может принимать величина и исхода событий.

За меру количества информации определяется случайная величина H(А):

где-вероятностьiисхода.

Знак минус стоит как компенсация H(А)-это энтропия опыта А (формулу придумал Клод Шинон).

Чем большеH(A), тем больше мера незнания.

Накопление сведений о некоторой системе уменьшает энтропию. Информация это определённый вклад в энтропию.

Пусть дана x-система.

если
, то

где

Получение информации являются объективным отображением состояния системы и может быть использована для передачи, управления, решения и т. д.

Информация не является материальной или энергетической категорией, она не когда не создаётся, а только передаётся и принимается, но может утрачиваться, исчезать.

Согласно второму закону термодинамики энтропия увеличивается параллельно с разрушением организованных структур стремясь к хаотическому вероятностному состоянию.

За единицу измерения принимается количество информации содержащейся в некоторой случайной величине, принимающей с равной вероятностью. За единицу степени неопределённости принимается энтропия элементарного события, которые имеют два исхода с одинаковой вероятностью два различных значения.

-двоичная единица или бит.

x-система связаны

y-система

I(x,y)=H(x)+H(y)-H(x,y), где

H(x,y)-энтропия объединённой системы.

, где,

Для непрерывного сигнала.

где(x)-плотность вероятности величиныx. Шинонский подход не учитывает семантического содержания.

33.Понятие эргодического источника. Избыточность.

На практике встречаются эргодические источники, в которых корреляционные связи распространяется на конечное число предшествующих источников. В эргодическом источнике
корреляционные связи отсутствуют, т.е.

Математическим представлением сообщений создаваемых эргодическими источниками являются цепь Маркова.

Цепью Маркова n-порядка называют последовательность, зависимость испытаний при которой, вероятность некоторого исхода
вiиспытании зависит от исходов имевших место в каких-либоnпредыдущих испытаниях, но не зависит от более ранних исходов.

В эргодическом источнике nпорядка распределения
приk=1,2,…,mне остаётся постоянной, а зависит от того, какие были последниеnбукв сообщений.

вероятность выбораqбуквы из алфавита.

Число возможных состояний определяется:
, гдеmэто алфавита,n-порядок,M-число возможных состояний источника.

Для определения полной энтропии необходимо:

если M=1, то получаем классическую формулу Шинона.

Корреляционная связь в эргодическом источнике обязательно сопровождается изменением распределения вероятности, выбора элемента сообщений от состояния к состоянию, что также приводит к уменьшению энтропии, это значит что часть информации передаваемой источником может быть предсказана, значит её можно не передавать, т.к. она может быть восстановлена на приёмной стороне. Чем меньше энтропия источника, тем больше информации он вырабатывает.

R-избыточность, показывает эффективность работы источника.

Причиной Rявляется однозначность и опеорная вероятность выбора между сообщениями.

1) Системный подход в изучении медицины. Понятие системы. Свойства системы. Примеры медицинских систем.

Системный подход, направление методологии специально-научного познания и социальной практики, в основе которого лежит исследование объектов как систем.

Систе́ма -множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство.

свойства общие для всех систем:

Целостность - система есть абстрактная сущность, обладающая целостностью и определенная в своих границах. Целостность системы подразумевает, что в некотором существенном аспекте «сила» или «ценность» связей элементов внутри системы выше, чем сила или ценность связей элементов системы с элементами внешних систем или среды .

Синергичность , эмерджентность , холизм , системный эффект - появление у системы свойств, не присущих элементам системы; принципиальная несводимость свойств системы к сумме свойств составляющих её компонентов. Возможности системы превосходят сумму возможностей составляющих её частей; общая производительность или функциональность системы лучше, чем у простой суммы элементов.

Иерархичность - каждый элемент системы может рассматриваться как система; сама система также может рассматриваться как элемент некоторой надсистемы (суперсистемы).

Экспертные системы - логическое описание структуры и содержания медицинских знаний с помощью системы продукционных правил(логических правил вывода).

Консультации в определенной области на уровне знаний, превышающем уровень пользователя; - применение компьютерных технологий «искусственного интеллекта»; - формирование базы знаний в форме систем эвристических правил; - пояснение рассуждений в процессе получения решения.

Медицинские информационные системы (МИСы). По назначению эти системы делятся на три группы: 1) системы, основной функцией которых является накопление данных и информации

2) диагностические и консультирующие системы

3) системы, обеспечивающие медицинское обслуживание

Медицинская информационная система (МИС) - совокупность информационных, организационных, программных и технических средств, предназначенных для автоматизации медицинских процессов и (или) организаций

Задачи медицинских информационных систем

Сбор данных

Регистрация и документирование данных

Обеспечение обмена информацией

Контроль течения заболевания (врачебный контроль)

Контроль выполнения технологии лечебно-диагностического процесса (технологический контроль)

Хранение и поиск информации (ведение архива)

Анализ данных

Поддержка принятия решения

Обучение персонала

2. Медицинская система как управляющая система. Принцип обратной связи в управляющих системах. Место методов и средств информатики в медицинской управляющей системе.

Тео́рия управле́ния - наука о принципах и методах управления различными системами, процессами и объектами. Основами теории управления являются кибернетика (наука об общих закономерностях процессов управления и передачи информации в различных системах, будь то машины, живые организмы или общество) и теория информации.

Процесс управления можно разделить на несколько этапов:

1. Сбор и обработка информации.

2. Анализ, систематизация, синтез.

3. Постановка на этой основе целей. Выбор метода управления, прогноз.

4. Внедрение выбранного метода управления.

5. Оценка эффективности выбранного метода управления (обратная связь).

Конечной целью теории управления является универсализация, а значит, согласованность, оптимизация и наибольшая эффективность функционирования систем.

Методы управления, рассматриваемые теорией управления техническими системами и другими объектами, базируются на трёх фундаментальных принципах:

1. Принцип разомкнутого (программного) управления,

2. Принцип компенсации (управление по возмущениям)

3. Принцип обратной связи.

Управление можно разделить на два вида:

стихийный : воздействие происходит в результате взаимодействия субъектов (синергетическое управление);

сознательный : планомерное воздействие объекта (иерархическое управление).

При иерархическом управлении цель функционирования системы задается её надсистемой.

Медицинская кибернетика является научным направлением, связанным с использованием идей, методов и технических средств кибернетики в медицине и здравоохранении.

Условно медицинскую кибернетику можно представить следующими группами:

Вычислительная диагностика заболеваний

Эта часть связана с использованием вычислительной техники при обработке информации, поступающей с биологического объекта с целью постановки диагноза. Первым шагом является разработка методик формального описания состояния здоровья пациента, проведение тщательного анализа по уточнению клинических параметров и признаков, используемых в диагностике. Здесь имеют главное значение те признаки, которые несут количественные оценки. Кроме количественного выражения физиологических, биохимических и других характеристик больного для вычислительной диагностики необходимы сведения о частоте клинических синдромов (из априорных данных) и диагностических признаков об их классификации, оценке диагностической эффективности и т. п.

Автоматизированные системы управления и возможности применения их для организации здравоохранен ия.

Здесь преследуется цель создания отраслевых автоматизированных систем (ОСАУ). Такие системы создаются для такой важной отрасли как «здравоохранение». Особенности ОСАУ в здравоохранении является то, что она должна включать в себя как блок управления, так и другие элементы: профилактику, лечение (с диагностикой), медицинскую науку, кадры, материальное обеспечение. В первоочередные задачи ОСАУ «Здравоохранение» входят автоматизация процессов сбора и анализа статистической информации по основным направлениям медицинской деятельности и оптимизация некоторых процессов управления.

3. Понятие информационной энтропии.

Энтропи́я (информационная) - мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Так, возьмём, например, последовательность символов, составляющих какое-либо предложение на русском языке. Каждый символ появляется с разной частотой, следовательно, неопределённость появления для некоторых символов больше, чем для других. Если же учесть, что некоторые сочетания символов встречаются очень редко, то неопределённость ещё более уменьшается.

Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Введение понятия энтропии основывается на использовании вероятностной меры различных опытов. Для получения формулы информационной энтропии можно использовать следующий прием. Пусть имеется последовательность из N событий (например, текст из N букв), каждое из которых принимает одно из M состояний (M ¾ количество букв в алфавите). Тогда . Вероятность проявления данного состояния находим для достаточно длинной цепочки событий как, i=1, ¼ , M. Общее число различных последовательностей из N букв M-буквенного алфавита. Формально появление каждой из R последовательностей равновероятно, поэтому для определения количества информации в такой цепочке событий используем формулу Хартли для равновероятных исходов(1). Для нашего случая все N и все N i достаточно велики, так как только тогда все p i как вероятности имеют смысл. Поэтому применим преобразование Стирлинга аналогично тому, как это делается в статистической физике. Используя все указанные посылки и приведя логарифм (1) к натуральному основанию, получим формулу Шеннона ¾ информационную энтропию в расчете на каждое из M возможных состояний.

В дальнейшем понятие энтропии можно применить для решения задач по вычислению неопределенности (а значит и информационной нагрузки) различных опытов. Если полученная информация полностью снимает неопределенность опыта, то ее количество считается равным энтропии данного опыта. Следовательно, использование понятия энтропии может служить для определения ценности различных прогнозов. И еще более интересно и полезно использование понятия энтропии (с практической точки зрения) для установления критерия оценки эффективности реального кода и в качестве инструмента разработки экономных кодов.

5. Основные понятия базовых информационных процессов: хранения, передачи обработки информации.

Информационный процесс - процесс получения, создания, сбора, обработки , накопления, хранения , поиска, передачи и использования информации.

Какой бы информационной деятельностью люди не занимались, вся она сводится к осуществлению трех процессов: хранению, передаче и обработке информации. Эти процессы называются базовыми.

Хранение

Под хранением информации следует понимать содержание информации во внешней памяти компьютера.

С хранением информации связаны такие понятия, как носитель информации, внутренняя память, внешняя память, хранилище информации. Носитель информации – это физическая среда, непосредственно хранящая информацию. Основным носителем информации для человека является его собственная биологическая память (мозг человека). Ее можно назвать внутренней памятью. Все прочие виды носителей информации можно назвать внешними (по отношению к человеку).

Хранилище информации – это определенным образом организованная совокупность данных на внешних носителях, предназначенная для длительного хранения и постоянного использования. Примерами хранилищ являются архивы документов, библиотеки, справочники, картотеки. Основной информационной единицей хранилища является определенный физический документ – анкета, книга, дело, досье, отчет и пр. Под организацией хранилища понимается наличие определенной структуры, т.е. упорядоченность, классификация хранимых документов. Такая организация необходима для удобства ведения хранилища: пополнения его новыми документами, удаления ненужных документов, поиска информации и пр.

Основные свойства хранилища информации – объем хранимой информации, надежность хранения, время доступа, наличие защиты информации.

Информацию, хранимую на устройствах компьютерной памяти, принято называть данными . Организованные хранилища данных на устройствах внешней памяти компьютера принято называть базами данных.

В современных компьютерах основными носителями информации для внешней памяти служат магнитные и оптические диски.

Единицы хранения данных. При хранении данных решаются две проблемы: как сохранить данные в наиболее компактном виде и как обеспечить к ним удобный и быстрый доступ. Для обеспечения доступа необходимо, чтобы данные имели упорядоченную структуру, а при этом возникает необходимость дополнительно записывать адресные данные. Без них нельзя получить доступ к нужным элементам данных, входящих в структуру.

Поскольку адресные данные тоже имеют размер и тоже подлежат хранению, хранить данные в виде мелких единиц, таких, как байты, неудобно. Их неудобно хранить и в более крупных единицах (килобайтах, мегабайтах и т.п.), поскольку неполное заполнение одной единицы хранения приводит к неэффективности хранения.

В качестве единицы хранения данных принят объект переменной длины, называемый файлом. Файл – это последовательность произвольного числа байтов, обладающая уникальным собственным именем. Обычно в отдельном файле хранят данные, относящиеся к одному типу. В этом случае тип данных определяет тип файла.

Передача

Процесс транспортирования информации рассматривается в рамках эталонной семиуровневой модели, известной как модель OSI (Open System Intercongtion- связь открытых систем). Большое внимание уделено протоколам различных уровней, обеспечивающих необходимый уровень стандартизации:

1. Нижний уровень (канальный и физический уровни OSI, например NDIS, ODI)

2. Средний уровень (сетевой, транспортный и сеансовый уровни OSI, например сеансовые и дейтаграммные протоколы)

3. Верхний уровень (уровень представления и прикладной уровень OSI)

Физический уровень реализует физическое управление и относится к физической цепи, например телефонной, по которой передается информация. На этом уровне модель OSI определяет физические, электрические, функциональные и процедурные характеристики цепей связи, а также требования к сетевым адаптерам и модемам.

Канальный уровень. На этом уровне осуществляется управление звеном сети (каналом) и реализуется пересылка блоков (совокуп­ности битов) информации по физическому звену. Осуществляет та­кие процедуры управления, как определение начала и конца блока, обнаружение ошибок передачи, адресация сообщений и др

Сетевой уровень относится к виртуальной (воображаемой) цепи, которая не обязана существовать физически. Программные средства данного уровня обеспечивают определение маршрута пе­редачи пакетов в сети. Маршрутизаторы, обеспечивающие поиск оптимального маршрута на основе анализа адресной информации, функционируют на сетевом уровне модели OSI, называемое мостом.

Транспортный уровень. На транспортном уровне контролируется очередность пакетов со­общений и их принадлежность. Таким образом, в процессе обмена между компьютерами поддерживается виртуальная связь, анало­гичная телефонной коммутации.

Сеансовый уровень. На данном уровне координируются и стандартизируются процессы установления сеанса, управления передачей и приемом пакетов сообщений, завершения сеанса. Программные средства этого уровня выполняют преобразования данных из внутреннего формата пере­дающего компьютера во внутренний формат компьютера-получате­ля, если эти форматы отличаются друг от друга. Помимо конвертирования форматов на данном уровне осуществляется сжа­тие передаваемых данных и их распаковка.

Прикладной уровень относится к функциям, которые обеспечи­вают поддержку пользователю на более высоком прикладном и системном уровнях, например: организация доступа к общим сетевым ресурсам: информа­ции, дисковой памяти, программным приложениям, внешним устройствам (принтерам, стримерам и др.); общее управление сетью (управление конфигурацией, разграничение доступа к общим ресурсам сети, восстановление работо­способности после сбоев и отказов, управление производительно­стью); передача электронных сообщений.

Обработка

Под обработкой информации понимают ее преобразование с целью подготовки к практическому использованию. Иногда обработка информации определяется как оперирование данными по определенным правилам.

В процессе обработки информации всегда решается некоторая информационная задача, заключающаяся в получении итоговой информацию на основании исходных данных. Процесс перехода от исходных данных к результату и представляет собой обработку информации. Субъект, осуществляющий обработку, является исполнителем обработки. Исполнитель может быть человеком, а может быть специальным техническим устройством, в том числе компьютером.

Обычно обработка информации – это целенаправленный процесс. Для успешного выполнения обработки информации исполнителю должен быть известен способ обработки, т.е. последовательность действий, которую нужно выполнить, чтобы достичь нужного результата. Описание такой последовательности действий в информатике принято называть алгоритмом обработки.

Обычно различают два типа ситуаций, связанных с обработкой информации.

Первый тип – обработка, связанная с получением нового содержания знаний. К этому типу обработки относится решение математических задач. Способ обработки, т.е. алгоритм решения задачи, определяется математическими формулами, которые известны исполнителю. К этому типу обработки информации относится решение различных задач путем применения логических рассуждений.

Второй тип – обработка, связанная с изменением формы, но не изменяющая содержания. К этому типу обработки информации относится, например, перевод текста с одного языка на другой. Изменяется форма, но должно сохраниться содержание. Важным видом обработки для информатики является кодирование . Кодирование – это преобразование информации в символьную форму, удобную для ее хранения, передачи, обработки. Кодирование активно используется в технических средствах работы с информацией (телеграф, радио, компьютеры).

К обработке информации относится структурирование данных. Структурирование связано с внесением определенного порядка, определенной организации в хранилище информации. Примерами структурирования могут служить расположение данных в алфавитном порядке, группировка по некоторым признакам классификации, использование табличного представления.

Еще один важный вид обработки информации – поиск. Задача поиска состоит в отборе нужной информации, удовлетворяющей определенным условиям поиска, в имеющемся хранилище информации. Алгоритм поиска зависит от способа организации информации. Если информация структурирована, то поиск осуществляется быстрее, можно построить оптимальный алгоритм.

Таким образом, в зависимости от цели при обработке информации может изменяться форма ее представления либо ее содержание. Процессы изменения формы представления информации часто сводятся к процессам ее кодирования и декодирования и проходят одновременно с процессами сбора и передачи информации. Процесс изменения содержания информации включает в себя такие процедуры, как численные расчеты, редактирование, упорядочивание, обобщение, систематизация и т.д. Если правила преобразования информации строго формализованы и имеется алгоритм их реализации, то можно построить устройство для автоматизированной обработки информации.

Следует упомянуть неоднородность информационных ресурсов, характерную для многих предметных областей. Одним из путей решения данной проблемы является объектно-ориентированный подход , наиболее распространенный в настоящее время. Кратко рассмотрим его основные положения. Декомпозиция на основе объектно-ориентированного подхода основана на выделении следующих основных понятий: объект, класс, экземпляр.

Объект - это абстракция множества предметов реального мира, обладающих одинаковыми характеристиками и законами поведения. Объект характеризует собой типичный неопределенный элемент такого множества. Основной характеристикой объекта является состав его атрибутов (свойств).

Атрибуты - это специальные объекты, посредством которых можно задать правила описания свойств других объектов.

Экземпляр объекта - это конкретный элемент множества. Например, объектом может являться государственный номер автомобиля, а экземпляром этого объекта - конкретный номер К 173 ПА.

Класс - это множество предметов реального мира, связанных общностью структуры и поведением. Элемент класса - это конкретный элемент данного множества. Например, класс регистрационных номеров автомобиля.

Информация передается в виде сигналов. Сигнал- физический процесс, несущий в себе информацию. Сигнал может быть звуковым, световым, в виде почтового отправления и др.

По видам (типам) сигналов выделяются следующие:

аналоговый

цифровой

дискретный

Аналоговый сигнал:

Аналоговый сигнал является естественным. Его можно зафиксировать с помощью различных видов датчиков. Например, датчиками среды (давление, влажность) или механическими датчиками (ускорение, скорость)

Цифровой сигнал:

Цифровые сигналы являются искусственными, т.е. их можно получить только путем преобразования аналогового электрического сигнала.

Дискретный сигнал:

Дискретный сигнал – это все тот же преобразованный аналоговый сигнал, только он необязательно квантован по уровню.

Дискретизация - преобразование непрерывной функции в дискретную .

Используется в гибридных вычислительных системах и цифровых устройствах при импульсно-кодовой модуляции сигналов в системах передачи данных . При передаче изображения используют для преобразования непрерывного аналогового сигнала в дискретный или дискретно-непрерывный сигнал.

7.Кодирование информации. Алфавит. Слово. Словарь. Двоичное кодирование.

1. Кодирование информации обычно применяется для преобразования сообщений из формы, удобной для непосредственного использования, в форму, удобную для передачи, хранения или автоматической переработки

Любая информация, с которой работает современная вычислительная техника, преобразуется в числа в двоичной системе счисления.

Дело в том, что физические устройства (регистры, ячейки памяти) могут находиться в двух состояниях, которым соотносят 0 или 1. Используя ряд подобных физических устройств, можно хранить в памяти компьютера почти любое число в двоичной системе счисления. Кодирование в компьютере целых чисел, дробных и отрицательных, а также символов (букв и др.) имеет свои особенности для каждого вида. Однако, всегда следует помнить, что любая информация (числовая, текстовая, графическая, звуковая и др.) в памяти компьютера представляется в виде чисел в двоичной системе счисления (почти всегда). В общем смысле кодирование информации можно определить как перевод информации, представленной сообщением в первичном алфавите, в последовательность кодов.

Обычно сообщения передаются и регистрируются с помощью некоторой последовательности символов - знаков.

Алфавит языка интерпретации сообщений – конечное множество входящих в него знаков, обычно задается их прямым перечислением. Конечная последовательность знаков алфавита называется словом в алфавите. Количество знаков в слове определяет длину слова. Множество различных допустимых слов образует словарный запас (словарь) алфавита. Любой алфавит имеет упорядоченный вид, знаки расположены последовательно в строгом порядке, таким образом, в словаре обеспечивается упорядочивание всех слов по алфавиту.

В качестве длины кода для кодирования символов было выбрано 8 бит или 1 байт. Поэтому одному символу текста соответствует один байт памяти.

Различных комбинаций из 0 и 1 при длине кода 8 бит может быть 28 = 256, поэтому с помощью одной таблицы перекодировки можно закодировать не более 256 символов. При длине кода в 2 байта (16 бит) можно закодировать 65536 символов. Для того чтобы закодировать один символ используют количество информации равное 1 байту, т. е. I = 1 байт = 8 бит. При помощи формулы, которая связывает между собой количество возможных событий К и количество информации I, можно вычислить сколько различных символов можно закодировать К = 2I = 28 = 256, т. е. для представления текстовой информации можно использовать алфавит мощностью 256 символов.

Суть кодирования заключается в том, что каждому символу ставят в соответствие двоичный код от 00000000 до 11111111 или соответствующий ему десятичный код от 0 до 255. Одному и тому же двоичному коду ставится в соответствие различные символы.

9. ​Количество информации. Мера количества информации и ее свойства. Формула Хартли.

Количество информации – число, адекватно характеризующее величину разнообразия (набор состояний, альтернатив и т.д.) в оцениваемой системе.

Мера информации – формула, критерий оценки количества информации.

Мера информации обычно задана некоторой неотрицательной функцией, определенной на множестве событий и являющейся аддитивной, то есть мера конечного объединения событий (множеств) равна сумме мер каждого события. Количество информации – число, адекватно характеризующее величину разнообразия (набор состояний, альтернатив и т.д.) в оцениваемой системе.

Количество информации

Введение

2. Неопределенность, количество информации и энтропия

3. Формула Шеннона

4. Формула Хартли

5. Количество информации, получаемой в процессе сообщения

Список использованной литературы

Введение

По определению А.Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины - информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации - количество информации, получаемое в результате подбрасывания монеты - “орел” или “решка”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

2.Неопределенность, количество информации и энтропия

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности - уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H) - мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

Рис. 1. Поведение энтропии

для случая двух альтернатив.

На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны?, нулевое значение энтропии соответствует случаям (p0=0, p1=1) и (p0=1, p1=0).

Рис. 2. Связь между энтропией и количеством информации.

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I - это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. Ht + It = H.

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

3.Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Напомним, что такое логарифм.

Логарифм по основанию 2 называется двоичным:

log2(8)=3 => 23=8

log2(10)=3,32 => 23,32=10

Логарифм по основанию 10 -называется десятичным:

log10(100)=2 => 102=100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

2. log(ab)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(1/b)=0-log(b)=-log(b).

Знак минус в формуле (1) не означает, что энтропия - отрицательная величина. Объясняется это тем, что pi1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.

интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой - математическим ожиданием распределения случайной величины {I0, I1, … IN-1}.

Пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: ? - женщины, ? - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в таблице 1.

Таблица 1.

Ii=log2(1/pi), бит

pi*log2(1/pi), бит

Если же априори известно, что мужчин и женщин в учреждении поровну (два равновероятных варианта), то при расчете по той же формуле мы должны получить неопределенность в 1 бит. Проверка этого предположения проведена в таблице 2.

Таблица 2.

Ii=log2(1/pi), бит

pi*log2(1/pi), бит

4.Формула Хартли

Формула Хартли - частный случай формулы Шеннона для равновероятных альтернатив.

Подставив в формулу (1) вместо pi его (в равновероятном случае не зависящее от i) значение, получим:

таким образом, формула Хартли выглядит очень просто:

Из нее явно следует, что чем больше количество альтернатив (N), тем больше неопределенность (H). Эти величины связаны в формуле (2) не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации - битам.

Энтропия будет являться целым числом лишь в том случае, если N является степенью числа 2, т.е. если N принадлежит ряду: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Рис. 3. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив).

Для решения обратных задач, когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще:

Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (3), как N=23=8 этажей.

Если же вопрос стоит так: “в доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?”, нужно воспользоваться формулой (2): I=log2(8)=3 бита.

5.Количество информации, получаемой в процессе сообщения

До сих пор были приведены формулы для расчета энтропии (неопределенности) H, указывая, что H в них можно заменять на I, потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Но неопределенность может быть снята только частично, поэтому количество информации I, получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения.

Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если, то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.

Если, то - неопределенности не изменилась, следовательно, информации получено не было.

Если, то => , если, => . Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.

Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е. , то I=log2(2)=1 бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.

Рассмотрим в качестве примера опыт с колодой из 36 карт.

Рис. 4. Иллюстрация к опыту с колодой из 36-ти карт.

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (2), составляет H=log2(36)5,17 бит. Вытянувший карту сообщает нам часть информации. Используя формулу (5), определим, какое количество информации мы получаем из этих сообщений:

Вариант A. “Это карта красной масти”.

I=log2(36/18)=log2(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B. “Это карта пиковой масти”.

I=log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log2(36)-log2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D. “Это одна карта из колоды".

I=log2(36/36)=log2(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

Вариант D. “Это дама пик".

I=log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).