Определение пропускной способности дискретного канала. Дискретный канал связи без помех. Каналы связи характеризуются

1. Пусть источник выбирает элементы сообщения независимо от предыдущих и с одинаковыми вероятностями, равными , тогда . Если к тому же , то кодирование сводится попросту к установлению любым образом взаимно однозначного соответствия каждого из элементов сообщения символу кода .

Очевидно, что при этом можно передавать но каналу элементов сообщения в секунду. Но . Таким образом, при этих условиях теорема справедлива даже при . В этом случае иногда (впрочем, без особого основания) считают, что сообщение передается без кодирования.

2. Пусть по-прежнему , но , где - целое число. Построим все возможные последовательности из кодовых символов («кодовые комбинации») длиной . Очевидно, их число равно . Установим взаимно однозначное соответствие каждого элемента сообщения кодовой комбинации. Таким образом, каждая комбинация из символов, переданная по каналу, соответствует одному элементу сообщения и, следовательно, скорость передачи элементов сообщения

. (2.8)

Таким образом, и в этом случае теорема справедлива даже при . Такой код, в котором все кодовые комбинации имеют одинаковую длину , называется равномерным - разрядным кодом.

3. Пусть для того же источника с объем алфавита не является целой степенью числа . Так, например, пусть источник выбирает независимо и с равной вероятностью любую из десяти цифр 0, 1,..., 9, а канал имеет два символа (обозначим их 0 и 1) и позволяет передаватьсимволов в секунду.

Здесь дв. ед. и . Согласно теореме скорость передачи цифр в таком канале может быть сделана сколь угодно близкой к .

Попытаемся достигнуть этого, кодируя каждую цифру равномерным -разрядным кодом. Это сводится, в сущности, к тому, чго каждая из десяти цифр 0, 1,..., 9 изображается двоичным числом: 0000, 0001,..., 1001. Очевидно, что для этого потребуются четырехразрядные двоичные числа. Таким образом, на каждый элемент сообщения (цифру) при таком кодировании потребуется 4 кодовых символа, тогда как теорема утверждает, что можно осуществить более «экономное» кодирование, приближаясь к количеству кодовых символов 3,332 на цифру.

Покажем, что это можно сделать, если до кодирования произвести укрупнение алфавита источника. Будем рассматривать каждую пару цифр, выдаваемых источником, как двухразрядное десятичное число, т. е., перейдем от и сведем по-прежнему «кодирование к изображению этого числа в двоичном счислении. Всякое число меньше 100 можно представить семиразрядным двоичным числом (на том основании, что 27 = 128 > 100, тогда как 26 = 64 и поэтому шестиразрядных двоичных чисел не хватит для представления всех двухразрядных десятичных чисел). При таком кодировании на каждые два знака сообщения потребуется семь кодовых символов, т. е. в среднем 3,5 кодового символа на цифру, а не 4, как было до укрупнения алфавита.

Продолжим укрупнение алфавита, рассматривая каждые три цифры, выдаваемые источником, как трехразрядное десятичное число. Его можно представить в двоичном счислении 10-разрядным числом (так как 210=1024>1000). Следовательно, при таком кодировании на одну цифру потребуется 10/3=3,333 кодового символа, что уже очень близко к теоретической величине 3,332.

Дальнейшие укрупнения алфавита позволят еще больше приблизить скорость передачи цифр по такому двоичному каналу к величине , но, конечно, не превзойти ее. Действительно, если объединить цифр, выдаваемых источником, в -разрядное десятичное число, то его можно изобразить -разрядным двоичным числом при условии, что или , откуда

. (2.9)

В данном случае знак равенства даже невозможен, так как при целых и равенство означает, что является рациональным числом, тогда как в действительности оно иррационально.

Вообще, когда , но не является целой или рациональной степенью , можно для любого числа найти такое число , при котором справедливы неравенства

(2.10)

Будем рассматривать каждые букв сообщения как букву укрупненного алфавита объемом элементов и установим взаимно однозначное соответствие укрупненных букв кодовым комбинациям равномерного -разрядного кода, что всегда можно сделать на основании (2.10) (так как ), причем часть комбинаций останется неиспользованной. Тогда каждая комбинация из символов, переданная по каналу, соответствует буквам первичного алфавита сообщения. Скорость передачи сообщения при этом равна, со скоростью, сколь угодно близкой к - букв в секунду. Такой метод кодирования мы будем называть примитивным. Это утверждение, конечно, более слабое, чем требование теоремы, по которому для любого источника с энтропией скорость передачи может быть сколь угодно близкой к

Для общего описания канала связи и построения теории информации используется одна и та же модель. Канал назы­вается д и с к р е т н ы м (непрерывным), если множества Х и Y дискретны (непрерывны), и п о л у н е п р е р ы в н ы м, если одно из множеств дискретно, а другое непрерывно. Ниже рассматриваются только дискретные каналы.

Канал полностью описывается условными вероятностями того, что k-ì принятым символом будет

j k -й символ множества Y (j k = 1, m y ).

Указанную вероятность можно рассматривать как функ­цию , вид которой отражает состояние канала, в частности, характер взаимодействия помехи и сиг­нала. Если

то соответствующий канал называется каналом без памяти. Если вероятность не зависит от k (от времени), то соответствующий канал называется стацио­нарным. Ограничимся рассмотрением только стационар­ных каналов без памяти. Определим скорость передачи информации как предел:

где - средняя взаимная информация между пере­данным и принятым. В случае отсутствия помехH (X /Y )=0, следовательно, R = H (X ). Этот предел в случае канала без памяти равен взаимной информации:

R=I (X,Y )=H (X ) -H (X|Y )=H (Y ) -H (Y|X ) .

Скорость передачи информации R полностью определяется

вероятностями . Поэтому изменять величину R мы можем только за счет изменения вида распре­деления , поскольку - характеристика неуп­равляемого канала. Определим пропускную способность кана­ла С как максимальную по скорость передачи инфор­мации:

.

В случае отсутствия помех

.

Вычисление пропускной способности симметричных каналов

Существует класс каналов, для которых пропускная спо­собность С легко вычисляется. Канал полностью описывается так называемой стохастической матрицей

в которой сумма всех элементов, образующих строку, рвана единице.

Канал называется с и м м е т р и ч н ы м п о в х о д у, если строки матрицы различаются только порядком расстановки некоторого множества чисел

Для симметричных по входу каналов частная условная энтропия

Она не зависит от номера передаваемой буквы и может быть вычислена по любой строке матрицы. Поэтому условная энтропия

Канал называется с и м м е т р и ч н ы м п о в ы х о д у, если столбцы матрицы различаются только порядком расста­новки некоторого множества чисел .

Если распределение источника равномерное

то распределение на выходе симметричного по выходу канала также будет равномерным. При этом энтропииН(Х) и H (Y ) достигают своего максимального значения. В этом легко убедиться, если доказать, что вероятность не за­висит оту j . Представим вероятность в виде

Поскольку

Сумма не зависит от номера столбцаj и в общем

случае не равна единице. Поэтому вероятность также

не зависит от j и равна . При этом

Канал называется симметричным, если он симметричен по входу и выходу. Для симметричного канала H (Y | X ) не зависит от распределения источника сообщений, поэтому пропускная способность

В качестве примера вычислим пропускную способность симметричного канала, который описывается матрицей

где m = m X = m Y . В этом случае

C 1

0,2

0 0,2 0,4 0,6 0,8 1 P e

Рис. 3. Зависимость пропускной

способности ДСК от вероятности ошибки p e

Вероятность 1-p e равна вероятности правильного приема символа. Вероятность ошибки p e равна вероятности приема y j c при условии, что было передано x i . Тогда

Широкое распространение получил двоичный симметрич-ный канал (ДСК) (m =2) , для которого пропускная способность (Рис. 3)

Максимальная скорость передачи информации, равная единице, получается при р е =0 и при р е =1. В этом случае множества Х и Y находятся во взаимно однозначном соответ­ствии, и по принятому у j (j =1, 2) всегда можно определить с вероятностью, равной единице, переданную букву. К сожа­лению, это возможно только тогда, когда априори (до при­ема) известно значение вероятности р е (нуль или единица).

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи; ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).

Существуют различные типы каналов, которые можно классифицировать по различным признакам:

1.По типу линий связи: проводные; кабельные; оптико-волоконные;

линии электропередачи; радиоканалы и т.д.

2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).

3. По помехозащищенности: каналы без помех; с помехами.

Каналы связи характеризуются:

1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов

V к = T к F к D к. (1)

Условие согласования сигнала с каналом:

V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .

2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.

3.

4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).

Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.

Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.

Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.

Проводные:

1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.

2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.

3. Оптико-волоконная. Скорость передачи 1 Гбит/с.

В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).

Радиолинии:

1.Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.

2.Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.

3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.

2. Пропускная способность дискретного канала связи

Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .

Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.

При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле

I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)

где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.

При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)

Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.

Пропускная способность дискретного канала связи

Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .

Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

[бит/с].

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2 t = 500 .

Скорость передачи информации

C = vH = 500 × 1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

(7)

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

. (8)

Первая теорема Шеннона для канала: Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2t = 500 .

Скорость передачи информации

C = vH = 500×1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

При наличии помехи среднее количество информации в принятом символе сообщении – Y, относительно переданного – X равно:

Для символа сообщения X T длительностиT, состоящего из n элементарных символов среднее количество информации в принятом символе сообщении – Y T относительно переданного – X T равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n }