Информационные модели каналов связи

   В силу того, что канал является каналом  без памяти, каждая выходная буква  в последовательности зависит только от соответствующей входной буквы и условная вероятность выходной последовательности у = (у₁ ..., уN) при условии, что задана входная последовательность х = (x1 ..., x_N), определяется равенством

 

Более формально это можно выразить следующим образом: канал является каналом без памяти, если существуют такие переходные вероятности Р (j\k), что (4.2.1) справедливо для всех N, всех у = (у₁ ..., y_N) и всех х = (х₁ ..., x_N).

   

Рис. 4.2.1. Переходные вероятности в двоичном симметричном канале. (Здесь и на некоторых последующих рисунках в десятичных дробях, целая часть которых равна нулю, нуль опускается.)

   Для примера использования указанных  выше обозначений рассмотрим двоичный симметричный канал, изображенный на рис. 4.2.1. Переходные вероятности для  рис. 4.2.1 задаются следующим образом: Р (0|0)=0,9  Р(1|0)=0,1, Р(0| 1)=0,1, Р(1|1)= 0,9  .

   Для последовательностей длины 2 равенство (4.2.1) дает: Р2(00|00) = (0,9) • (0,9) = 0,81, Р₂ (10 | 00) = (0,1) • (0,9) = 0,09 и т. д. Вероятность Р₂(00|00) обозначает вероятность приема двух нулей при условии, что были переданы два нуля.

   Отметим, что при описании канала ничего не было сказано о методе использования символов на входе канала. Если задать вероятностную меру на входных целых числах, обозначая через вероятность использования числа , то средняя взаимная информация между входом и выходом равна

   Вероятность приема числа   j была выписана в виде  

чтобы подчеркнуть, что она является функцией как распределения на входе, так  и переходных вероятностей канала.

   Так как относительные частоты букв на входе канала могут быть соответствующим  образом выбраны с помощью  кодера, то не должно быть удивительным то, что максимум I(X; Y) по входным вероятностям является величиной, которая имеет теоретико-информационный смысл. Пропускной способностью С дискретного канала без памяти (ДКБП) называется наибольшая средняя взаимная информация I (Х; Y), которая может быть передана по каналу при его однократном использовании, максимизированная по всем распределениям на входе:

     

Отметим, что в то время как I (Х; Y) является функцией как канала, так и распределения на входе, С является функцией только канала. Вычисление С включает в себя максимизацию по К переменным с двумя ограничениями: одно в виде неравенства ≥ 0 и другое в виде равенства = 1. Максимальное значение существует в силу того, что функция является непрерывной и максимизация производится в замкнутой ограниченной области векторного пространства.

Основополагающее  значение пропускной способности для  ДКБП обосновывается теоремой кодирования, которая утверждает, что данные могут  быть надежно переданы по каналу с  любой скоростью , меньшей пропускной способности. Заметим, что поразительным в теореме кодирования является слово «надежно». То, что информация может быть передана со скоростью, равной пропускной способности, является очевидным, так как для этого нужно лишь просто выбрать соответствующее распределение на входе. Пропускная способность может быть интерпретирована как максимальная средняя взаимная информация на букву, которая может быть передана для последовательности входов и выходов. Далее будет доказано обращение теоремы кодирования, т. е. что надежная передача невозможна для скоростей источника, превосходящих пропуск

3.Дискретные каналы с памятью.

Для дискретного  канала с памятью каждая буква  выходной последовательности статистически зависит как от соответствующего входа, так и от прошлых входов и выходов (здесь и в дальнейшем предполагается, что канал является каналом без предвосхищения, т. е. при заданном текущем входе и заданных входах и выходах в прошлом текущий выход статистически не зависит от будущих входов). Без потери общности последовательность входов и выходов вплоть до заданного момента может быть рассмотрена как состояние канала в этот момент. В этих понятиях статистическое поведение канала описывается совместной вероятностной мерой на выходной букве и состоянии в заданный момент при условии, что заданы текущая входная буква и предыдущее состояние.

   При построении математической модели физических каналов с памятью часто желательно рассматривать в качестве памяти канала некоторые имеющие физический смысл параметры (такие, как уровень замирания в линии передачи с медленными замираниями). В этих случаях канал продолжает описываться вероятностной мерой на выходе и состоянии при условии, что заданы вход и предыдущее состояние, но состояние, возможно, не определяется предыдущими входами и выходами.

    Для простоты исследования здесь будут  рассмотрены только каналы с дискретным конечным множеством состояний, т. е. каналы с конечным множеством возможных  состояний, вероятности которых  не зависят от времени. Точнее, дискретный канал с конечным множеством состояний имеет на входе последовательность х = ..., х-1 ,x₀, x₁ ..., на выходе последовательность y = ...,y-1,y0,y₁ ... и последовательность состояний s = ..., s-j, s₀, si, ... Входные буквы x_n принимают значения из алфавита {0, 1, ..., К— 1}, выходные буквы у_п принимают значения из алфавита {0, 1, ..., J — 1}, а состояния s_n — значения из множества {0, 1, ..., А — 1}. Статистически канал описывается условной вероятностью Р (у_п, s_n|x_n, s_n-1). Эта вероятность не зависит от п, и Р можно рассматривать просто как функцию четырех переменных, каждая из которых принимает целочисленные значения0 ≤y_n≤J-1,0≤sn≤A-1, 0≤ sn-1≤A-1,0≤xn≤K-1. Будем считать, что при условии, что заданы х_п и s_n-1пара у_п, s_n статистически независима от всех выходов, входов и состояний, предшествующих у_п, х_п и s_n_i соответственно.

Последующие примеры являются частными случаями каналов с конечным числом состояний (ККЧС), в которых имеется статистическая независимость между у_п и s_n, при условии, что заданы х_п и s-i, т. е. Р (y_n,s_n|x_n,s_n-1) = Р (y_n|x_n,s_n-1) q(s_n |х_п, s-i). Можно представить q с помощью графа, а Р с помощью обычных диаграмм, как это показано на рис. 4.6.1 и 4.6.2. На графах состояния изображены с помощью маленьких кружков. Направленные ребра обозначают переходы из одного состояния в другое; число на каждом ребре указывает вероятность перехода. Если вероятность перехода зависит от х_п, то значение х_п, соответствующее этой вероятности, дано в круглых скобках. Например, самое верхнее ребро на рис. 4.6.1 представляет переход из состояния 0 в состояние 1. Число, написанное на ребре, , является условной вероятностью перехода в состояние 1 при условии того, что задано предыдущее состояние 0 и задана 0 или 1 как текущая входная буква, т. е. q (sn |х_п, s_n-1)=  приsn-1=0, s_n = 1. Подобно этому самое верхнее ребро на рис. 4.6.2 указывает, что для этого ККЧС q (s_n|x_n, s_n-i) = 1 при s_n = 1, sn-i = 0, x_n = 1.

   Kанал можно представить себе как ДСК с зависящей от времени вероятностью ошибки, которая попеременно принимает значения и 0,3. Последовательность состояний, которая определяет эту вероят-

ность ошибки, является цепью Маркова. Эта модель не является полностью удовлетворительной моделью двоичной передачи данных по линии связи с замираниями отчасти в связи с тем, что ее, как не удивительно, трудно изучать, а отчасти потому, что каждый реальный канал оказывается требует отличную модель с конечным числом состояний (обычно с более чем двумя состояниями). 

   

   Канал, изображенный на рис. 4.6.2, является простой  моделью канала с межсимвольной  интерференцией. Можно заметить, что  значение состояния, принимаемое в какой-либо момент времени, совпадает со входом в этот момент. Таким образом, Р (у_n | х_n, sn-i) в этом случае дает вероятность текущего выхода при условии, что заданы текущий и предыдущий входы. Вероятность ошибки больше, когда х_п≠х_п-1 чем, когда х_п=х_п-1. Подсчитывая вероятность выхода при заданном текущем входе, находим, Р (у_п |х_п)=Q(0) Р (уn|х_п, 0) +Q (l) Р (уп|х_п, I), где Q — распределение вероятностей для x_n-i. Важно отметить, что Р (у_п|х_п) зависит от распределения на входе канала и, таким образом, не определяется полностью только каналом. Это вообще характерно для любого канала с конечным числом состояний, в котором последовательность состояний статистически зависит от входной последовательности.

Будем называть каналы, такие, как на рис. 4.6.1, каналами без межсимвольной  интерференции, а каналы, такие, как  на рис. 4.6.2, каналами, в которых имеется только память, связанная с межсимвольной интерференцией. В первом случае память возникает лишь из-за шума, а во втором случае — только из-за предыдущих входов. В общем ККЧС, конечно, присутствуют оба эффекта.

   . 

           4.Дискретные по времени каналы без памяти

   Дискретный  по времени канал без памяти задается произвольным входным пространством X, произвольным выходным пространством Y, и для каждого элемента X входного пространства условной вероятностной мерой на выходе Ру|х. Входом канала является последовательность букв входного пространства, выходом — последовательность букв выходного пространства и каждая выходная буква зависит вероятностно только от соответствующей входной буквы; эта зависимость задается вероятностной мерой Ру|х.

     Развиваемый здесь общий подход к изучению таких каналов состоит в том, чтобы ограничиться использованием конечного букв входного алфавита, скажем а1, а2 аk, и разбиением выходного

Пространства  на конечное множество непересекающихся событий, скажем В1 ..., Bj, объединение которых образует все выходное пространство. Тогда в принципе можно построить квантующее устройство, для которого входом в каждый момент времени является выход канала у, а выходом — событие Bj, содержащее у. Канал и квантующее устройство в совокупности образуют дискретный канал без памяти с переходными вероятностями PY|x (Bj|ak). Изучение первоначального канала будет основано на рассмотрении поведения всех таким образом полученных дискретных каналов без памяти. Такой подход имеет преимущество в том, что он тесно связан со способами физического использования канала и в легкости аналитического исследования.

   При изучении таких каналов возникает  новая проблема, связанная с ограничениями на входы канала. Рассмотрим канал, в котором выход канала образован суммой входа и независимой гауссовой случайной величины

 

Если  вход—гауссовская случайная величина с дисперсией Е то

 

При Е  произвольно большом количество информации I (Х|Y) становится сколь угодно большим и, выбирая сколь угодно большое множество входов, разнесенных сколь угодно далеко по амплитуде, видим, что, по существу, без кодирования может быть достигнута произвольно высокая скорость передачи при произвольно малой вероятности ошибки. Однако если рассмотреть эти входы как выборки переданных непрерывных сигналов, то можно заметить, что этот результат получается при использовании сколь угодно большой мощности. Для этого канала и для обширного класса каналов, связанных с этим примером, мы можем получить физически важные и математически интересные результаты, если зададим ограничения на входы канала. Простейшим при нашем подходе типом ограничений, накладываемых на вход канала, является ограничение на амплитуду: входной алфавит просто ограничен значениями х, меньшими или равными некоторому фиксированному числу А. Если входное пространство определено как интервал от — А до + А, то это ограничение можно не учитывать. Более общий и важный тип ограничения — ограничение на энергию. Cущность его состоит в том, что вход канала должен иметь среднеквадратическое значение, не большее некоторого фиксированного числа E. Этот тип ограничений касается не входного пространства, а относительных частот, с которыми различные входы могут быть использованы. Ограничение на энергию является естественным при представлении непрерывного по времени канала в виде параллельного соединения каналов с дискретным временем.

   В следующих параграфах сначала будет  проведено исследование каналов  без ограничений (или при наличии  амплитудных ограничений) на входы, затем каналов с ограничениями на входы и затем изучено несколько примеров, в том числе важный пример канала с аддитивным гауссовым шумом.

         5.ОТСУТСТВИЕ ОГРАНИЧЕНИЙ НА ВХОДЕ

   Как было показано, если ограничиться конечным множеством букв на входе и произвести разбиения на выходе, то общий дискретный по времени канал без памяти можно использовать как дискретный канал без памяти. Таким образом, любая вероятность ошибки, которая может быть достигнута с помощью кодирования в любом таком дискретном канале без памяти, может быть достигнута и в общем канале при использовании его как соответствующего дискретного канала.

   Для заданного дискретного по времени  канала без памяти пусть Xd — конечное множество входных букв канала (а1 ..., аk) с вероятностями Q (а1), ..., Q (аk). Пусть Yp— разбиение выходов канала на события В1 ..., Bj. Совместный ансамбль XdYp имеет совместное           распределение вероятностей Q (ак) PY|X (Bj | ak) и среднюю взаимную информацию (в натуральных единицах)

 Определим функцию E0 (p, Xd, Yp) с помощью равенства

    
 
    

   

   Cуществует блоковый код длины N с М= кодовыми словами, для которого при переходных вероятностях канала PY|х (Bj | ak) вероятность ошибки удовлетворяет неравенству для всех р, 0≤р≤1. Это приводит нас к определению показателя экспоненты случайного кодирования для данного дискретного по времени канала без памяти

Верхняя грань берется по всем конечным выборам входных букв, всем распределениям вероятностей входных букв, всем разбиениям выходного пространства и всем р, 0≤p≤l. Аналогично определяется пропускная способность канала (в натуральных единицах):

где верхняя грань определяется как и выше. 
 

6. ОГРАНИЧЕНИЯ НА ВХОДЕ

   Мы определили ограничение на энергию, как ограничение на среднеквадратическое значение входных сигналов. Здесь рассматривается несколько более общая задача. Пусть X — входное пространство дискретного по времени канала без памяти и пусть f (х) — действительная функция, определенная на входных буквах. Ограничение при использовании канала сводится к тому, что математическое ожидание f(х) меньше или равно некоторому фиксированному значению E. Если X—множество действительных чисел и f(x)=, то получается описанное выше ограничение на энергию. В более общем случае, например, X может быть классом функций х (t), а f(х) может быть dt или любым другим функционалом от x(t).