Информационные модели каналов связи

1. МОДЕЛИ КАНАЛОВ

Для того чтобы описать математически  модель канала, мы, во-первых, определим  множество возможных сигналов на входе канала (или просто входов канала), во-вторых, множество возможных  сигналов на выходе (или выходов канала) и, в-третьих, для каждого сигнала на входе вероятностную меру на множестве сигналов на выходе. Простейший класс моделей каналов образуют дискретные каналы без памяти; они определяются следующим образом. Входом является последовательность букв из конечного алфавита, пусть а₁ ...,а_к, выходом — последовательность букв из того же самого или другого алфавита, скажем b₁ ...,bj. Наконец, каждая буква выходной последовательности зависит статистически только от буквы, стоящей на соответствующей позиции во входной последовательности, и определяется заданной условной вероятностью P(bj\а_к), определенной для всех букв а_к алфавита на входе и всех букв bj алфавита на выходе. Примером может служить двоичный симметричный канал (рисунок),

который представляет собой дискретный канал без памяти с двоичными последовательностями на входе и выходе, в котором каждый символ последовательности на входе с некоторой фиксированной вероятностью 1 —р  воспроизводится на выходе канала правильно и с вероятностью р изменяется шумом на противоположный символ. В общем случае, в дискретном канале без памяти переходные вероятности исчерпывают собой все известные сведения о том, как сигнал на входе, взаимодействуя с шумом, образует сигнал на выходе.  В дальнейшем  будет описано, как дискретные каналы без памяти связаны   с реальными каналами.                                       

   Намного более широкий класс каналов (эти каналы будут называться каналами с памятью) образуют каналы, в которых сигналами на входе снова являются последовательности букв из конечных алфавитов, но в которых каждая буква последовательности на выходе может статистически зависеть не только от соответствующей буквы входной последовательности.

Другой  класс моделей каналов, которые  имеют более непосредственное сходство с физическими каналами, является класс, в котором как множество входных, так и множество выходных сигналов представляют собой множества функций времени и для каждой заданной функции на входе выход — случайный процесс. Частной моделью из этого класса, которая имеет большую теоретическую и практическую важность, является канал с аддитивным белым гауссовым шумом. Множеством сигналов на входе для такой модели является множество функций времени, удовлетворяющих заданному ограничению сверху на мощность, а сигналы на выходе — сумма сигнала на входе и белого гауссо-вого шума. При использовании этой модели для физического канала с затуханием в качестве входа в модели берется, естественно, сигнал на входе физического канала после его затухания в канале.

При передаче двоичных данных по каналу из рассмотренных  выше классов часто бывает удобно разделить как кодер для канала, так и декодер для канала на две части, как показано на рис. 1.3.2. Выходом кодера для дискретного канала на рис. 1.3.2 является последовательность букв из конечного алфавита а₁…а_к. Эти буквы производятся во времени с некоторой фиксированной скоростью (одна буква, например, за каждые т_с секунд). В каждом интервале т_с секунд модулятор дискретных данных (МДД) производит одну функцию из заданного множества функций s₁ (t),…s_K (t), определенных на интервале длины т_с. Какая именно из этих функций будет произведена, определяется буквой, поступающей на МДД в течение этого интервала: так, а₁ приводит к      s₁(t),а а₂ приводит к s₂(t) и т.д.

  Таким  образом, вся функция на входе  канала имеет вид                                                                                                                   

где последовательность i_n,n = —1, 0, 1, определяется соответствующими символами на входе МДД.

Демодулятор дискретных данных (ДДД) принимает поступающие  из канала функции и преобразует  их в последовательности букв конечного  алфавита, b_1…. bj, производя буквы вновь со скоростью одна буква за каждые т_с секунд. В простейшем случае каждая буква, выходящая из ДДД, является решением (возможно, что неправильным) о том, какая буква поступила на МДД в соответствующем временном интервале, и в этом случае алфавит b_1…bj будет совпадать с алфавитом на входе МДД. В более сложных случаях выход ДДД будет также содержать информацию о том, насколько правдоподобно решение; в этих случаях выходной алфавит ДДД будет больше, чем входной алфавит МДД.

    Как можно заметить из рис 1.3.2, совокупность МДД, канала, по которому передаются непрерывные сигналы, и ДДД может быть рассмотрена как дискретный канал; именно поэтому дискретные каналы играют большую роль при моделировании физических каналов. Если шум на последовательных интервалах по т_с секунд является независимым, что имеет место в случае аддитивного белого гауссового шума, то описанный выше дискретный канал является также каналом без памяти.

     Рассматривая кодирование и декодирование для класса дискретных каналов, мы, во-первых, получим некоторые результаты, касающиеся кодера и декодера для дискретного канала, входящего в систему, изображенную на рис. 1.3.2, и, во-вторых, сможем использовать эти результаты для того, чтобы в какой-то степени понять, как можно построить МДД и ДДД в такой системе.

     Одним из наиболее важных параметров канала является его пропускная способность. Пропускная способность определяется с помощью информационной меры, подобной той, которая была использована при рассмотрении источников, и пропускная способность интерпретируется как максимальное среднее количество информации (в битах в секунду), которое может быть передано по каналу. Оказывается, что пропускная способность недискретного канала может быть сколь угодно точно приближена пропускной способностью дискретного канала, который получается из исходного недискретного канала при соответствующем выборе модулятора дискретных данных и демодулятора дискретных данных.

     Важность понятия пропускной способности канала основана прежде всего на теореме кодирования для канала с шумами и ее обращении. Грубо говоря, эта теорема кодирования, справедливая для широкого класса каналов, утверждает, что если пропускная способность канала равна С бит в секунду и если двоичные данные поступают на вход кодера этого канала (см.рис) со скоростью (в двоичных символах в секунду) R < С, то с помощью соответствующим образом построенных кодера и декодера можно воспроизводить двоичные символы на выходе декодера со сколь угодно малой вероятностью ошибки. Этот результат точно сформулирован и доказан в гл. 5 для дискретного канала и в гл. 7 и 8 для недискретных каналов. Далеко идущее значение этой теоремы будет обсуждаться ниже в этом параграфе, однако до гл. 5 на интуитивном уровне можно сказать не так уж много. Если объединить этот результат с теоремой кодирования для источников, которая была указана в предыдущем параграфе, то найдем, что если дискретный источник имеет энтропию (в битах в секунду) меньшую, чем С, то выход источника может быть воспроизведен на приемном конце с произвольно малой вероятностью ошибки с помощью использования соответствующего кодирования и декодирования. Аналогично для недискретного источника, если R является минимальным числом двоичных символов в секунду, требующихся, чтобы воспроизвести выход источника с данным уровнем среднего искажения, и если R < С, то выход источника может быть передан по каналу и воспроизведен с этим уровнем искажения.

В не очень  строгой формулировке она утверждает, что если энтропия дискретного источника в битах в секунду больше, чем С, то независимо от кодирования и декодирования, использованных при передаче выхода источника по каналу, вероятность ошибки при воспроизведении выхода источника на приемном конце не может быть меньше, чем некоторое положительное число, которое зависит от источника и от С. Если R является минимальным числом двоичных символов в секунду, требуемых для воспроизведения источника с заданным уровнем среднего искажения, и если R> С, то независимо от кодирования и декодирования выход источника не может быть передан по каналу и воспроизведен с этим заданным уровнем среднего искажения.

Наиболее  удивительным и важным среди указанных  выше результатов является теорема кодирования для канала с шумами, которую мы обсудим сейчас более детально. Предположим, что требуется передать данные по дискретному каналу и что по каналу передается одна входная буква за каждые т_с секунд. Предположим также, что двоичные данные поступают на кодер для канала со скоростью R двоичных символов в секунду. Рассмотрим частный вид кодеров для канала, которые называются блоковыми кодерами; блоковый кодер работает следующим образом. Кодер накапливает двоичные символы на входе кодера в течение некоторого фиксированного интервала Т секунд, где Т является конструктивным параметром кодера. Во время этого интервала TR двоичных символов поступают на кодер (для простоты мы пренебрегаем здесь тем, что TR может не быть целым числом). Кодер можно представить себе как устройство, которое имеет список всех 2^TR возможных последовательностей TR двоичных символов и сопоставленного каждой из этих последовательностей кодового слова, состоящего из последовательности N = т/т_с букв на входе канала. При получении некоторой отдельной последовательности TR двоичных символов кодер отыскивает эту последовательность в списке и передает по каналу соответствующее кодовое слово из списка. Требуется Т секунд, чтобы передать N— буквенное кодовое слово по каналу, и за это время другая последовательность TR двоичных символов поступит на кодер и начнется передача следующего кодового слова. Простой пример такого кодера представлен на рис. 1.3.3. В этом примере, когда двоичная последовательность ООП... поступает на кодер, то 00 является входом кодера на первом интервале в Т секунд, и в конце этого интервала формируется кодовое слово а1а1а1 и передается за интервал времени в Т секунд. Аналогично 11 является входом кодера на втором интервале времени в Т секунд, и a1a₂a₃—соответствующим кодовым словом, передаваемым в течение третьего интервала времени.

      Декодер для такого блокового кодера работает аналогичным образом. Декодер накапливает N принятых символов, поступающих из канала и соответствующих переданному кодовому слову, и строит решения (возможно неправильные) относительно соответствующих TR двоичных символов, которые поступили на кодер. Можно считать, что эта процедура решения выполняется декодером с помощью списка всех возможных принимаемых последовательностей из N символов и соответствующей каждой из этих последовательностей последовательности из TR двоичных символов.

      Для данного дискретного канала и данной скорости R (в двоичных символах в секунду) поступления символов на кодер имеется свобода в выборе, во-первых, Т (или, что эквивалентно, свободе в выборе N = т/т_с), во-вторых, множества 2^ТR кодовых слов и, в-третьих, правила решения. Вероятность ошибки в декодированных двоичных данных, сложность системы и задержка при декодировании зависят от этих выборов. Для широкого класса каналов можно выбрать 2^TR кодовых слов и правило решения таким образом, что

Функция Е (R) является функцией R (числа двоичных символов в секунду, поступающих на кодер) и зависит от модели канала, но не зависит от Т. Показывается, что Е (R) убывает с ростом R,

но остается положительной при всех R меньших, чем пропускная способность (рис. 1.3.4). Оказывается, что приведенная выше граница для Р_е является довольно точной, и не является нецелесообразным рассмотрение ехр [—ТЕ (R)] в качестве оценки минимальной вероятности ошибки (по всем выборам 2^TR- кодовых слов и всем правилам решения), которая может быть достигнута при использовании блокового кодера с заданным временем Т. Таким образом, чтобы сделать Р_е малой, необходимо выбрать Т большим, и чем R ближе к С, тем больше должно быть Т.

Трудно  дать простые утверждения, касающиеся сложности и вероятности ошибки кодеров и декодеров. Однако, грубо говоря, не трудно заметить, что сложность увеличивается с ростом времени Т (для наилучших способов, приближенно линейно с Т), что Р_е убывает с ростом T при фиксированной R и что Т должно возрастать вместе с ростом R для достижения фиксированного значения Р _е. Следовательно, грубо говоря, имеется обменное соотношение между сложностью, скоростью и вероятностью ошибки. Чем ближе R к пропускной способности и чем меньше Р_е , тем требуется большая сложность кодера и декодера.

                                 2. Дискретный канал без памяти

   Рассмотрим  дискретный канал без памяти (ДКБП), входной алфавит которого X состоит из К целых чисел 0, 1, ..., К — 1 и выходной алфавит которого Y состоит из J целых чисел 0, 1, ..., J — 1. Использование целых чисел в качестве входных и выходных букв

упрощает  обозначения в некоторых последующих  рассмотрениях, а также вновь  подчеркивает то обстоятельство, что обозначения, принятые для входных и выходных букв, ни на что не влияют.

   Канал описывается переходными вероятностями  P(j\k), заданными для 0≤j≤J—1 и 0 ≤k≤K— 1. По определению, Р (j | k) является условной вероятностью приема целого числа j при условии, что задан вход канала — целое число к.

   Обозначим последовательность N букв на входе канала через х = (x1, ..., х_п, ..., хN), где х_п, 1≤n≤N,принимают значения из входного алфавита,   т. е. значения от 0 до К — 1. Аналогично, соответствующие последовательности выходных букв обозначим через y= (у 1, •••, yN),где yп принимают значения из выходного алфавита, т. е. значения от 0 до J — 1. Вероятность у_п при условии, что задано х_п, задается описанной выше переходной вероятностью Р (у_п \х_п).