Энтропия.Скорость передачи информации

Page 1

1
РТФ
ТЭС
Энтропия. Скорость передачи
информации
Доцент кафедры радиотехнических систем, к.т.н.
Александр Самуилович Бернгардт

---

Page 2

2
ИСТОЧНИКИ
1. Теория и техника передачи информации : учебное пособие /
Ю.П.Акулиничев, А. С. Бернгардт. — Томск: Эль Контент, 2012. —
210 с.
2.
Акулиничев Ю.П., Дроздова В.И. Сборник задач по теории
информации. – Томск: ТГУ, 1976. – 146 с.
3. Гаранин М.В., Журавлев В.И., Кунегин С.В. Системы и сети
передачи информации: Учеб. пособие для вузов. – М.: Радио и
связь, 2001. – 336 с.
4. Современные технологии цифровых оптоволоконных сетей
связи (ATM, PDH, SDH, SONET и WDM): производственно-
практическое издание/ Николай Николаевич Слепов. - М.: Радио и
связь, 2000.
5. Сальников А.П. Теория электрической связи: Конспект
лекций, часть 1/ СПбГУТ. –СПб., 2002. –93 с.: ил.
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 3

3
Схема цифровой системы передачи непрерывных сообщений
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Источник
непре-
рывных
сообщений
Кодер
источника
Кодер
канала
Модуля-
тор
Линия
связи
(среда)
Демоду-
лятор
Декодер
канала
Декодер
источника
Получатель
S(t)
Ŝ (t)
Кодек
источника
Кодек
канала
Модем
m(t)
Аналого-
цифровое
Преобразо-
вание
Цифро-
аналоговое
Преобразо-
вание
Исходный цифровой
(двоичный) поток
Принятый цифровой
(двоичный) поток
m(t)
Форматиро-
вание
КОДИРОВАНИЕ ИСТОЧНИКА

---

Page 4

4
Количество информации, получаемой наблюдателем при
появлении значения
x
J
,
Клод Шеннон предложил определять по
формуле
)
(
log
)
(
j
a
j
x
p
x
I


и назвал эту величину собственной информацией символа x
J.
Свойства собственной информации:
I x
j
 
0

1)
0 , причем знак равенства имеет место лишь
в ситуации, когда Х – детерминированный сигнал, т.е.
, следовательно, любые другие состояния сигнала
невозможны.
p x
1
 
1
m
1


2) величина собственной информации тем больше,
чем менее вероятно данное состояние;
Собственная информация
Теория информации
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 5

5
Последнее обстоятельство позволяет саму величину
считать одним из возможных значений некоторой дискретной
случайной величины, имеющей ряд распределения:
I
j
I x
j
 
I
j
I
1
I
2
…
I
m
p x
1
 
p x
2
 
p x
j
 
p x
1
 
p x
2
 
p x
m
 
…
3)cобственная информация I(x) случайна,
поскольку заранее неизвестно, какое именно значение
появится на выходе источника.
x
j
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Теория информации
Если а=2, количество
информации измеряется в битах,
1 нат. ед.=log
2
e бит1,443 бит,
1 дес. ед.=log
2
10 бит3,32 бит.

---

Page 6

6
Энтропия
H X() M logP X()
(
)
P x
j
 

logP x
j
 







Математическое ожидание случайной величины «собственная
информация» равно:
и называется энтропией сигнала Х.
Размерность энтропии H(x) – бит/символ
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Теория информации

---

Page 7

7
Собственная информация и избыточность (цифровые сигналы)
Х - это m-ичный символ, а х
1
,x
2
,…,x
m
- его возможные значения
.
x
j
x
1
x
2
…
x
m
p(x
j
) p(x
1
) p(x
2
)
…
p(x
m
)
I(x
j
)= -log
a
p(x
j
) –
собственная информация
символа х
j
.
1 нат. ед.=log2e бит1,443 бит,
1 дес. ед.=log210 бит3,32 бит.
,
x
j
=
j
0
90 180 270
p(x
j
) 0,10 0,60 0,18 0,12
I(x
j
) 3,32 0,74 2,47 3,06


1
( ) M log ( )
( )log ( )
m
j
j
j
H X
p X
p x
p x

 


- энтропия сигнала Х.
H(X)=-0,1log0,1-0,6log0,6-0,18log0,18-0,12log0,12= 1,587 бит.
H(x)

Hmax = logm
Пример:
Пример:
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Теория информации

---

Page 8

8
Энтропия
Свойства энтропии
1. H(X) -неслучайная величина;
2. 0 ≤ H(X) ≤
∞
и H(X) = 0, если источник детерминированный
Эти два свойства показывают, что энтропия, в дополнение
к своему основному назначению (среднее количество
собственной информации в символе Х) может использоваться как
мера неопределенности
исхода опыта над случайном
объектом Х.
Энтропия Н(Х) – детерминированная величина, поэтому
ее удобнее применять для описания информационного
содержания сигналов.
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Теория информации

---

Page 9

9
3) Зависимость энтропии от распределения вероятностей
сообщения
Для двоичного источника (m=2) энтропия определяется выражением
H[x] = -[p*log(p)+(1-p)*log(1-p)]
и достигает максимального значения при P=1/2.
В общем случае m-ичногоисточника максимальная энтропия
H
max
=log
2
m
и это достигается при P
i
=1/m, i=(1,m)- если распределение
равномерное. В этом случае 0≤H[x]≤ log m
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 10

10
 
 
 
1
2
,
,...,
,
n
X X
X

X
- последовательность длины n,
состоящая из m-ичных символов
n
N m

   
 
   
 
1
2
1
2
( , ,...,
) log ( , ,...,
)
n
n
i
j
k
i
j
k
I x x
x
p x x
x

Собственная информация и избыточность (цифровые сигналы)
 
 
 
 
 
 
 
 
 
1
2
1
2
1
2
1
1
1
( )
(
,
,...,
)
...
( ,
,...,
)log ( ,
,...,
).
n
m m
m
n
n
i
j
k
i
j
k
i
j
k
H
H X X
X
p x x
x
p x x
x






 
X
 
 
 
 
 
 
 
1
2
1
1
2
1
( )
( )
(
/
) ...
(
/
,
,...,
).
n
n
H
H X
H X X
H X X X
X



 
X
max
max
( )
log
log
,
n
H
H
N n
m nH




X
Избыточность сигнала
max
1
( )
n
R
H
H
  X
min
1
/ ,
r
R
L
L L L
 

Число возможных
реализаций
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
Теория информации

---

Page 11

11
УСЛОВНАЯ ЭНТРОПИЯ, УДЕЛЬНАЯ ЭНТРОПИЯ
Если n=2 , тогда H(X,Y) = [бит/слово из 2 букв],
Н(X/Y) –условная энтропия. Несложно убедиться, что
H(X,Y) = H(X)+H(Y/X)= H(Y)+ Н(X/Y)
Н(X/Y)≤ H(X) , следовательно,
Н(X,Y)≤ H(X) + H(Y).
H(X
n
)= [бит/слово из n букв]
H
уд
=H
1
=H(X
n
)/n [бит/букву] – удельная энтропия
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 12

12
Взаимная информация
Количество информации, извлекаемой получателем из принятого
сигнала y
k
, когда в действительности передавалось сообщение x
j
( / )
( ; )
( )
( / ) log
.
( )



j
k
j
k
j
j
k
j
p x y
I x y
I x
I x y
p x
( / )
( / )
( , )
( ; ) ( ; ) log
log
log
( )
( )
( ) ( )




j
k
k
j
j
k
j
k
k
j
j
k
j
k
p x y
p y x
p x y
I x y
I y x
p x
p y
p x p y
Свойство симметрии:
( ; )
( )
( ),


j
j
j
j
I x y
I x
I y
В канале без помех
1
1
( ; )
[ ( ; )]
( , ) ( ; )





m m
j
k
j
k
j
k
I X Y
M I x y
p x y I x y


( ; )
( )
/
( )
( / )




I X Y
H X
H X Y
H Y
H Y X
Средняя взаимная информация между X и Y
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 13

13
Средняя взаимная информация определяет скорость
передачи информации по каналу
)
;(
)
;
(
X
Y
I
Y
X
I

)
(
)(
)
(
)
/
(
)(
)
/
(
)
(
XY
H
Y
H
X
H
X
Y
H
Y
H
Y
X
H
X
H






Свойства
1.
2.
3. Если канал без помех, то тогда Y=X, следовательно
)(
);
(
)(
);
(
Y
H
YY
I
X
H
X
XI


4. Если Х,Y – независимы, тогда
,
)
(
)
/
(
k
i
k
y
p
x
y
p

0
);
(

YX
I
5.
)
(
)
;
(
0
X
H
Y
X
I


Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 14

14
H(X) - энтропия или скорость создания информации
H(X/Y) - условная энтропия , скорость потери информации
(Ненадежность канала)
H(Y) - энтропия на выходе
H(Y/X) - cкорость создания ложной информации
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ
I(X;Y) –
скорость
передачи информации по каналу

---

Page 15

15
Пропускная способность m-ичного канала без помех
I(x;y)=I(x;x)=H[x]
С=max H[x]=log
2
m [бит/символ]
Что пришло на вход, получим на выходе
Источник
Канал
x
1
x
2
y
1
y
2
y=k*x
Это максимально возможная в этом канале скорость
передачи информации (бит/символ или бит/с) при заданных
ограничениях на значения ряда его физических параметров.
ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА
max ( ; ).

C
I X Y
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 16

16
ПРОПУСКНАЯ СПОСОБНОСТЬ ЦИФРОВОГО КАНАЛА
Пропускная способность двоичного симметричного канала
с ошибками (помехами)
o
o
o
Переходные вероятности
двоичного симметричного
канала
x
1
=0
o
x
2
=1
1-p
p
1-p
p
y
2
=1
y
1
=0
бит
1
log
(1
) log(1
),
.
дв.симв
  
  

C
p
p
p
p
0
0,2
0,4
0,6
0,8
1
0
0,5
1
p
C, бит/симв
Пропускная
способность двоичного
симметричного канала.
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 17

17
Пропускная способность симметричного m-ичного
канала с помехами
Источник
Канал
P
X
Y
x
1
x
m
y
1
y
m
Оптимальное распределение – Равномерное.
При таком распределении Энтропия – максимальна.
P
áèò
C logm Plog
(1- P)log(1- P) [
]
m-1
ñèì âî ë



Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 18

18
Предполагается, что:
1) параметры источника информации постоянны
во времени;
2) линия передачи обладает заданной полосой
пропускания f и ее параметры также
постоянны;
3) единственной помехой на входе приемника
является аддитивный белый гауссовский шум
со спектральной плотностью No Вт/Гц;
4) Pс и Pш - средние мощности полезного сигнала
и шума,
Р
ш
= N
0
*f ;
ПРОПУСКНАЯ СПОСОБНОСТЬ НЕПРЕРЫВНОГО КАНАЛА С ШУМОМ
(ФОРМУЛА ШЕННОНА).
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 19

19
Пропускная способность непрерывного канала с шумом


log 1
/
,
/
.,
C
Ш
C
f
P P
бит сек
 

где P
ш
=N
o
f.
н
c
o
/ ,
f
P N
 
- нормирующая величина
0
0,5
1
1,5
0
1
2
3
4
f/f
н
C/f
н
Пропускная способность
непрерывного канала с белым шумом
1,44
Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 20

Доцент кафедры радиотехнических систем А.С. Бернгардт, Тусур, РТФ

---

Page 21

21
Доцент кафедры радиотехнических систем А.С. Бернгардт, ТУСУР, РТФ,каф. РТС