Контрольная работа
По курсу: Теория информациии кодирования
На тему: Энтропия сигналов
1. ЭНТРОПИЯ ОБЪЕДИНЕНИЯ
Объединение — совокупность двух и более ансамблей дискретных, случайныхсобытий. С объединением связаны понятия условной, безусловной, совместной ивзаимной энтропии.
1. Безусловная энтропия — среднее количество информации, приходящееся на один символ (рис. 1). Если Х –передаваемое, а У — принимаемое сообщения, то можно записать следующиесоотношения:/>
H(X) = H(X/Y)+H(X×Y),
H(Y) = H(Y/X)+H(X×Y).
/>X Y X Y
Рис. 1. Безусловная энтропия
2. Условная энтропия — количествоинформации об источнике, когда известно, что принимается Y, или мера количестваинформации в приемнике когда известно, что передается X (рис. 2)./>
H(X/Y) = H(X)-H(X?×Y)
H(Y/X) = H(Y)-H(X?×Y).
X Y X Y
/>
Рис. 2. Условная энтропия
3. Совместная энтропия — среднее количество информации на пару пе-реданных и принятых символов (рис. 3).
H(X,Y) = H(Y,X) = H(X)+H(Y/X)=H(Y)+H(X/Y)= H(X)+H(Y)-H(X×Y).
4. Взаимная энтропия — энтропиясовместного появления статистически-зависимых сообщений (рис. 4).
H(X×?Y)=H(Y×X)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).
X Y
/>
Рис. 3 Совместная энтропия
X Y
/>
Рис. 4. Взаимная энтропия
На практике чаще всего встречаютсявзаимозависимые символы и сообщения. Например, при передаче текстовых сообщенийпередаются не просто буквы, а слова, имеющие определенные смысловые значения.При этом, каждая буква, и сочетание букв имеют различные вероятности появленияв тексте. Условная энтропия учитывает взаимосвязь событий через их условные вероятности.
Рассмотрим схему рис. 5:
/>/>
Приемник
сообщений
Источник
сообщений X Y
Рис. 5. Передача сообщений
Источник сообщений X — вырабатываетсообщения, элементами которого являются символы алфавита источника {x1,x2,...,xm}, вероятности появления на выходе которых равны p(x1), p(x2),..., p(xm) ,при этом:
/>
Энтропия источника представляет собойнеопределенность появления на выходе источника сообщений символа первичногоалфавита и определяется соотношением:
/> ()
Приемник сообщений Y — принимаетсообщения, элементами которого являются символы алфавита приемника {y1,y2,...,ym}, вероятности появления на входе которых равны p(y1), p(y2),...,p(ym), при этом:
/>
Энтропия приемника представляет собойнеопределенность появления на входе приемника сообщений символа после егопоявления на выходе источника и определяется соотношением:
/> (2)
Если в канале связи отсутствуют потериинформации (нет помех, ис-кажений и т. д.), то символу xiсоответствуетсимвол yi . В противном случае xi можетбыть принят как любой из возможных y1 ,y2 ,...,ym, с соответствующими вероятностями.
При отсутствии потерь: H(X) = H(Y).При наличии помех они уничто-жают часть информации. При этом потери информацииможно определить через частные и общую условную энтропию.
Вычисление общей условной энтропии удобнопроизводить с помощью канальных матриц ( матрицей переходных состояний).
Потери информации в канале можно оцениватьсо стороны источника или приемника сообщений.
Рассмотрим порядок определения потерь состороны источника (известен передаваемый сигнал). При этом, условнаявероятность p(yj /xi) означает вероятность того,что при передаче сообщения xi получено сообщение yj.Канальная матрица имеет вид, приведенный в табл. 1.
Таблица 1
/>Y
X
y1 y2 ym
x1
x2
xm
p(y1/x1) p(y2/x1)… p(ym/x1)
p(y1/x2) p(y2/x2)… p(ym/x2)
p(y1/xm) p(y2/xm)… p(ym/xm)
При этом:
/> .
Вероятности, расположенные на диагоналихарактеризует вероятность правильного приема, остальные – ложного, чем онирасположены дальше от диагонали, тем они меньше. При отсутствии помех в каналесвязи элементы матрицы, расположенные по диагонали, равны единице, а все остальныеравны нулю. Канальные матрицы всегда квадратные, т. к. количество передаваемыхсигналов, равно количеству принятых, хотя вероятность прохождения отдельныхсигналов может быть равна нулю.
Потери информации, вызванные действием помех,определяются с помощью условной энтропии. Для равновероятных сигналов на выходеисточника общая условная энтропия вычисляется по формуле:
/>. (3)
Для не равновероятных сигналов на выходеисточника общая условная энтропия вычисляется по формуле:
/> (4)
Частная условная энтропия определяетпотери информации, приходящиеся на долю какого – либо конкретного сигнала(например, потери для сигнала x1)
/>. (5)
При отсутствии помех вероятность полученияправильного сигнала станет безусловной, а условная энтропия будет равна нулю.
Для исследования канала со стороныприемника (известен полученный сигнал) — условная вероятность p(xi/yi) означает вероятность того, что при приеме сообщения yiбыло передано сообщение xi.
Канальная матрица имеет вид, приведенный втабл. 2.
Таблица 2
Y
X
y1 y2 ym
x1
x2
xm
p(x1/y1) p(x1/y2)… p(x1/ym)
p(x2/y1) p(x2/y2)… p(x2/ym)
p(xm/y1) p(xm/y2)… p(xm/ym)
Вероятности расположения на диагоналихарактеризует вероятность правильной передачи, остальные – ложной. Дляравновероятных сигналов на входе приемника общая условная энтропия вычисляетсяпо формуле:
/>. (6)
Для не равновероятных сигналов на входеприемника общая условная энтропия вычисляется по формуле:
/> ( 17)
Частная условная энтропия, определяющаяпотери, приходящиеся на долю сигнала y1, равна:
/>. (8)
Пример 1. Вычислить энтропию источника сообщений, выдающего двасимвола 0 и 1 с вероятностями p(0)=3/4, p()=1/4 и условными вероятностями:p(0/0)=2/3, p(/0)=1/3, p(0/1)=1, p(/1)=0, т. е. после 1 всегда идет 0.
Решение: Для случая взаимозависимых, не равновероятных элементовэнтропия равна:
/>
Пример 2. Определить энтропию источника сообщений, есливероят-ности появлений символов на входе приемника, равны: P(b1)=0,1;P(b2)=0,3; P(b3)=0,4, P(b4)=0,2 а канальнаяматрица имеет вид:
P(a/b)=/>.
Сумма вероятности при одноименныхусловиях равна/>
/>
Решение: Определим энтропию источника
/>.
/>
=0,1×0,99+0,3×0,2+0,4×0=0,105;
/>= 0,1×0,01+0,3×0,98+0,4×0,01+0,×2×0,01=0,301;
/>0,1×0+0,3×0+0,4×0,98+0,2×0,02=0,396;
/>0,1×0+0,3×0+0,4×0,01+0,2×0,97=0,198;
Проверка:
/>0,105+0,301+0,396+0,198=1.
При этом энтропия источника равна:
H(A)=-(0,105×log 0,105+0,301×log 0,301+0,396×log 0,396+0,198×log 0,198)=1,856 бит/симв.
Пример 3. Определить энтропию источника и условную энтропию сообщений,передаваемых по каналу связи, и состоящих из равновероятных символов, есливлияние помех в канале описывается матрицей:
/> .
Решение: Для равновероятных символов в сообщении энтропия источникасообщений равна:
/> бит/симв.
Полная условная энтропия равна:
/>
/>
/>
=/>/>
бит/симв.
Пример 4. Определить энтропию приемника сообщений, если вероятностипоявления символов a1, a2иa3навходе источника сообщений равны P(a1)=0,5; P(a2)=0,3 иP(a3)=0,2, а канальная матрица имеет вид:
/> ,
Решение: Энтропия приемника равна:
/>.
Вероятности появления символов на входеприемника
/>
/>;
/>;
/>.
Проверка:
/>.
При этом:
/>
2. ЭНТРОПИЯ ИСТОЧНИКАНЕПРЕРЫВНЫХ СООБЩЕНИЙ
ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ
Для описания информационных свойствнепрерывного источника (сигнала) используется понятие дифференциальнойэнтропии. Для ее получения воспользуемся формулой для энтропии дискретныхсообщений. В соответствии с графиком функции плотности вероятности (рис. 6.)можно записать p(xi) =/>?. Где p(xi) — вероятность того, чтоx лежит в пределах i-го шага квантования.
/>
f(x)
f(xi)
0 Dx xix
Рис. 6. График функции плотности вероятности
При этом, выражение для энтропии можнопредставить в виде
/> (9)
Переходим к пределу:
/>.
Полная энтропия источника непрерывныхсообщений состоит из двух слагаемых, одно из которых определяется закономраспределения, а второе является постоянной величиной, определяющей шаг квантования,который влияет на точность измерений. Этот член выражения определяет постояннуюсоставляющую и исключается из рассмотрения.
Значение первого слагаемого определяетсязаконом распределения и характеризует дифференциальную энтропию непрерывногоисточника (т. к. f(x) — плотность вероятности или дифференциальный законраспределения)
/>, (20)
Дифференциальная энтропия — часть энтропии источника непрерывных сообщений, котораязависит от плотности вероятности сигнала x(t), выдаваемого источником.
Различные классы физических явлений ипроцессов подчиняются различным законам распределения. Непрерывные сигналыполностью характеризуются законами распределения (интегральным или дифференциальным).На любые реальные сигналы накладываются определенные ограничения, например: посредней мощности (нагрев аппаратуры); по мгновенной или пиковой мощности (перегрузки).
Так как дифференциальная энтропия зависитот плотности вероятности, определим, для какого закона она максимальна. Т. е.при каком распределении вероятности, сигнал заданной мощности имеетмаксимальную энтропию. Для нахождения максимального значения энтропиинеобходимо воспользоваться вариационной теоремой с использованием неопределенныхмножителей Лагранжа при условиях нормировки и неизменности среднего квадрата:
/>; />.
При этом,
/>
Решив уравнения, получим симметричныйнормальный закон распределения
/>. (11)
Если среднюю мощность не ограничивать
/>
то получим равномерный законраспределения.
Определим дифференциальную энтропию длянормального распределения, т. е. сигнала с ограниченной средней мощностью.Полученное в результате решения вариационной задачи нормальное распределениеявляется симметричным. Если в интеграле для дифференциальной энтропии произвестизамену x = y-mx,то интеграл не изменится, азначит, энтропия не зависит от математического ожидания и равна энтропиицентрированной случайной величины.
/>Определим максимальное значение для энтропии:
/>
Дифференциальная энтропия для нормальногораспределения равна:
/> (12)
Полная энтропия для нормальногораспределения равна:
/> . (13)
Если учестьчтоh(x) — этоматематическое ожидание функции [-log2 f(x)] от случайнойвеличины x с плотностью f(x), то можно записать.
/>
В соответствии с центральной предельнойтеоремой нормальным законам распределения подчиняются широкий класс, такназываемых гауссовых случайных процессов или реальных сигналов.
Белый шум — помеха с наиболее''зловредными" свойствами, т. е. передает максимальное количествовредящих сведений при заданной средней мощности и позволяет упростить расчетыдля наихудшего случая.
Для того чтобы сигнал с ограниченнойпиковой мощностью имел максимальную информативность необходимо, чтобы он имелравномерное распределение (рис. 9). Определим дифференциальную энтропию дляравномерного распределения, т. е. сигнала с ограниченной пиковой мощностью.Если P-пиковая мощность, то /> — максимальная амплитуда. Уравнение для дифференциальной энтропии с учетомограничений имеет вид:
/>
Дифференциальная энтропия для равномерногораспределения равна:
/> (14)
/>
Полная энтропия сигнала с равномернымраспределением равна:
/>, (15)
где m-число уровней квантования.
Определим дифференциальную энтропию дляэкспоненциального распределения. Это распределение широко используется дляопределения интенсивности отказов в радиоэлектронной аппаратуре
/>
Полная энтропия для экспоненциальногораспределения равна:
/> . (16)
СписокЛитературы
1. Коганов А. В. Векторные мерысложности, энтропии, информации. “Математика. Компьютер. Образование”. Вып. 7,ч. 2, “Прогресс-Традиция”, М., 2000, с. 540 — 546
2. Яглом А. М., Яглом И. М.Вероятность и информация. М., 1957.
3. Шеннон К. Работы по теорииинформации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
4. Волькенштейн М. В. Энтропия иинформация. — М.: Наука, 1986. — 192 с.
5. Цымбал В. П. Теория информации икодирование. — М.: Выща Школа, 1977. — 288 с.
6. Вероятностные методы ввычислительной технике. /Под ред. А.Н. Лебедева, Е.А.Чернявского. –М.: Высш.шк., 1986.
7. Седов Е.А. Взаимосвязь информации,энергии и физической энтропии в процессах управления и самоорганизации.Информация и управление. М., Наука, 1986.