Федеральное агентство по образованию
Государственное образовательное учреждение высшегопрофессионального образования
«ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
Кафедра «Информационная безопасность систем итехнологий»
УТВЕРЖДАЮ
Зав. кафедрой ИБСТ
______________ С.Л. Зефиров
ОТЧЕТ
О КУРСОВОМ ПРОЕКТЕ
«Расчет информационных характеристик источниковсообщений, сигналов и каналов».
Руководитель КП
Н.А.Егорова
Исполнитель КП
П.А. Пивоваров
Нормоконтролер
Т.В. Щербакова
Пенза, 2007
Реферат
Пояснительная записка 27с., 8 рис., 1 табл.
СИГНАЛ, КАНАЛ, ЭНТРОПИЯ, СООБЩЕНИЕ,АНСАМБЛЬ, ИЗБЫТОЧНОСТЬ, КВАНТОВАНИЕ, ДИСКРЕТИЗАЦИЯ, ИНФОРМАЦИЯ.
Объектом исследования являются источникисообщений, сигналы и каналы, рассматриваемые с позиции теории информации.
Цель работы – получение навыков расчётаинформационных характеристик источников дискретных сообщений и дискретногоканала, изучение процессов согласования дискретного источника с дискретнымканалом, дискретизации и квантования.
В процессе работы проводилось изучениенеобходимого теоретического материала и решение задач в соответствии с пунктамизадания.
В результате выполнения работы были решенывсе задачи в соответствии с вариантом задания, получены навыки расчётаинформационных характеристик источников дискретных сообщений и дискретногоканала, изучены процессы согласования дискретного источника с дискретнымканалом, дискретизации и квантования.
Значимость работы – ещё раз подтверждаетслова К. Шеннона, «что с информацией можно обращаться почти так же, как стакими физическими величинами, как масса или энергия».
Следует ожидать, что идеи и методы теорииинформации, касающиеся источников сообщений, сигналов и каналов, будут успешноиспользоваться и в дальнейшем, особенно при создании сложных систем,объединяющих различные по целям, функциям и даже физическому воплощениюподсистемы.
Содержание
Нормативные ссылки
Введение
1 Расчет информационных характеристик источниковдискретных сообщений
2 Расчет информационных характеристикдискретного канала
3 Согласование дискретного источника сдискретным каналом
4 Дискретизация и квантование
Заключение
Нормативные ссылки
В настоящем отчете использованы ссылки на следующие стандарты:
— ГОСТ 1.5 – 93 Государственная система стандартизации РФ. Общиетребования к построению, изложению, оформлению и содержанию стандартов.
— ГОСТ 2.105 – 95 Единая система конструкторской документации.
— ГОСТ 2.301 – 68 ЕСКД Форматы.
— ГОСТ 7.1 – 84 Система стандартов по информации, библиотечному ииздательскому делу. Библиографическое описание документа. Общие требования иправила составления.
— ГОСТ 7.32 – 2001 Система стандартов по информации, библиотечному,издательскому делу. Отчёт о научно – исследовательской работе.
Введение
Эффективная организация обмена информациейприобретает всё большее значение, прежде всего как условие успешнойпрактической деятельности людей. Объём информации, необходимой для нормальногофункционирования современного общества, растёт примерно пропорциональноквадрату развития производительных сил. Доля рабочей силы, занятой вопросамиобеспечения информацией, начинает превышать долю рабочей силы, занятойнепосредственно в сфере производства.
Информация наряду с материей и энергиейявляется первичным понятием нашего мира и поэтому в строгом смысле не можетбыть определена, при этом в узком практическом смысле под информацией обычнопонимают совокупность сведений об окружающем мире, являющуюся объектомхранения, передачи и преобразования. Информация передаётся и хранится в видесообщений, а изменяющийся во времени физический процесс, отражающийпередаваемое сообщение называется сигналом. А система связи, являющаясясовокупностью технических средств, используемых для передачи сообщений от источникак потребителю информации.
В данной работе объектом исследованияявляются источники сообщений, сигналы и каналы, рассматриваемые с позицийтеории информации, круг проблем которой можно охарактеризовать как исследованиеметодов кодирования для экономного представления сообщений различных источникови для надёжной передачи сообщений по каналам связи с шумом.
В основе теории информации лежитстатистическое описание источников сообщений и каналов связи, а такжебазирующееся на этом описание измерения количества информации междусообщениями, определяемого только вероятностными свойствами сообщения.
На основе теории информации можно ответитьна вопросы о предельных возможностях, т.е. максимально достижимыххарактеристиках различных систем, определить в какой мере проектируемая системаблизка к теоретически возможной. В некоторых случаях логика рассуждений,используемая в теории информации, подсказывает путь, на котором может бытьнайдено конструктивное решение для реальной системы.
В данной работе основные идеи и методытеории информации были рассмотрены и практически закреплены на примереконкретных задач, составляющих четыре раздела задания.
1. Расчётинформационных характеристик источников дискретных сообщений
1.1Задача № 1.38
Ансамбли событий X и Y объединены, причемвероятности совместных событий равны: />;/>;/>; />; />; />; />; />.Найти: энтропии ансамблей X и Yсоответственно /> />; энтропию объединенного ансамбля />; условные энтропииансамблей />
Решение:
1) Известны вероятности совместныхсобытий, и с учётом соотношения
/>
находятся безусловные вероятности p(xk) и p(yk), которыепотребуются при дальнейшем решении:
/>;
/>
/>;
/>;
/>;
/>.
2) По формуле определения энтропии (1.4), находятсяэнтропии ансамблей H(X) и H(Y):
/>
/>
3) Для нахождения среднего количества информации, даваемое сообщением X при условии, что сообщение ансамбля Y уже известно, т.е. нахождение энтропииансамбля H(X,Y), используется формула определения энтропииобъединённого ансамбля:
/>
т.о., в нашем случае H(X,Y) будет равна
/>
4) Итак, была найдена энтропияобъединённого ансамбля. Далее по заданию требуется определить условные энтропииансамблей H(X/Y) и H(Y/X). Формулуусловной энтропии можно получить из формулы количества информации, содержащейсяY относительно X инаоборот.
/>
1.2Задача № 1.66
Принимаемый сигнал может иметь амплитуду /> (событие/>) или /> (событие />), а также сдвиг фазы /> (событие />) или /> (событие />) режимах. Вероятностисовместных событий имеют следующие значения:
/>; />; />;/>.
Вычислить количество информации получаемой о фазовом сдвиге сигнала, еслистанет известной его амплитуда.
Решение:
Количество информации вычисляется по формуле:
/>
Величина I(Y,X) показывает,сколько в среднем бит информации о реализации ансамбля Y дает наблюдение реализацииансамбля Z. Подставив в эту формулу в выражение для вычисления энтропии иусловной энтропии:
/>
/>
/>
Учитывая, что
/>,
последнее выражение можно записать в виде:
/>
Вычисляются необходимые величины.
p(y1) = p(x1, y1) + p(x2, y1) = 0.47 + 0.27 = 0.74
p(y2) = p(x1, y2) + p(x2,y2) = 0.17 + 0.09 = 0.26
p(x1) = p(x1, y1) + p(x1,y2) = 0.47 + 0.17 = 0.64
p(x2) = p(x2, y1) + p(x2, y2) = 0.27 + 0.09 = 0.36
Все величины подставляются в формулу:
/>
/>
1.3Задача № 1.84
Дискретный источник выбирает сообщения изансамбля
/>.
Длительности сообщений соответственноравны: tu1=0,96 c, tu2=0,44 c, tu3=0,67c, tu4=0,39 c. Определить производительность источника.
Решение:
Производительность источника рассчитываетсяпо формуле,
/>
где T – время,затрачиваемое в среднем на каждое сообщение при передаче, и определяемое всоответствии со следующим выражением:
/>
а энтропия источника H(U) всоответствии с формулой (1.4) [1] равна:
/>
Итак, производительность источника равна:
/>
2. Расчётинформационных характеристик дискретного канала
2.1Задача № 2.23
На вход дискретного симметричного канала, показанного на рисунке 2, безпамяти поступают двоичные символы /> и /> с априорными вероятностямиp(U1)=0,75 и p(U2)=0,25.
/>
Рисунок 2 – Дискретный симметричный канал
Переходные вероятности /> в такомканале задаются соотношением
/> ,
где p=0,1 – вероятность ошибки. Определить все апостериорные вероятности />.
Решение:
/> - переходные вероятности того, что на выходе будетсимвол zjпри условии, что на входе был символ ui.
/> - апостериорные вероятности того, что на входе каналаимел место символ ui при условии, что на выходе наблюдается zj.
По формуле Байеса:
/>
Итак, />
/>
/>
/>
2.2Задача № 2.48
Двоичныйисточник с равновероятными элементами имеет производительность U’=1500бит в секунду. При передачи по каналу в среднем один из 100 символовпринимается ошибочно. Определить скорость передачи инфориации по данномуканалу.
Решение:
U1 Z1 “1”
/>
U2 Z2 “0”
Рисунок3 – Дискретный канал
Ситуацияв канале характеризуется данным рисунком 3. В среднем один из 100 символовпринимается ошибочно, поэтому вероятность ошибки будет составлять ро=1/100=0,01.Тогда вероятность правильного принятия будет вычисляться из следующеговыражения: 1-р0=1-0,01=0,99.
Такимобразом, канал описывается распределением вероятностей:
P(Z1/U1)=P(Z2/U2)=0,99
P(Z1/U2)=P(Z1/U2)=0,01
P(U1)=P(U2)=0,5-дано по условию
Скоростьпередачи информации вычисляется по формуле:
I’(U,Z)=H’(U)-H’(U/Z),
аэнтропия будет равна 1 биту, так как
0,5log2+0,5log2=1
H’(U)=VC*H(U), где VC=1500 c-1
I’(U,Z)=H’(U)-H’(U/Z)
H’(U/Z)=VC*H(U/Z)
/>
Условныевероятности можно найти по формуле Байеса:
/>
H(U/Z)=-P(Z1)[P(U1/Z1)log2P(U1/Z1)+P(U2/Z1)log2P(U2/Z1)]-P(Z2)[P(U1/Z2)log2P(U1/Z2)+ P(U2/Z2)log2P(U2/Z2)]
H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16
H’(U/Z)=VC*H(U/Z)=1500*0,16=241 (бит)
I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)
3.Согласование дискретного источника с дискретным каналом
3.1Задача № 3.23
Закодировать двоичным кодом Фано ансамбль сообщений {ai}:
{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014,0.068}
Закодировать произвольную комбинацию, состоящую из 5 символов изансамбля{ai}. Определить потенциальный минимумсреднего количества символов кода, приходящихся на одно сообщение ансамбля {ai} и среднее количество символов,разработанного кода Фано, приходящихся на одно сообщение из ансамбля {ai}. Рассчитать эффективностьразработанного кода.
Решение.
Кодируется кодом Фано заданный ансамбль сообщений следующим образом.
Таблица 1 — Кодирование ансамбля сообщений {ai} двоичным кодом Фаносообщение вероятность код
а7 0,4 00
а6 0,18 01
а4 0,09 100
a1 0,08 1010
а12 0,068 1011
а3 0,06 1100
а8 0,06 1101
а10 0,027 1110
а5 0,017 11110
а11 0,014 111110
а9 0,003 1111110
a2 0,001 1111111
Сообщения источника располагаются в порядке не возрастания ихвероятностей, делятся на две части так, чтобы суммарные вероятности сообщений вкаждой части были по возможности равны. Сообщениям первой части приписывается вкачестве первого символа нуль, а сообщениям второй части единица. Затем каждаяиз этих частей (если она содержит более одного сообщения) опять делится на двепримерно равные части и в качестве второго символа для первой из них берется 0,а для второй 1. Этот процесс повторяется до тех пор, пока в каждой изполученных частей не останется по одному сообщению.
Послеиспользования полученных комбинаций символов, закодируется произвольнаякомбинация, состоящая из 5 символов из ансамбля {ai}:101011111110010011110.
Среднее количество символов, приходящихся на одно сообщение, определяетсяпо формуле 2.9 курса лекций:
/>,
где ms – количество позиций, а ps – вероятность сообщения из ансамбля {ai}.
/>
Определяется минимальное среднее количество символов, приходящихся наодно сообщение, по формуле
/>,
где M – объем алфавита кода, равный 2, а H(U) энтропия источника.
Далее находится энтропия:
/>/>
/>/>/>
/>
Затем вычисляется величина ψ-эффективность кода, котораяхарактеризует степень близости неравномерного статистического кода коптимальному.
/>/>
3.2Задача № 3.56
Определитьизбыточность оптимального по Шеннону кода (существование которого утверждаетсятеоремой для канала с шумом) с объемом алфавита m и средним количествомсимволов, переданных в единицу времени Vk, предназначенногодля безошибочной передачи информации по каналу с пропускной способностью С.
Найтиминимально возможную избыточность оптимального кода для симметричного каналапри m = 8 и вероятности ошибки P = 0,08.
Решение:
Избыточностькода вычисляется по следующей формуле:
/>,
где H¢(Z)=Vk*H(Z)
Так какпередача информации предполагается безошибочной, то кодирование должно бытьоднозначным, то есть потери информации при кодировании должны отсутствовать.Это означает, что:
H¢(Z)=H¢(U),
где H¢(U)- производительностьисточника, который передает информацию.
Всоответствии с условием теоремы Шеннона
H¢(U) C,а H(U) = С + ε = С; (ε→0),
тогдаформула избыточности будет выглядеть следующим образом:
/>, при ε→0
/>
Длядвоичного симметричного канала справедливо выражение:
C=Vk*[1+p*log2p+(1-p)*log2(1-p)]
Подставивизвестные значения в формулы, получается:
C=Vk*0.6
/>
4.Дискретизация и квантование
4.1Задача № 4.23
/> Непрерывный сигнал x(t),имеющий спектр X(jω) дискретизируется с частотойдискретизации ωд, отображенный на рисунке 4.
/>
/>/>Рисунок 4 — Непрерывный сигнал x(t),имеющий спектр X(jω) дискретизируется с частотойдискретизации ωд
Выполняется ли в данном случае условие теоремыКотельникова? Построить график спектра дискретизированного сигнала (изобразить5 периодов спектра).Проиллюстрировать графически процесс восстановленияспектра непрерывного сигнала с помощью идеального интерполирующего фильтра поспектру дискретного сигнала.
Решение:
При построении графика спектрадискретизированного сигнала (рисунок 4) исспользуется выражение (3.16) [1],причём для изображения 5 периодов спектра следует учесть 5 слагаемых:
/>
/>
Процесс восстановления спектра непрерывногосигнала с помощью идеального интерполирующего фильтра по спектру дискретногосигнала проиллюстрирован графически на рисунке 5, где первый графикпредставляет собой частотную характеристику идеального фильтра низких частот, а/> - спектр сигнала на выходе интерполятора.
/>
Условие теоремы Котельникова (неравенство(3.17) [1]) в данном случае не выполняется (т.к. />),из-за взаимного перекрытия слагаемых /> происходитизменение формы спектра /> иточное восстановление />, а следовательнои x(t), невозможно.
4.2Задача № 4.52
Непрерывный сигнал /> дискретизируется с частотой дискретизации ωд=2,5.Построить графики непрерывного и дискретизированного сигналов (изобразить неменее пяти периодов). Проиллюстрировать графически процесс восстановления непрерывногосигнала по дискретному во временной области с помощью интерполятора 1-гопорядка.
Решение:
Зная выражение, описывающее непрерывныйсигнал, и частоту дискретизации, найдём период дискретизации />, необходимый припостроении графика дискретизированного сигнала, выразив его через период Т непрерывногосигнала:
/>.
Графики исходного непрерывного идискретизированного сигналов представлены на рисунке 6.
x(t) />
xд(t) />
Рисунок 6 – Графики исходного непрерывного и дискретизированного сигналов />/>
Интерполятором называется фильтр,преобразующий отсчёты дискретного сигнала в непрерывный сигнал. Процессвосстановления сводится к подаче дискретного сигнала на вход фильтра, с выходакоторого снимается непрерывный сигнал. Математически процесс восстановлениясигнала описывается следующим выражением:
/>,
где /> -сигнал на выходе интерполятора;
/> - отсчёты дискретного сигнала;
/> - импульсная характеристика фильтра, дляинтерполятора 1-ого порядка она имеет вид, представленный на рисунке 7.
Рисунок 7 – Импульсная характеристика интерполятора 1-ого порядка
h(t) />/>
Итак,процесс восстановления заданного непрерывного сигнала по дискретному во временнойобласти с помощью интерполятора 1-го порядка проиллюстрирован графически нарисунке 8, где последний график описывает сигнал, получившийся на выходеинтерполятора.
x(0)h(t) />/>
x(Dt)h(t-Dt) />/>
Рисунок 8 Лист 21 — Процесс восстановлениязаданного непрерывного сигнала по дискретному во временной области с помощьюинтерполятора 1-го порядка
/>
x(2Dt)h(t-2Dt) />
/>
x(3Dt)h(t-3Dt) />
x(4Dt)h(t-4Dt) />/>
/>
x(5Dt)h(t-5Dt) />
Рисунок 8 Лист 22 — Процесс восстановлениязаданного непрерывного сигнала по дискретному во временной области с помощьюинтерполятора 1-го порядка
/>
x(6Dt)h(t-6Dt) />
/>
x(7Dt)h(t-7Dt) />
/>
x(-Dt)h(t+Dt) />
x(-2Dt)h(t+2Dt) />/>
Рисунок 8 Лист 23 — Процесс восстановлениязаданного непрерывного сигнала по дискретному во временной области с помощьюинтерполятора 1-го порядка
x(-3Dt)h(t+3Dt) />/>
x(-4Dt)h(t+4Dt) />/>
/>
x(-5Dt)h(t+5Dt) />
Рисунок 8 Лист 24 — Процесс восстановлениязаданного непрерывного сигнала по дискретному во временной области с помощьюинтерполятора 1-го порядка
-1
1 />
x*(t) />
Рисунок 8 Лист 25 — Процесс восстановлениязаданного непрерывного сигнала по дискретному во временной области с помощьюинтерполятора 1-го порядка
4.3Задача № 4.67
Непрерывное сообщение u(t) квантуется с округлением спостоянным шагом Du причисле уровней квантования Ny=45. Плотность распределения вероятностей сообщения Wu(U) равномерна в интервале от –Um до Um, т.е.
/>/>
0, при др. U
Определить соотношение сигнал – шум в квантованном сообщении./>
Решение:
Соотношение сигнал – шум определяется как отношение мощности сигнала кмощности шума, т.е.
/>,
где Рс и Рш находятся как дисперсия случайной величиныUc и Uш, следовательно,
/>/>,
где Mu – математическое ожидание, котороеопределяется как:
/>.
Исходя из значения математического ожидания, получается:
/>/>.
Согласно условию задачи квантование производится с округлением,следовательно, дисперсия или мощность шума определяется формулой
/>.
Подставляя полученные значения в выражение для нахождения соотношениясигнал – шум, получается:
/>
В соответствии с формулой 3.1 а курса лекций
/>, откуда:
/>.
Известно, что Ny=45,получается
/>
Заключение
В результате выполнения работы изученнеобходимый теоретический материал, решены все задачи в соответствии свариантом задания, получены навыки расчёта информационных характеристик источниковдискретных сообщений и дискретного канала, изучены процессы согласованиядискретного источника с дискретным каналом, дискретизации и квантования, т.о.задание курсового проекта выполнено в полном объёме.