Информация (от лат. informatio – разъяснение, осведомление) - это один из широко используемых на сегодня терминов, которые употребляет человек в процессе деятельности. Создаются информационные центры, передаются информацонные программы, говорят о лавинном росте информационных потоков, сообщается информация «для размышления» и т.д. Практически одновременно и взаимосвязано с появлением кибернетики в XX столетии создается теория информации - раздел кибернетики, посвященный математическому описанию процессов получения, хранения, переработки и передачи информации.
Эта теория возникла в ходе решения задач передачи потоков сообщений по каналам связи в технических системах, и первый фундаментальный труд принадлежит К.Шеннону «Математическая теория связи» (1948 г.). Сегодня понятие «информация» является одной из основных философских категорий, заряду с такими категориями, как материя, энергия, без которых невозможно описание функционирования живых систем.
К основным понятиям теории информации относятся: сообщение, сигнал, количество информации, энтропия, кодирование, пропускная способность канала связи.
Сообщение - это некоторая информация о событиях, закодированная в форме определенного сигнала.
Сигнал - физический носитель информации. Сигналом может быть звук, свет, буква, механический удар и др.
Прежде чем рассмотреть вопрос о количестве информации, необходимо отметить следующие ее свойства:
1. Информация имеет смысл только при наличии ее приемника (потребителя). Если принимающий объект отсутствует, то нельзя говорить о существовании информации. Так, если в комнате работает телевизор, но в ней нет человека, то все, что показывается и говорится, не является информацией.
2. Наличие сигнала не обязательно говорит о том, что передается некоторая информация. Информативно только такое сообщение, которое несет в себе что-то неизвестное ранее, в чем нуждается объект, которому оно передается.
3. Информация может передаваться не обязательно только через наше сознание. Она передается и на подсознательном уровне, и на уровне внутренних процессов в организме. Для мышц двигательного аппарата пришедшие к нему нервные импульсы несут информацию о необходимых действиях; для сердца объем крови в диастолу несет информацию о необходимой силе последующего сокращения, перестройка конформации фермента несет информацию для процессов переноса ионов и др.
4. Если событие достоверное (то есть его вероятность Р=1), то сообщение о том, что оно произошло, не несет никакой информации для потребителя. Так, если вы в настоящий момент читаете эту страницу учебника и вам кто-то об этом сообщает, то в этом сообщении для вас нет ничего нового, то есть не содержится абсолютно никакой информации.
5. Сообщение о событии, вероятность которого Р<1, содержит в себе информацию, и тем большую, чем меньше вероятность события, которое произошло.
Таким образом, чем меньше вероятность некоторого события, тем большее количество информации содержит сообщение том, что оно произошло.
Так, например, если во Вселенной появилась сверхновая звезда, событие крайне маловероятное, об этом сообщают все новые информационные агентства и газеты, так как в этом общении содержится огромное количество информации.
Шеннон дал следующее определение информации:
"Информация, содержащаяся в сообщении, есть мера того количества неопределенности, которое ликвидируется после получения данного сообщения».
Количество информации I(хi), содержащееся в сообщении равно логарифму величины, обратной вероятности Р(хi) события:
.
За единицу информации принято количество информации содержащееся в сообщении о том, что произошло одно из равновероятных событий, то есть если Р(А) = Р(В) = 0,5, то
IA = IB =-log, 0,5 = 1.
Это количество информации называют бит.
Пример: Сколько бит информации содержит произвольное трехзначное число?
Первая цифра имеет 9 различных значений от 1 до 9 (т.к. 0 в начале числа незначим), вторая и третья - по 10 значений (от 0 до 9). Тогда
I = log29 + 2 log210 = 9,28 бит.
В теории информации источник информации задается в виде множества сообщений X1, Х2,...,Хп с вероятностями соответственно Р1, Р2,...,Рп. В этом случае среднее количество информации, приходящееся на одно сообщение, определяется по формуле Шеннона:
.
Среднее колическтво информации на одно сообщение:
бит.
Величина Ī рассматривается как мера неопределенности сведений об источнике информации, которая имела место до приема сообщений и была устранена после их получения.
Эту меру неопределенности называют энтропией (Н) источника информации, приходящейся на одно сообщение. Таким образом:
.
Среднее количество информации и энтропия Н численно равны, но имеют противоположный смысл.
Чем из большего числа сообщений получатель информации должен сделать выбор, тем большее значение имеет информационная энтропия.
Для источника с единственно возможным сообщением, вероятность которого стремится к 1 (Р→1), энтропия стремится к нулю (Н→0). Если все k возможных сообщений источника равновероятны (Р(хi) = 1/к), то его энтропия Н максимальна:
Hmax=log2k.
Предполагается, что каждому сообщению соответствует только одно из возможных состояний источника. В этом случае величина Н может служить мерой неорганизованности системы, являющейся источником информации. Чем менее организована система, тем больше число ее возможных состояний и величина максимальной энтропии.
Для передачи сообщения по каналу информация кодируется, например, положение флага на флоте, азбука Морзе, последовательность, частота, длительность импульсов в нервной сети и др. На приемной стороне необходим декодер, который осуществляет обратное кодеру преобразование: код сигнала преобразуется в содержание сообщения. При передаче информации по каналу связи могут происходить ее искажения за счет помех из внешней среды и нарушений в самой линии.
Эффективными способами борьбы с искажениями информации является создание ее избыточности и передача сигналов по большому числу параллельных каналов. Оба эти способа широко используются в организме человека. В нервных сетях всегда обеспечивается дублирование основного сообщения большим числом параллельных сигналов, поэтому количество рецепторов значительно превышает количество нейронов, к которым от них поступают сигналы.
Пропускная способность любых рецепторных аппаратов существенно выше возможностей осознания сенсорной информации. Человеческое сознание пользуется очень малой долей информации, поставляемой в мозг периферическими отделами анализаторов - сенсорными входами. Так например, максимальный поток информации в процессе зрительного восприятия, осознаваемого человеком, составляет всего 40 бит/с, тогда как информационная емкость потока нервных импульсов в зрительных нервах оценивается величиной 107 бит/с. За счет столь огромной избыточности достигается высокая надежность процессов в организме.
Биофизика сенсорных систем