Теория информации как самостоятельная дисциплина возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи. Сама формулировка этой задачи нуждается в ряде уточнений:
· «надежную» означает, что в процессе передачи не должно происходить потери информации - приемник полностью, без искажений должен получить информацию, отправленную источником;
· «эффективную» означает, что передача должна осуществляться наиболее быстрым способом, поскольку время эксплуатации линии связи - экономический фактор, который требуется минимизировать;
· помехи присутствуют в любой реальной линии связи; таким образом, поставленная выше задача имеет четкую практическую направленность.
Решение этой задачи ведется по двум направлениям, которые условно можно назвать техническим и математическим. Технический поиск связан с практической разработкой линий связи, в которых передача может идти с большой скоростью; обеспечением защиты от помех или уменьшения их воздействия; созданием технических устройств, обеспечивающих быструю и надежную связь. Однако в основе этих разработок лежат некоторые общие законы и принципы, применимые не к какой-то конкретной линии передачи информации, а к любым (во всяком случае, многим) видам связи. Они определяют способы кодирования информации (в том числе такие, которые позволяют обнаружить и исправить ошибку передачи); условия надежной передачи информации; наконец, что очень важно, вводятся величины, позволяющие количественно описывать информационные процессы. Именно эти методы и составляют содержательную основу теории информации.
Теория информации является математической теорией с высокой степенью общности. Она основывается на теории случайных событий, для описания которых применяются понятия вероятность и энтропия. В рамках самой теории вводится понятие информация и устанавливается ее мера - бит. Строится теория информации подобно другим теориям в математике: сначала аксиоматически определяются исходные понятия, а затем из них путем рассуждений доказывается справедливость новых положений или теорем - именно таким путем шел основоположник данной теории Клод Шеннон. В дальнейшем изложении большее внимание будет уделено смыслу и значению теорем, нежели их доказательству. Интересующихся именно математическими аспектами теории можно адресовать к книгам A.M. Яглома и И.М. Яглома [49], Л. Бриллюэна [7], Р.Л. Стратоновича [39], А. Файнстейна [42] и, наконец, работам самого К. Шеннона [46].
Отдельно следует остановиться на практической применимости положений и следствий, выводимых в теории. Примеры использования теории информации можно найти в информатике, технике, психологии, биологии, физике, педагогике, лингвистике и т.д. Однако, как и любая иная математическая теория, теория информации применима для решения конкретных задач практики в той мере, в какой описываемые материальные системы или процессы удовлетворяют исходным положениям теории. Неприменимость ее в остальных случаях ни в коем случае нельзя считать недостатком теории. Речь, в частности, идет о том, что сам исходный термин -информация - используется не только в данной теории; однако, если в других дисциплинах (например, философии) ему придается иной смысл, то нельзя требовать, чтобы теория информации была в них применима. Точно также механика Ньютона является теорией, описывающей движение, но не во всем многообразии значений этого термина, а лишь перемещение тел в пространстве с течением времени; другие виды движения - развитие растения, эволюция Вселенной, изменения в общественном устройстве и т.п. - законами Ньютона, безусловно, не описываются, но это не уменьшает значимости последних.
Математическое понятие информации связано с возможностью ее количественного измерения. При этом в теории информации обосновывается энтропийный подход, когда количество информации в сообщении определяется тем, насколько уменьшается неопределенность исхода случайного события (например, появления конкретной буквы в некоторой последовательности символов) после получения сообщения. Сообщение несет полную информацию о событии, если оно целиком снимает исходную неопределенность. В технических приложениях используется иной способ оценки количества информации, основанный на простом подсчете числа знаков в сообщении - такой подход получил название объемного. В общем случае эти две меры количества информации не совпадают, в частности, в теории информации показывается, что энтропийная мера не превышает числа двоичных символов (бит) в сообщении. Одинаковым же в обоих подходах оказывается то, что количественная мера информации не привязывается к ее семантической (т.е. смысловой) основе. С бытовой точки зрения информация, лишенная смысла, лишена и какой-либо ценности для получателя. Однако устройство, предназначенное для передачи или хранения информации, оценить смысл передаваемого (или сохраняемого) не может (да и не должно!) - в этом случае главной оказывается задача надежной передачи и хранения информации независимо от ее семантической основы. Едва ли кого-либо устроила бы ситуация, если бы почтальон стал оценивать содержание писем и в зависимости от своего понимания их значимости и ценности решать, какие из них доставлять, а какие нет. Почтальон, будучи средством связи, обязан доставить пакет адресату, даже если в нем чистый лист бумаги. При этом важными (существенными) для передачи и хранения оказываются количественные характеристики информации и способы их оценки - именно их теория информации и устанавливает. Таким образом, оказывается, что теория информации применима для решения лишь тех практических задач, в которых допустимо игнорирование смысловой (содержательной) стороны информации.