В. Корогодин - Информация как основа жизни
Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, передаваемые по каналам связи, сами по себе не несут той информации, для обмена которой существуют системы связи. Информацию содержат лишь сочетания сигналов или букв, причем отнюдь не любые, а лишь осмысленные, наполненные определенным содержанием. Введение единой меры количества информации, содержащейся в сообщениях, меры, не зависящей от их семантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.
Напомним, что ко времени выхода в свет работы К. Шеннона [3] научная общественность была уже подготовлена к ее восприятию. Зарождавшаяся тогда же кибернетика, или "наука об управлении и связи в животном и машине" [2], уже использовала термин "информация" для обозначения тех сигналов, которыми могут обмениваться между собой люди или животные, человек и машина, или сигналов, воспринимаемых животными или машиной с помощью специальных рецепторов из окружающей среды с целью оптимизировать свое "поведение". Уже был пущен в оборот термин "генетическая информация" [4]. Бурное развитие самых разных технических систем связи (телеграфа, телефона, радио, телевидения) остро нуждалось в ограничении присущего понятию "информация" полиморфизма в целях разработки все более совершенных методов ее передачи, приема и хранения. Всем этим запросам, казалось, прекрасно соответствовала шенноновская концепция количества информации.
Однако надо ясно представить себе, что, не давая определения понятию "информация" и в то же время называя "количеством информации" частотную характеристику букв кода, К. Шеннон как бы создавал возможность для отождествления двух совершенно разных по своей природе феноменов информации как семантики сообщения и "информации" как частоты осуществления какого-либо события. Это делало возможной подмену терминов, что и было быстро реализовано. Уже через несколько лет французский физик Л. Бриллюэн [5,6] в качестве основного достоинства новой теории называл отождествление информации с величиной, обратной частоте осуществления какого-либо события. Термин "информация" в указанном выше смысле окончательно слился с термином "количество информации".
Формула К. Шеннона (6) по структуре своей подобна формуле, предложенной Л. Больцманом для выражения количества энтропии. Это формальное сходство послужило К. Шеннону поводом называть "энтропией", по аналогии с физической энтропией, свойство источника сообщений порождать в единицу времени то или иное число сигналов на выходе, а "энтропией сообщения" – частотную характеристику самих сообщений, выражаемую формулами (6) и (7).
Кажущаяся простота предложенного К. Шенноном решения проблемы измерения количества информации создавала видимость столь же легкого решения и других связанных с использованием термина "информации" проблем. Это и породило ту эйфорию, ту шумиху вокруг зарождающейся теории информации, характерную для пятидесятых годов, которую одним из первых заметил сам К. Шеннон и против которой было направлено его провидческое эссе "Бандвагон" [7].
Информация и энтропия
Своей зрелости классическая теория информации достигла к середине пятидесятых годов. Главная причина столь быстрого "созревания" – простота и элегантность ее математического аппарата, опирающегося на теорию вероятности.
Отсутствие строгого определения понятия "информация" создавало впечатление, что объектом теории информации является нечто, имеющее мало общего с тем, что называют информацией в обыденной жизни. Действительно, если "в быту" доминирует содержательная, смысловая сторона информации, то здесь семантика информации вообще не рассматривалась. Представление об энтропии сообщений, развитое К. Шенноном и вскоре дополненное другими авторами (см. напр. [8-10]), как бы открывало возможность для отождествления понятия "информация" с понятиями "разнообразие" и "термодинамическая энтропия". Это порождало соблазн распространения классической теории информации далеко за пределы теории связи, в том числе на явления неживой и живой природы и даже на различные области искусства [11-13].
Два утверждения характерны для классической теории информации периода зрелости. Первое это постулирование "всюдности" информации. Второе утверждение – это то, что мерой количества информации, связанной с тем или иным объектом или явлением, может служить редкость его встречаемости или сложность его структуры. Эти утверждения можно назвать постулатами классической теории.
Указанные постулаты, а также следствия из них, наиболее полно были изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную меру количества информации Л. Бриллюэн принял величину I = klnP, где Р - вероятность осуществления некоторого события или "сложность устройства" какого-либо объекта, k - постоянная, величина которой зависит от выбора системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн обратил особое внимание на сходство указанной формулы с формулой Л. Больцмана для исчисления количества энтропии S = klnW, где W - число микросостояний некоторой системы, соответствующей ее макросостоянию, а k - "постоянная Больцмана", равная 1,4·10-16 эрг-град-1 или 3,3·10-24 энтропийных единиц (1 э.е. = 1 кал'град-1). Отсюда Л. Бриллюэн сделал вывод, что, приняв k = 3,3·10-24 э.е., мы получим возможность выражать количество информации в энтропийных единицах (1 бит = 2,3·10-24 э.е.), а величину энтропии, напротив, в единицах информационных (1 э.е. = 4,3·1023 бит). Затем он сделал последний шаг в построении "негэнтропииного принципа": сформулировал утверждение, согласно которому информация – это не что иное, как энтропия с обратным знаком, или негэнтропия.
Используя вероятностный подход, мы проведем следующие рассуждения. Пусть физическая система имеет W возможных состояний. Увеличение информации о ней, что было бы эквивалентно фиксации в определенном состоянии, приведет к уменьшению энтропии системы. Другими словами, (9)
I + S = const.
Чем больше известно о системе, тем меньше ее энтропия. Важно еще одно обстоятельство. Утрачивая информацию, мы увеличиваем энтропию системы. Увеличивать информацию о системе мы можем, лишь увеличивая количество энтропии вне этой системы, во внешней среде, причем всегда
Формула Шеннона для определения количества информации (2) и формула Больцмана S = lnW для случая, когда вероятности отдельных состояний системы различаются (3), формально совпадают. Мы замечали, что они имеют совершенно различный смысл: информация (2) соответствует одному единственному состоянию системы из всех возможных W, мера этой информации I = lnW. Энтропия (3) соответствует возможности нахождения системы с некоторой вероятностью I/W в каждом из доступных состояний. Информация (2) и энтропия (3) оказались равны между собой, потому, что I соответствует максимальной информации одного единственного состояния, а 5 определена по множеству всех состояний.
В замкнутой системе (возьмем, например, текст) увеличение энтропии приводит к "забыванию" информации, и мы приходим к соотношению I + S = const. В соответствии со вторым законом термодинамики энтропия замкнутой системы не может убывать со временем. Поэтому в замкнутых системах соотношение (9) может сдвигаться только к забыванию информации. Это означает, что рождение новой информации требует выхода за пределы изолированной системы.
Мы рассмотрели соотношение I + S = const с точки зрения второго закона термодинамики. Формулу Шеннона можно было бы назвать "физической информацией". Колмогоров [15] ввел понятие "алгоритмической информации". Алгоритмическую информацию можно рассматривать как меру алгоритмической хаотичности. Алгоритмическая информация практически совпадает с информацией по Шеннону.
Поясним эти понятия и их соотношение на двух примерах из живого мира. Предположим, что мы хотим определить радиочувствительность клеток популяции дрожжей. Мы ставим эксперимент: делаем суспензию клеток, облучаем ее, высеваем клетки на чашки Петри с питательной средой, затем определяем радиочувствительность клеток по числу выросших колоний. В ходе этого эксперимента мы заставляем геном клеток дрожжей работать по определенной схеме, одной единственной для каждой клетки. Тем самым мы выбираем и фиксируем одно единственное состояние из всех возможных. Этот эксперимент, который выявляет реакцию данных клеток на облучение, сводит все возможные состояния макромолекул, характеризующиеся некой максимальной энтропией, к одному единственному. Он может быть проведен за счет внешних ресурсов (питательной среды, источника облучения, работы лаборанта и т. д.). Второй пример – завоевание электората перед выборами. Хаотичные настроения толпы, характеризующиеся максимальной энтропией в обычное время, после агитации средствами массовой информации (накачивание внешней 7) перед выборами сменяются крайней политизацией. После выборов определяется количество проголосовавших за того или иного кандидата – поведение электората соответствует максимуму "информированности" о том или ином кандидате, какое-то количество неголосовавших составляет инертную константу.
