БСЭ БСЭ - Большая Советская Энциклопедия (ИН)
где pij — вероятность совмещения событий X = xi и Y = yj и логарифмы берутся по основанию 2. И. I (X , Y ) обладает рядом свойств, которые естественно требовать от меры количества И. Так, всегда I (X , Y ) ³ 0 и равенство I (X , Y ) = 0 возможно тогда и только тогда, когда pij = pi qj при всех i и j, т. е. когда случайные величины X и Y независимы. Далее, всегда I (X , Y ) £ I (Y , Y ) и равенство возможно только в случае, когда Y есть функция от X (например, Y = X 2 и т. д.). Кроме того, имеет место равенство I (X , Y ) = I (Y , X ).
Величина
носит название энтропии случайной величины X . Понятие энтропии относится к числу основных понятий теории И. Количество И. и энтропия связаны соотношением
I (X , Y ) = H (X ) + H (Y ) — H (X , Y ), (5)
где H (X , Y ) — энтропия пары (X , Y ), т. е.
Величина энтропии указывает среднее число двоичных знаков (см. Двоичные единицы ), необходимое для различения (или записи) возможных значений случайной величины (подробнее см. Кодирование , Энтропия ). Это обстоятельство позволяет понять роль количества И. (4) при «хранении» И. в запоминающих устройствах. Если случайные величины X и Y независимы, то для записи значения X требуется в среднем H (X ) двоичных знаков, для значения Y требуется H (Y ) двоичных знаков, а для пары (X , Y ) требуется Н (Х ) + H (Y ) двоичных знаков. Если же случайные величины X и Y зависимы, то среднее число двоичных знаков, необходимое для записи пары (X , Y ), оказывается меньшим суммы Н (Х ) + H (Y ), так как
H (X , Y ) = H (X ) + H (Y ) — I (X , Y ).
С помощью значительно более глубоких теорем выясняется роль количества И. (4) в вопросах передачи И. по каналам связи. Основная информационная характеристика каналов, так называемая пропускная способность (или ёмкость), определяется через понятие «И.» (подробнее см. Канал ).
Если X и Y имеют совместную плотность p (x , y ), то
где буквами р и q обозначены плотности вероятности Х и Y соответственно. При этом энтропии Н (X ) и Н (Y ) не существуют, но имеет место формула, аналогичная (5),
I (X , Y ) = h (X ) + h (Y ) — h (X , Y ), (7)
где
дифференциальная энтропия X [h (Y ) и h (X , Y ) определяется подобным же образом].
Пример 5. Пусть в условиях примера 4 случайные величины X и q имеют нормальное распределение вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно s2 х и s2 q . Тогда, как можно подсчитать по формулам (6) или (7):
Таким образом, количество И. в «принятом сигнале» Y относительно «переданного сигнала» X стремится к нулю при возрастании уровня «помех» q (т. е. при s2 q ® ¥) и неограниченно возрастает при исчезающе малом влиянии «помех» (т. е. при s2 q ® 0).
Особенный интерес для теории связи представляет случай, когда в обстановке примеров 4 и 5 случайные величины X и Y заменяются случайными функциями (или, как говорят, случайными процессами) X (t ) и Y (t ), которые описывают изменение некоторой величины на входе и на выходе передающего устройства. Количество И. в Y (t ) относительно X (t ) при заданном уровне помех («шумов», по акустической терминологии) q(t ) может служить критерием качества самого этого устройства (см. Сигнал , Шеннона теорема ).
В задачах математической статистики также пользуются понятием И. (сравни примеры 3 и 3а). Однако как по своему формальному определению, так и по своему назначению оно отличается от вышеприведённого (из теории И.). Статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием некоторых сводных характеристик. Иногда при такой замене происходит потеря И., но при некоторых условиях сводные характеристики содержат всю И., содержащуюся в полных данных (разъяснение смысла этого высказывания даётся в конце примера 6). Понятие И. в статистике было введено английским статистиком Р. Фишером в 1921.
Пример 6. Пусть X 1 , X 2 , ..., Xn , — результаты n независимых наблюдений некоторой величины, распределённые по нормальному закону с плотностью вероятности
где параметры a и s2 (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (т. е. функциями от результатов наблюдении, содержащими всю И. о неизвестных параметрах) в этом примере являются среднее арифметическое
и так называемая эмпирическая дисперсия
Если параметр s2 известен, то достаточной статистикой будет только X (сравни пример 3 а выше).
Смысл выражения «вся И.» может быть пояснён следующим образом. Пусть имеется какая-либо функция неизвестных параметров j = j (a , s2 ) и пусть
j* = j*(X 1 , X 2 , ..., Xn )
— какая-либо её оценка, лишённая систематической ошибки. Пусть качество оценки (её точность) измеряется (как это обычно делается в задачах математической статистики) дисперсией разности j* — j. Тогда существует другая оценка j**, зависящая не от отдельных величин Xi , а только от сводных характеристик X и s 2 , не худшая (в смысле упомянутого критерия), чем j*. Р. Фишером была предложена также мера (среднего) количества И. относительно неизвестного параметра, содержащейся в одном наблюдении. Смысл этого понятия раскрывается в теории статистических оценок.
Лит.: Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Ван-дер-Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; Кульбак С., Теория информации и статистика, пер. с англ., М., 1967.
Ю. В. Прохоров.
Информация (изложение)
Информа'ция (от лат. informatio — разъяснение, изложение), первоначально — сведения, передаваемые одними людьми другим людям устным, письменным или каким-либо другим способом (например, с помощью условных сигналов, с использованием технических средств и т. д.), а также сам процесс передачи или получения этих сведений. И. всегда играла в жизни человечества очень важную роль. Однако в середины 20 в. в результате социального прогресса и бурного развития науки и техники роль И. неизмеримо возросла. Кроме того, происходит лавинообразное нарастание массы разнообразной И., получившее название «информационного взрыва». В связи с этим возникла потребность в научном подходе к И., выявлении её наиболее характерных свойств, что привело к двум принципиальным изменениям в трактовке понятия И. Во-первых, оно было расширено и включило обмен сведениями не только между человеком и человеком, но также между человеком и автоматом, автоматом и автоматом; обмен сигналами в животном и растительном мире. Передачу признаков от клетки к клетке и от организма к организму также стали рассматривать как передачу И. (см. Генетическая информация , Кибернетика биологическая ). Во-вторых, была предложена количественная мера И. (работы К. Шеннона , А. Н. Колмогорова и др.), что привело к созданию информации теории .
