Е.П. Емельченков, В.И. Мунерман,
Т.А.Самойлова, В.Н.Федоров
Раздел 2. Информация.
Алгоритмы. Первые шаги программиста.
§ 2.2. Сколько информации содержит
сообщение или как
измерить удава
Эге,
- подумал удав, - а в попугаях-то я гораздо длиннее.
Г.Остер.
"Сказки"
Было решено, что количество информации в сообщении
определяется числом знаков, из которых состоит это сообщение. Например, любые
совокупности из ста букв - будь то фраза из газетной статьи, строфа "Евгения Онегина"
или фрагмент записи лепета годовалого ребенка - несут одинаковое количество
информации.
При таком подходе количество информации
зависит от языка, на котором передается сообщение и от алфавита, с помощью которого
оно записано.
Пример 3. Международный сигнал бедствия подается
различными способами. При подаче его голосом радист передает два слова "Мэй дэй" (это слова, которые
можно произнести, практически, на всех языках Земли). Этот сигнал мы можем записать на бумаге семью
знаками: шесть букв алфавита русского языка и знак пробела. При передаче того
же сообщения с помощью азбуки Морзе оно записывается последовательностью ×××- - -×××
состоящей
из трех знаков этой азбуки.
Мы
видим, что при выбранном способе измерения информации, ее количество зависит не
от того, что мы хотим сообщить, а от используемого
алфавита и числа знаков в сообщении. Точно так же как число, выражающее длину
удава, зависит не от самого удава (он-то остается
неизменным), а от того, в чем его измерять: мартышках, слонятах или попугаях.
Поэтому нужна общая единица измерения информации.
Такой единицей является бит.
Если источник может передавать только два сообщения, то говорят, что каждое из
этих сообщений несет один бит информации.
Пример 4. Светофор на пешеходном переходе имеет
только два цвета: зеленый и красный. Любое из двух сообщений, которые передает
такой светофор, зажигая тот или иной цвет, содержит ровно один бит информации.
Пример 5. Монета, при игре в орлянку, падая, может
передать нам одно из двух сообщений: "орел" или "решка". Как и в предыдущем примере, эти сообщения
содержат один бит информации.
В дальнейшем мы будем рассматривать
источники, которые могут передавать 2k различных сообщений. Каждое такое сообщение
несет ровно k бит информации.
При k = 8 мы говорим, что сообщение содержит один байт информации. На
практике используются и более крупные единицы измерения информации:
ü
1024
байта
= 1 килобайт (1 Кбайт),
ü
1024
килобайта = 1 мегабайт (1 Мбайт),
ü
1024
мегабайта = 1 гигабайт (1 Гбайт).