Количество информации как мера уменьшения неопределенности
(вероятностный подход)
С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же информации может быть оценено различными людьми по-разному. Для объективного измерения количества информации необходимо формализовать задачу.
Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.
Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.
Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.
Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода, больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Если информация представлена в виде дискретного сообщения, то логично считать количеством информации его длину, то есть общее число знаков в сообщении. Но длина сообщения зависит не только от содержащейся в нем информации. На нее влияет мощность алфавита используемого языка. Чем меньше знаков в используемом алфавите, тем длиннее сообщение. Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.

Пример: Сигнал SOS: 3 знака в латинском алфавите;
11 знаков в алфавите Морзе: ··· пауза – – – пауза ···.

Для упорядочивания измерений информационный объем сообщений принято измерять в битах. Один бит соответствует одному знаку двоичного алфавита. Итак, чтобы измерить длину сообщения, его нужно представить в двоичном виде и подсчитать количество двоичных знаков – битов. При этом совсем не обязательно уметь интерпретировать сообщения.