Предположим, вы подумали, что существует большая вероятность, что бейсболисты «Янкиз» выиграют половину игр в конкретном сезоне, а вероятность того, что на Луне живут инопланетяне, очень мала. Существенно важную догадку Шеннона можно сформулировать следующим образом: если бы вы узнали, абсолютно наверняка, что на Луне есть инопланетяне, вы бы получили значительно больше информации, чем если бы вы узнали, что «Янкиз» выиграли более половины игр в сезоне. Почему? С точки зрения Шеннона, дело в том, что вероятность того, что на Луне есть инопланетяне, намного, намного ниже, чем вероятность того, что «Янкиз» (или любая другая команда) победит в половине игр. Такая связь между вероятностью сообщения и информацией, заключенной в сообщении, дает ключевое звено, необходимое для количественной оценки информации. Другими словами, увязав информацию с вероятностью, Шеннон обнаружил способ присвоить сообщению число, которое соответствует количеству содержащейся в нем информации, что, в свою очередь, было первым важным шагом в создании математической теории информации