Термодинамика имеет дело с макросостояниями, которые интересуют людей: тепло. Теория информации имеет дело с макросостояниями, которые интересуют телефонные компании: символы.
Но в определении информации, данном Шенноном, есть кое-что странное. Оно устраняет саму идею значения и ограничивается только тем значением, которое могло бы присутствовать — но вовсе не обязательно присутствует. Если сравнить это с нашим повседневным пониманием информации, то данное определение может показаться очень скудным. С другой стороны, оно невероятно точное, и мы могли бы простить ему за эту точность определенное упущение.
Тем не менее термин «информация» не всегда может быть особо точным. Это в огромной степени субъективная концепция: речь идет о том, насколько неожиданным для нас может оказаться сообщение. Она говорит нам о том, что буква «А» содержит в себе определенную информационную ценность, так как мы знаем: вместо нее могла дойти любая другая из 25 букв алфавита — но не дошла: дошла буква «А».
Но что, если бы нам было неизвестно, что мы имеем дело с буквой из 26-буквенного алфавита? Сколько информации содержала бы «А» в этом случае? Определение информации Шеннона ничего нам об этом не говорит.
Информация имеет определение только тогда, когда мы определили, кто говорит, с кем говорит и в каком контексте. Мы не можем дать определение информации Шеннона, пока не будем знать, какие допущения по обоюдному согласию принимают передатчик и приемник. Таким образом Шеннон предпринимает странный маневр: сначала он выбрасывает любые разговоры о значениях — а затем дает определение информации как зависящей от столь фундаментальных связей, что мы о них даже не говорим.
Если мы не будем знать, сколько микросостояний соответствует каждому макросостоянию, мы вообще не можем вести речи об информации. Только когда мы определяем макро- и микросостояния, мы можем знать количество информации. Точно так же, как и в случае энтропии.
Информация очень тесно связана с энтропией: энтропия данного макросостояния измеряется количеством соответствующих ему микросостояний. Чем их больше, тем выше энтропия. Информация — это нечто, чем мы обладаем, когда знаем, какие микросостояния задействованы.
Буква в тексте имеет энтропию, которая определяется тем фактом, что на ее месте мог быть один из 26 символов. Информация — это знание о том, каким именно символом она является. Информационная ценность знания о том, какое микросостояние задействовано, зависит от того, сколько вообще микросостояний может быть задействовано. У символа есть определенная энтропия, и знание о его реальном микросостоянии — какая буква? — таит в себе определенное количество информации, которое соответствует энтропии данного символа.
Таким образом, мы не можем определить энтропию или информацию, если нам не известен контекст.
Отсюда происходит множество непониманий, в первую очередь потому, что «информация» — это нагруженное значением слово со знаком плюс, выражение, которое мы спонтанно ассоциируем с чем-то «хорошим». В течение десятков лет информация ассоциировалась с порядком — а энтропия с беспорядком.
Эта идея ведет свое происхождение от математика Норберта Винера, основателя кибернетики — теории контрольных систем. В своей книге «Кибернетика» 1948 года он говорит, что информационная теория пришла к нему примерно в то же время, как и к Шеннону (который опубликовал ее в 1948 году). Несколькими строчками далее Винер провозглашает, что «точно так же, как количество информации, в системе есть мера ее степени организованности, так что энтропия системы — это мера ее дезорганизации».
Эта точка зрения находится весьма далеко от точки зрения Шеннона. Если же говорить точнее, то идея Винера является противоположностью тому, что утверждал Шеннон. Но она получила большое влияние особенно в свете изучения демона Максвелла. Леон Бриллоун с энтузиазмом развивал идею Винера, обобщив ее в концепции негэнтропии — «без-беспорядка», то есть порядка.
Звучит интригующе — но это не может быть верным. И в действительности чтобы эта идея стала верной, Бриллоуну пришлось изменить знак концепции информации Шеннона. Из этого изменения выросли десятки лет непонимания. Информация Шеннона — это энтропия: количество выборов, количество микросостояний, неопределенность. Бриллоун же просто поменял символ: информация — это порядок, то есть негативная энтропия.
Восприятие информации как порядка лежит ближе к нашему повседневному пониманию «информации», нежели понятие Шеннона. Так что понятие негэнтропии Бриллоуна и Винера оказалось соблазнительным. Проблема просто заключается в том, что нельзя просто играть с символами в уравнении, иначе можно полностью лишить его смысла.
Датский физик Педер Воэтманн Кристиансен говорит об этом так: «Люди думают, что им удастся постичь сущность смысла, поменяв знак бессмыслицы». Винер и Бриллоун оказались слишком нетерпеливыми.
Энтропия — это мера количества информации, знание которой нас не интересует. Информация — это то, что можно в изобилии найти в состоянии, в котором энтропия высока. Но это не значит, что мы обладаем этой информацией — это означает только, что она там есть и что мы могли бы ее получить, если бы она была нам нужна.
Информация — это то, что можно обнаружить в беспорядке. В беспорядке больше информации, нежели в порядке. Чем больше беспорядок, тем больше информации. Чем больше микросостояний, тем больше информации. Чем больше микросостояний воплощены в макросостоянии, тем больше информации мы отбрасываем, когда сосредотачиваемся на макросостоянии. Макросостояние «тепло» соответствует невообразимо огромному числу микросостояний, о которых мы не знаем, если просто обращаем внимание на температуру.
Беспорядок сложно описать. Особенно в деталях.
Покойный американский физик Ричард Файнман выразил это так: «Мы измеряем беспорядок тем количеством способов, которым может быть изменено внутреннее содержание таким образом, чтобы извне все выглядело по-прежнему».
Энтропия — это мера количества информации, которую мы не принимаем во внимание, когда рассматриваем систему снаружи: движение газа как температура, серия букв как набор символов. Если мы внутри системы, мы можем получить эту информацию, если она будет нам нужна. Если мы снаружи системы, мы «отсеиваем» ее — или вообще никогда не обладаем ею.
Информация — это выражение разницы между нахождением внутри и снаружи: температура/молекулы, количество букв/сообщение. Информация и энтропия сообщают нам нечто о разнице между описанием или контролем системы снаружи и изнутри.
Если мы посмотрим на газ снаружи, со своего уровня описания, где нас больше всего интересует тепло, мы можем суммировать все в сжатом общем описании: макросостояние тепла измеряется в виде температуры. Если же мы посмотрим на газ с «его собственного» уровня описания, где все состоит из молекул в движении, нам придется перечислить огромное количество бит, которые описывают огромное количество простых состояний: микросостояния молекулярного движения, которые измеряются как скорости.
Если мы будем рассматривать газ снаружи, мы сможем выделить определенное количество энергии тепла постольку, поскольку мы соблюдаем второй закон термодинамики, который описывает газы извне. Если мы взглянем на него изнутри, мы можем получить намного больше энергии из молекулярного движения газа — но это если нам удастся избавиться от всей той информации, которую мы уже получили.
Пока мы находимся снаружи, мы можем быть полностью индифферентны к той информации, которая имеется внутри газа. Но в это время мы обязаны соблюдать второй закон термодинамики и называем эту информацию «энтропия».
Если мы хотим получить доступ к энергии хаотического теплового движения, мы должны признать все микросостояния молекулярного движения, которые до этих пор мы игнорировали, просто заявляя, что тепло подразумевает определенный уровень энтропии. Мы должны получить информацию обо всех и каждых из этих микросостояний.
Но теперь у нас проблема: нам придется либо напрячься, чтобы сохранить контроль над всей этой информацией — или снова ее забыть. В долгосрочной перспективе и то, и другое окажется слишком дорогостоящим.
Демон Максвелла хочет описать газ сразу и изнутри, и снаружи. Он хочет знать, где находятся молекулы — и в то же самое время наслаждаться теплом. Но так не получится, даже если вы и демон.
В 1988 году Войцех Зурек задал важный вопрос: а что, если демон настолько хитер, что сначала начинает измерять все молекулы, а затем суммирует все свое полученное знание в очень простом описании, к примеру: «Все молекулы находятся в левой камере»? Эта информация не содержит большого числа бит — на самом деле только один. Избавиться от нее не будет стоить дорого, и тем не менее она содержит знание, которое можно использовать, чтобы выиграть джекпот.
Знание о нашем мире интересно тем, что иногда оно может быть обобщено с такой завораживающей красотой, что великие озарения можно уложить всего лишь в несколько строчек. И демон должен быть в состоянии сделать то же самое — и одновременно наслаждаться своей наградой.
В конце концов — он же демон, а не смертный?
Глава 3. Бесконечные алгоритмы
Если наука может достичь своих целей, то и демон Максвелла тоже может достичь своих целей — пробить дыры в самом фундаментальном законе природы, открытом наукой.
В действительности это последствия вопроса, заданного Войцехом Зуреком в 1988 году: если единственная причина, по которой не работает демон Максвелла, заключается в том, что демону приходится тратить огромное количество энергии на то, чтобы забыть все, что он узнал, демон мог бы суммировать свои знания в новой формуле, которая не потребует за забывание высокой платы. Затем он сможет воспользоваться практически всеми преимуществами своего знания мира на молекулярном уровне: он сможет извлекать тепло из ночного мороза — бесплатно. Второй закон термодинамики будет нарушен, вечный двигатель станет возможным — и привычное научное видение мира окажется под угрозой.
Так что, скорее всего, у демона не получится «сжать» свои знания до нескольких простых формул и данных, которые рассказажут всю историю молекул в контейнере, где действует демон.
Но если демон не сможет этого сделать, это наверняка будет не по силам и человеку? Целью науки всегда было создание наиболее краткого из всех возможных описания мира. Но этой краткости, с которой может быть описан мир, есть свой предел. Иначе с демоном Максвелла будут проблемы.
Это следствие вопроса Войцеха Зурека: если мы сможем доказать, что у нас получится описать весь мир в достаточно краткой форме, самое фундаментальное утверждение в нашем восприятии мира будет сломано: нарушится второй закон термодинамики.
Демон Максвелла — это не просто проблема изучения тепла и термодинамики. Демон Максвелла — это проблема для всей нашей космографии — понятие о том, что весь мир может быть детально описан всего лишь несколькими короткими уравнениями почти божественной красоты, является неверным.
Так и есть. Это было доказано в 1930 году в ходе изучения одной из самых базовых задач, лежащих в основе математики. Это было открытие, которое полностью преобразило ситуацию для математиков и логистиков, открытие, которое заставило ученых признать, что они никогда не смогут ничего доказать в этом мире, что человеческое понимание мира будет навсегда состоять только из интуитивных озарений, когда нельзя будет доказать, что люди знают о мире больше, чем могут объяснить через формальные системы.
Это осознание, которое по понятным причинам было названо самым глубоким из всех когда-либо созданных доказательств, касается пределов уверенности человеческого знания, пределов того, что мы в состоянии доказать. Это доказательство того, что все доказать нам не удастся — даже если мы будем знать, что это правда.
Когда математик Курт Гедель опубликовал доказательство своей теоремы в январе 1931 года, он вряд ли осознавал, что это может соотноситься с термодинамикой и невозможностью построения вечного двигателя. Потребовалось еще полстолетия и стало возможным почти с облегчением осознать, что именно теорема Геделя привела к объяснению того, почему не работал демон Максвелла.
Ведь в теореме Геделя мы просто вплотную подходим к самому порогу всех формальных знаний — и, следовательно, в каком-то смысле к единственному точному знанию, которым мы в состоянии обладать: бесконечность истины никогда не получится охватить одной-единственной теорией.
Только сам мир настолько велик, чтобы понять весь мир. Невозможно создать такую карту всего мира, которая включала бы в себя абсолютно все, если только эта карта не будет являться самой территорией — а в этом случае она, конечно, не будет картой.
Современное представление математики о своих собственных основах было уничтожено одним ударом. Мечты об уверенности увяли.
«Wir Mussen Nur Wissen, Wir Werden Wissen». Это заключительная фраза, которую произнес великий математик Давид Гильберт в своей великой лекции, когда его родной город Кенигсберг сделал его почетным гражданином 9 сентября 1930 года. «Мы должны знать. Мы будем знать».
В течение десятилетий Давид Гильберт высказывался в пользу ясных и определенных логических основ математики. В 1900 он перечислил задачи, решение которых позволит взять основы математики под полный контроль. Необходимо было показать, что математическая наука включает в себя связную, непротиворечивую и исчерпывающую логическую систему.
Снова и снова в течение первых десятилетий 20 столетия Гильберт подчеркивал, что подобное абсолютное разъяснение основ математики не за горами и мысль о том, что любая математическая задача может быть решена, имеет под собой основания. «Мы все в этом убеждены!», — сказал он и продолжил описанием мечты математика: «В конце концов, когда мы посвящаем себя решению математической проблемы, нас привлекает именно зов, который мы слышим внутри себя: вот проблема, ищи решение, ты можешь найти его чистой силой своей мысли, так как в математике нет места понятию «ignorabimus» — «не знаем и не узнаем».
В 1930 году, когда Гильберту было 68 лет, он ушел с поста профессора в Готтингене, столицы немецкой математики, и одна из наград, которой он был удостоен, стала для него особенно ценой — он стал почетным гражданином своего родного города. Церемония проходила осенью, когда Немецкое общество немецких ученых и физиков собралось на свою 91-ю конвенцию в Кенигсберге, который играл очень важную и особую роль в интеллектуальной истории Германии — именно здесь жил и всю жизнь работал философ Иммануил Кант.
Давид Гильберт решил прочитать по этому случаю большую лекцию по случаю получения этого звания — лекцию, в которой он смог бы провести связь с Кантом, одним из самых великих философов современности — а, возможно, и самым великим. В работе под названием «Naturerkennen und Logik» он высказал прямую, хотя и вежливо сформулированную критику величайшего сына Кенигсберга.
В конце 1700 годов Кант осознал, что человеческое знание базируется на определенном количестве предпосылок, которые предшествуют опыту. Мы можем познавать мир только потому, что наше знание базируется на серии концепций и категорий, таких, как время и пространство, которые сами по себе не могут быть познаны. Мы смотрим на мир через очень специфические рамки, которые мы не можем подвергать сомнениям, так как они сами по себе составляют предпосылку для того, чтобы мы вообще были в состоянии видеть. Кант говорит об априори в знаниях, концепциях и категориях, которые являются предвзятым и необходимым условием для любого понимания.
С этим не согласился Гильберт. «Кант сильно переоценивал роль и размеры априори, — отмечал он по этому поводу. — Теория априори Канта содержит антропоморфический шлак, от которого нужно освободиться. После того, как мы от этого избавимся, останется только то априорное знание, которое является основой чистого математического знания».