Информация ассоциируется с энтропией — мерой термодинамического беспорядка. Макросостояние «12 бросков монеты» соотносится с большим количеством микросостояний (бинарные цифры), чем макросостояние «3/7». В 12 бросках содержится больше информации.
Информация — это мера случайности, так как случайность — это мера беспорядка: того, что сложно описать.
Информация — это мера того, какая неожиданность нас ожидает: в беспорядке больше неожиданностей, чем в порядке. На самом деле именно это мы и подразумеваем под порядком: нечто, что не может нас удивить, так как оно упорядочено.
Странность определения информации, данного Шенноном, становится теперь более постижимой: информация может быть определена только тогда, когда мы знаем ее содержание, когда мы можем сказать, о каких макросостояниях и микросостояниях мы ведем речь. Информация может быть определена только тогда, когда мы объясняем, что мы имеем в виду под порядком.
Теорема Геделя говорит нам о том, что мы никогда не сможем знать, есть ли порядок в случайности — порядок, который мы просто пока не увидели. Чтобы установить, сколько информации содержится в беспорядке, нам сначала необходимо знать, сколько порядка уже обнаружено в этом беспорядке. Мы не можем определить информацию до тех пор, пока мы не узнаем, какой порядок обнаружил получатель информации. Информацию нельзя установить без знания ее содержания. И не потому, что с нашим понятием информации что-то не так, а потому, что понятие порядка и случайности обязательно включает в себя элемент субъективности.
Каждый из этих трех джентльменов создал теорию алгоритмической информации независимо друг от друга. Андрей Холмогоров, один из величайших математиков столетия, работал в Москве; Реймонд Соломонофф — в Кембридже, Массачусетс, а Грегори Чаитин — в Нью-Йорке. Грегори Чаитину удалось дальше всего продвинуться в этой теории. В 60-е годы прошлого века, когда родилась эта теория, Чаитин учился в Городском университете Нью-Йорка. В настоящее время он работает в IВМ Laboratories в Йорктаун Хайс около Нью-Йорка (там, где работают Рольф Ландауэр и Чарльз Беннетт).
Чаитин доказал, что открытия Геделя естественны и легки для понимания: Гедель показал, что любая формальная система, состоящая из конечной серии постулатов или аксиом, всегда будет содержать неполные утверждения. Подобную систему невозможно полностью изучить изнутри. Мы никогда не сможем ее полностью постичь, если ограничим себя формальными методами доказательства.
«Теорему Геделя можно продемонстрировать с помощью аргументов, которые будут иметь информационно-теоретический привкус, — пишет Чаитин. — В подобном подходе можно утверждать, что если теорема содержит больше информации, чем данный набор аксиом, то ее невозможно вывести из этих аксиом. Это составляет контраст с традиционным доказательством, которое базируется на парадоксе лжеца. Эта новая точка зрения предполагает, что феномен неполноты, открытый Геделем, является скорее естественным и широко распространенным, нежели необычным и патологическим».
Но Чаитин также вывел свою теорему как продолжение теоремы Геделя. Он начал с задачи остановки Тьюринга — можем ли мы знать, когда остановится компьютер, решив задачу? Ответ таков: мы узнаем только тогда, когда он остановится.
Чаитин задался вопросом: какова была вероятность, что машина Тьюринга, которой дана в высшей степени случайная программа, остановится, так как она нашла решение? Он доказал, что возможность эта не обнаруживаема. Мы не можем ее подсчитать. Это число под названием Омега. Оно находится где-то между 0 и 1. Но мы никогда не сможем его узнать.
Чаитин доказал: это значит, что сама теория целых чисел должна быть пронизана случайностями. Теорию чисел нельзя описать, не вводя в картину случайные элементы.
В 1988 году британский математик Иан Стюарт, которого можно с уверенностью считать самым знающим комментатором современной математической науки, писал в журнале «Nature»: «Для основ математики и даже до философии применительно к науке это столетие оказалось столетием разбитых иллюзий. Одно удобное предположение за другим разлетались вдребезги в лицо математикам. Предположение о том, что формальная структура арифметики является точной и постоянной, оказалось бомбой замедленного действия — а Чаитин только привел в действие детонатор».
Позже в том же году Чаитин написал в «Scientific American»: «Какое влияние на математику могли оказать неполнота теоремы Геделя, проблема остановки Тьюринга и моя собственная работа? Смысл в том, что большинство математиков предпочитают не обращать внимания на эти результаты. Конечно, они согласны с принципом того, что любой конечный набор аксиом не является полным — но на практике они исключают этот факт, как не оказывающий непосредственного влияния на их работу. К сожалению, однако, иногда он все же влияет. Несмотря на то, что оригинальная теорема Геделя, судя по всему, применима только к необычным математическим утверждениям, которые не представляют особого практического интереса, алгоритмическая информационная теория показала, что неполнота и случайность являются естественными и повсеместно распространенными».
Математика, судя по всему, слишком важна, чтобы оставить ее только математикам.
Чаитин согласился бы с этим. «Тот факт, что многие математические задачи оставались нерешенными сотни и даже тысячи лет, только подтверждает мое утверждение.
Математики стойко предполагают, что невозможность решения этих проблем заключается только в них самих — но не может ли быть так, что проблема заключается не только в неполноте их аксиом?» Он добавляет: «Это может казаться большинству математиков нелепым предположением — но для физика и биолога оно не будет столь уж абсурдным».
«Это вопрос, который поистине достоин Уотергейта: что знает демон Максвелла — и когда он это знает?» — с большим энтузиазмом сказал Войцех Зурек в своем вступительном обращении на семинаре по степени интеграции, энтропии и информационной физике в Институте Санта Фе в 1990 году.
Идея Зурека была довольно хороша, как он объяснил на первой встрече группы двумя годами ранее. Его обращение называлось «Алгоритмический информационный контент, тезис Черча-Тьюринга, физическая энтропия и демон Максвелла». Его идея соединяла воедино эти до того времени несоединимые области физики и математики.
В числе слушателей были Ландауэр и Беннетт. Зурек процитировал их решение задачи демона Максвелла — решение, которое указывало, что проблемой демона было забывание того, что он узнал: как только он узнал, где находятся все молекулы в контейнере и как они движутся. В направлении самых быстрых из них в одну камеру, он, конечно, преуспел — но теперь ему придется очень много забыть. Проблема заключалась не в том, как думали Сцилард и позже Бриллоун, чтобы узнать, где находятся молекулы. Проблема заключалась в том знании, которое приобретает демон. Ландауэр доказал: чтобы избавиться от этой информации, придется платить; Беннетт доказал, что цена этого искупает второй закон термодинамики. Демон не сможет обеспечить энергию для вечного двигателя.
Но затем Зуреку пришла идея: а что, если демон настолько умен, что сможет сжимать свое знание? Что, если он сможет описать движение молекул в очень краткой форме, так что очистка его памяти не будет обходиться слишком дорого? Если бы он мог помнить, к примеру, что все более быстрые молекулы имеют определенное расположение (на дне контейнера), это описание бы не требовало слишком большого количества бит — а затем он мог бы это забыть? Смог ли бы этот интеллектуальный демон создать вечный двигатель и нарушить наше видение мира?
С большим удовольствием Зурек описал, как ему удалось решить эту задачу: существуют пределы того, насколько умным может быть демон. Физические пределы. Он не сможет описать схему движения молекул способом, который был бы менее сложным, чем само это движение — а физические законы дают нам минимальный уровень сложности, который применим к вещам.
Конечно, для того, чтобы описать ситуацию, при которой все молекулы собираются в левой части контейнера, много бит не потребуется. Но с физической точки зрения такая ситуация крайне маловероятна — это как раз такая ситуация, которую демон попытается применить в своей умной попытке выиграть.
Следовательно, демону придется принять во внимание тот факт, что в скоплении молекул, которое находится в равновесии, всегда наблюдается беспорядок — и описание его не может быть более коротким, чем этот беспорядок. Нарушения равновесия возможны — но они редки и ничего не будут значить в долгосрочной перспективе.
Таким образом Зурек перевел физический беспорядок в категорию описания. Ключом к этой операции, как было доказано, является алгоритмическая теория информации, так как огромное скопление молекул может быть описано очень длиной цепью цифр. Они появляются в результате того, что все молекулы измеряются и взвешиваются с головы до пят: результат — серия чисел.
Сложность этих чисел должна отражать сложность описания состояния молекул. Как раз потому, что мы имеем дело со случайным движением тепла, числа, которые будут описывать молекулярное движение, будут включать в себя большой элемент случайности. Основная характеристика подобной случайности заключается в том, что она не может быть описана произвольно кратко.
И Зурек использовал алгоритмическую информационную теорию, чтобы перевести физическую случайность в самое короткое описание. Это дало ему меру того, сколько информации демону придется отбросить чтобы «сохранить холодную голову».
Эту меру можно сравнить с работой, которую удастся выполнить демону, имеющему такое описание. Если второй закон работает, случайность в движении молекул найдет свое отражение и в случайности описания, что сделает его достаточно длинным и в результате выгода окажется меньше, чем стоимость.
Зурек обнаружил, что второй закон может спасти одна особая теорема информационной теории — неравенство Крафта. «Успех умного демона Максвелла исключается как следствие теоремы, которая была предложена через столетие после второго закона в совершенно другом контексте — в составе теории коммуникации!» — нетерпеливо объяснял Зурек.
Пока аудитория перешептывалась и аплодировала этому замечательному примеру связи между совершенно разными областями исследования и получала удовольствие от этого открытия, Зурек начал пересказывать лекцию, которую он прочитал несколькими месяцами ранее и в которой поделился своим триумфом в аудитории одного американского университета.
«А потом кто-то задал мне один из тех вопросов, на которые никогда не знаешь, как отвечать. Очень умный вопрос», — сказал Зурек и с юмором посмотрел на физика, который до этого все утро спрашивал, с чего бы это его машине интересоваться энтропией, когда она является всего лишь субъективным понятием.
Аудитория быстро поняла, что этот вопрос задал не кто иной как Уильям Унру из Ванкувера. Уилл Унру принадлежит к великолепной плеяде физиков, которых лучше всего можно описать словами «проницательная развязность» — герр Варум, мистер «Почему», как называли Геделя в школе. На данной встрече эту роль играл мистер Унру.
«Он спросил меня, что произойдет, если демон окажется настолько умным, что начнет измерять только молекулы, измерение которых окупится, — сказал Зурек, — а про остальные просто забудет».
Хоть Билл Унру и спросил, но в тот момент Зурек не ответил, так как ответ не пришел ему в голову.
Но в Санта Фе ответ на этот вопрос был у него уже готов. Детальный анализ логических последствий показал, что он был очень прост. Демон, конечно, должен был забыть обо всех тех молекулах, помнить о которых было бы нерентабельно.
Но вот само забывание, как объяснил Зурек, имеет свою цену. «Это верно!», — согласилась аудитория, немного посмеявшись над Унру, который в последние годы задал столько вопросов, многие из которых были весьма хорошими, что спокойно мог жить с осознанием того, что в конечном итоге большинство из этих вопросов оказались глупыми.
Вопрос Уилла Унру доказывает, что аргумент можно рассматривать и наоборот: иногда, очень-очень редко, демон может оказаться в контейнере, где все молекулы собрались слева. Эта ситуация настолько же невозможна с физической точки зрения, насколько легко описываема: 1 бит. Тяжело найти, легко забыть: нет «плохих» молекул, о которых нужно помнить. Но когда демон сталкивается с такой ситуацией (не создавая ее сам), он может извлечь из нее работу. В противном случае с информационно-теоретическим анализом возникает проблема. Физик Чарльтон Кейвз описывает это так: «Иногда демон выигрывает — но не в долгосрочной перспективе».
Работа Зурека стала триумфом не только для Зурека, но и для всего собрания. Люди собрались для того, чтобы услышать описание физики в рамках информации. Идея, конечно, не нова — еще со времен теории информации Шеннона в 1948 году люди пытаются практически все объяснить в рамках информации.
Новым стало то, что теперь было похоже — они куда-то пришли, как будто алгоритмическая информационная теория внезапно сделала возможной соединить физическую энтропию с информацией описания, как будто беспорядок и случайность могли быть поняты физикой, которая в основном сосредоточена на правилах и порядке.
Демон Максвелла действительно оказался ключом. Изучение этого хитрого маленького интригана оказалось наиболее полезным для понимания этих новых идей.
Ученым удалось создать «вычислительный аналог второго закона термодинамики», как Зурек нескромно сформулировал это в «Nature». Физическую энтропию можно понимать, как беспорядок, который можно объяснить через алгоритмическую информационную теорию. Плюс, конечно, невежество, которого у нас всегда в избытке. Сама безотзывность отсеивания информации решила эту задачу: «Я продемонстрировал, что второй закон термодинамики находится в безопасности даже от «интеллектуальных существ», пока их способность обрабатывать информацию поддается тем же законам, по которым работают универсальные машины Тьюринга… Теорема остановки Тьюринга подразумевает, что информация, которая необходима для работы с максимальной эффективностью, может быть защищена только посредством бесконечно длинных вычислений. Неразрешимость Геделя можно назвать дополнительным источником рассеивания».
Демон Максвелла не был изгнан. Он больше не угрожает второму закону, но вместо вредного демона он превратился в настоящего друга, в доказательство глубокого родства в нашем мире, о молекулярных составляющих которого мы не хотим знать — а, следовательно, никогда и не будем. Мы лучше будем просто ощущать тепло.
Если бы мир можно было исчерпывающе описать как произвольно короткое число алгоритмов, с демоном Максвелла возникла бы проблема. Но это невозможно. Древняя мечта ученых о всеобъемлющей теории, формуле мира, по которой можно было бы предсказать что угодно, осталась в прошлом.
Немецкий биолог Бернд-Олаф Купперс говорит об этом так: «… в рамках алгоритмической информационной теории существует строгое математическое доказательство утверждения, что мы никогда не сможем узнать, обладаем ли мы минимальной формулой, с помощью которой могут быть предсказаны все явления реального мира. Полнота научной теории в принципе никогда не может быть доказана».
Мы получаем удовольствие от таких кратких, элегантных построений, как формулы Максвелла для электромагнетизма. Но мы никогда не узнаем, можно ли выразить их еще более кратко — до того дня, когда нам удастся это сделать.
Жизнь всегда останется для нас открытой. Мы никогда не узнаем о том, что ее нельзя выразить еще прекраснее.
Количество красоты в мире увеличивается.
Глава 4. Глубина сложности
«Какое яблоко?» — Сет Ллойд был быстр. Очень быстр. На самом деле ему удалось выдать довольно хорошую практическую шутку.
Физик из Калифорнийского института технологии стоял спиной к затихшей аудитории. Он писал на доске формулы и одновременно объяснял, как ему удастся вывести сущность всех вещей из определения информации.