Холмогоров приравнял сложность к случайности, а, следовательно, и сложность к информации. Это не самая лучшая идея, так как благодаря ей обезьяна, с сумасшедшим усердием барабанящая по клавишам, порождает больше сложности, чем творения Иоганна Себастьяна Баха.
Таким образом, с сложностью Холмогорова что-то было явно не так.
Но в то же время эта мера является самой привычной. И потому в 1986 году возникла проблема. «Интуитивное представление о сложности структуры не совпадает с единственным объективным определением сложности любой специфической структуры, которое видится возможным (имеется в виду определение Холмогорова)», — объясняет Грассбергер. — Это загадка, известная уже в течение определенного времени, хотя создается впечатление, что в печатном виде она появилась только недавно».
Бернардо Хуберман и Тад Хорр, ученые в исследовательском центре Rank Xerox, Пало Альто, Калифорния, в 1985 году указали, что сложность должна лежать где-то между порядком и беспорядком, и, следовательно, ее невозможно измерить в качестве алгоритмической сложности информации. Они предложили другой способ измерения сложности, который предполагал, что она является наибольшей в системах, в которых не слишком много и не слишком мало порядка.
Грассбергер позже осознал, что подход Хубермана и Хогга был не нов: еще в 1962 году его выразил Херберт А. Саймон, один из основателей исследований искусственного интеллекта.
Тем не менее нам не придется возвращаться во времени дальше 1986 года за тем, что ведущий международный физик вроде Питера Грассберга признал полной новинкой предположение о том, что сложность лежит между порядком и хаосом и что она довольно существенно отличается от случайности, которая измеряется информацией Шеннона.
Тем не менее перед тем, как лекция 1986 года была напечатана, Грассбергер, один из самых благородных представителей физики, демонстрировавший вежливость и скромность, в доказательной части прибавил извинения: «В то время, когда я писал это, к сожалению, я не был знаком с понятием С.Х. Беннетта о «логической глубине».
А в предыдущем году произошел великий прорыв в изучении сложности.
«У меня есть критерий смысла», — робко высказался Чарльз Беннетт во время обеда в «Паскале» в Санта Фе в апреле 1990 года. Беннета и его близкого коллегу из IBM Рольфа Ландауэра попросили объяснить, что исследования вычислительной теории могли бы рассказать о нашей повседневной жизни.
«Серия подбрасываний монетки может иметь высокую информационную составляющую — но мало пользы. Эфемерида, дающая информацию о положении Луны и планет на каждый день в течение столетий, содержит не больше информации, чем уравнения движения и изначальные условия, на основе которых она была высчитана — но она позволяет владельцу не трудиться над тем, чтобы самому пересчитывать эти положения, — написал Чарльз Беннетт в 1985 году, когда представлял свои критерии смысла. — Ценность сообщения, таким образом, скорее всего, содержится не в его информации (его совершенно непредсказуемой части) и не в его очевидной избыточности (словесные повторения, неравная частота цифр), но скорее в том, что может быть названо его скрытой избыточностью — это части, которые можно считать предсказуемыми лишь с натяжкой. Другими словами, ценность сообщения представляет собой объем математической или другой работы, которая уже выполнена тем, кто его послал, который принимающей стороне не придется повторять».
Логическая глубина. Это название критерия Беннетта: логическая глубина сообщения — это мера его значения, его ценности. Чем больше сложностей у отправителя, тем больше логическая глубина сообщения. Чем больше «вычислительного времени» он потратил — с помощью своей головы или компьютера — тем большей будет ценность сообщения, так как в этом случае отправитель избавляет получателя от необходимости самому выполнять эту работу.
Больше или меньше времени придется в результате потратить — не столь важно (для любого, кроме телефонной компании). Важно то, сколько времени было потрачено на создание сообщения для передачи.
В 1985 году Беннет предположил, что сложность может быть измерена как логическая глубина. Она также может быть использована как критерий, с помощью которого мы сможем определить, сколько смысла содержится в сообщении. Сложность нужно измерять не продолжительностью сообщения, а той работой, которая предварительно была выполнена. Смысл не возникает из информации в сообщении — он возникает из информации, которая была отсеяна в процессе формулирования сообщения, которое имеет определенную информационную составляющую.
Важно не то, чтобы сказать, как можно больше. Смысл в объеме размышлений перед тем, чтобы что-то сказать.
«Если говорить неофициально, логическая глубина — это количество шагов дедукции, или причинная связь, которая соединяет вещь с ее вероятным источником», — пишет Беннет. Но можно дать и более точное определение.
Мы начинаем с алгоритмической информационной теории: сообщение можно сжать до самой возможной короткой формы, до самого короткого описания, которое позволит машине Тьюригна сформулировать сообщение. Самая короткая форма — это мера действительного количества информации, присутствующей в сообщении. Но машине Тьюринга потребуется определенное время, чтобы сформулировать само сообщение, базирующееся на самом коротком возможном описании. К примеру, когда законы, управляющие движением планет, нужно перевести в таблицу солнечных затмений. Сжатую информацию нужно распаковать. Это требует времени. Это время и будет измеряться как логическая глубина.
There is a bus every seven minutes. The buses depart from the bus station twelve minutes before they get to my bus stop. The first bus leaves at five. It is now half past six. When is the next bus? At 17:54.
Каждые 7 минут приходит автобус. Автобусы отъезжают со станции за 12 минут до того, как они доходят до моей остановки. Первый автобус отправляется в пять. Сейчас половина седьмого. Когда будет следующий автобус? В 17:34.
Информационная составляющая «17:34» не очень велика — сама по себе. Но время вычисления довольно значительно, особенно если я только выхожу из двери. Кто бы ни поработал уже над вычислением результата, может помочь, сообщив его другому человеку. Эта помощь сэкономит получателю определенное вычислительное время — она содержит смысл.
Логическая глубина — это мера процесса, который ведет к определенному количеству информации, а не к количеству информации, которая была произведена и может быть передана. Сложность, или смысл — это мера процесса производства, а не продукта, скорее рабочего времени, а не результата работы, информации, которая была отсеяна, а не оставшейся информации.
Понятие логической глубины, следовательно, будет перпендикулярно информационному содержанию. Все обладает номинальной стоимостью в отношении информационного содержания. Но номинальная стоимость не всегда может многое нам сообщить о глубине — насколько сложно было ее создавать.
За данным сообщением или продуктом может стоять огромное количество работы или мыслительных усилий. Тем не менее они могут оставаться незамеченными. Сложно заставить вещи выглядеть простыми. Ясность требует глубины.
С другой стороны, ерунда не отличается глубиной: вздор — это просто беспорядочная пустая болтовня, которая не может быть выражена более кратко, так как в ней нет порядка. Следовательно, не существует разницы между самой возможно короткой программой для его повторения и самим этим вздором. Так что не потребуется никакого вычислительного времени — только то время, которое потребуется, чтобы произнести этот вздор.
У обычного беспорядка тоже нет глубины, так как беспорядок нельзя описать короче, чем он сам себя описывает, просто будучи беспорядком.
Суть предложения Беннетта заключается в том, что любые осмысленные или сложные количества можно описать в более короткой форме, хотя это и необязательно: они могут быть сжаты в виде краткого рецепта.
Живой организм можно определить по нескольким генам — но, чтобы это сделать, потребуется время. Великую оперу можно написать, используя всего несколько нот — но, чтобы ее поставить, потребуется много работы. Годичную таблицу фаз луны можно высчитать по простому алгоритму. Но на это уйдет время.
Беспорядок, вздор и то, что просто срывается с языка, нельзя, однако, описать более кратко. Самая короткая программа будет равняться самой этой болтовне.
Понятие Беннетта указывает, что сложность — это нечто, для возникновения чего требуется время. Время, за которое создается порядок. Время, за которое отсеивается информация, чтобы пришлось меньше ее обрабатывать. Вычислительное время на компьютере или эволюционное время на Земле.
Термодинамика, к примеру, позволяет живым существам само организовываться. Им, безусловно, приходится перерабатывать большое количество пищи (тем самым экспортируя энтропию), но зато они могут развиваться и становиться настолько сложными, что обучаются читать книги. Но это происходит медленно: чтобы живые существа само организовались, требуется время. Биологическая эволюция была процессом, который занял много времени — и для того, чтобы человек вырос достаточно большим для того, чтобы читать книги, тоже нужно время. Беннетт сформулировал закон «медленного роста» для сложных систем. Для того, чтобы вещества организовались в живые существа, к примеру, требуется время. Много времени. Но это возможно. На земле это произошло в течение нескольких миллиардов лет.
С другой стороны, смерть и разрушение могут происходить мгновенно — и при этом почти без затрат времени возникают большие объемы информации. Мы можем создать огромное количество информации, подбрасывая монетки или разбивая на кухне тарелки. Чтобы описать результат, потребуется много информации. Но это не слишком интересно — в этом нет глубины.
Понятие логической глубины является весьма значительным. Оно подразумевает, что для понимания сложности главным будет не номинальная стоимость информации — а предыдущий процесс отсеивания информации. В информации важно то, что раньше присутствовало — а теперь отсутствует.
Большинство того, что мы считаем стоящим обсуждения, включает в себя очень запутанные вещи и мысли: много глубины, но, возможно, не так много будет видно на поверхности. В процессе мы отсеиваем большое количество информации, и остаться ее может не так много. Структура с богатым прошлым. Интересными вещами в жизни могут оказаться вовсе не те, которые приходится долго описывать и объяснять, а те, для постижения которых потребовался долгий опыт.
Но в понятии логической глубины есть и серьезная проблема. Она предполагает: то, о чем мы говорим, может быть приравнено к результату вычислений. Это может иметь смысл по отношению ко многим материальным величинам, как живым, так и неживым. Многие физические и биологические системы могут быть поняты как результат последовательности законов, которые действуют через процессы, описанные в этих законах. Другими словами, на компьютере мы можем симулировать эволюцию системы. Затем мы можем задать вопрос: сколько времени потребовалось на вычисления. Чем больше времени, тем больше глубина системы.
Биологическое существо является результатом очень длительных эволюционных вычислений. Изобретательные научные законы могут быть результатом очень длительных умственных усилий. «Да» или «нет» могут быть результатом огромного количества сложного опыта.
Но мир не состоит целиком из вычислений, не говоря уже о машинах Тьюринга. Самые интересные вычисления в мире происходят в «компьютере», который работает совершенно по-другому, нежели машина Тьюринга — в мозгу. Возможно, все математические и символические вычисления, которые производит мозг, могут быть воспроизведены машиной Тьюринга. Но эта машина не сможет вычислить все: как показал Гедель, человеку известна истинность утверждений, которые не могут быть доказаны математическими символами. В конечном итоге мы отсеиваем информацию способами, не известными машине Тьюринга. Способами, не известными нам самим.
Так что, если рассматривать все объекты как результат компьютерных вычислений, остается кое-что неудовлетворительное на интуитивном уровне. Знаменитым писателям и композиторам это совершенно не нравится (хотя идея логической глубины признает их превосходство над обезьянами и другими акробатами на клавиатуре).
Другую проблему представляет привязка понятия Беннетта к алгоритмической информационной теории и ее понятием кратчайшей возможной программы. Что такое кратчайшая возможная программа? Работа Чаитина, которая базируется на теореме Геделя, говорит, что мы можем никогда не узнать, действительно ли мы нашли самое короткое описание того, как сделать тот или иной объект. И вычислительное время может оказаться совершенно не таким, как ожидается, если в нашем распоряжении оказался неверный алгоритм. Необоснованно коротким, или необоснованно длинным.
Фольклор разных стран мира полон примерами того, как люди могут делать что-то очень простое очень сложным способом. Современное общество может похвастать огромным количеством профессионалов, которые являются экспертами по достижению простых решений исключительно сложными способами: бюрократы, академики и солдаты, к примеру. Математические задачи составляются учителями, у которых отлично получается сделать работу над интуитивно понятным арифметическим примером очень сложной.
Мы стремимся приписывать высшую степень сложности тем вопросам, которые считают сложными государственные служащие.
Фундаментальная проблема в опыте Геделя-Чаитина является очень глубокой. Формальными методами мы никогда не сможем решить, является ли глубина реальной или мнимой. Это фундаментальная проблема нашего описания мира — и та или иная идея не должна пугать нас только потому, что она приводит к подобной проблеме. Частично так происходит потому, что представление Беннетта требует объездного пути через компьютер, где и возникает эта проблема — хотя эта идея «объезда через компьютер» конечно же возникла для того, чтобы оформить это представление очень точно. Тем не менее это не так, раз уж теорема остановки Тьюринга показывает, что время вычисления для той или иной программы не может быть установлено иначе, чем посредством выполнения этого вычисления.
Но центральный момент понятия логической глубины Беннетта — это не способ, которым ее можно подсчитать. Центральный момент — это выяснить, сколько информации было отсеяно в процессе. Именно эта идея и стала революционной — а не определение понятия логической глубины.
В течение многих лет Ганс Кун, немецкий химик из Геттингена, разрабатывал родственную идею, применимую к биологическим системам. В попытке понять происхождение и эволюцию жизни он сфокусировался на том, как по пути эволюции отсеивается информация. Согласно Куну, биологическая эволюция состоит из серии выборов, связанных с отношениями организма и его окружения. Это окружение подвергает организм давлению, и его выбором становится действие — чтобы выжить. Его гены содержат опыт выживания — в противном случае не было бы ни организмов, ни генов.
Чем дольше выживает организм, тем большим будет его опыт — и тем более ценными становятся его гены. Поэтому важно не то, сколько у него генов — другими словами, насколько длинная у него ДНК. Самое интересное — это богатство опыта, которое умещается в этих генах.
Информация, содержащаяся в генах организма, имеет ценность, которая пропорциональна массе сжатого в них опыта. Нам интересна не номинальная ценность информации — то есть размер генов — а та информация, которая была отсеяна. «Это качество составляет знание, где «знание» измеряется общим количеством отсеянных бит информации», — писал Кун. Следовательно, биологическое знание можно просто определить так: это — отсеянная информация.
Это также позволяет решить проблему, которая волновала многих ученых, когда была открыта. У лилии намного больше ДНК, нежели у человека. Да, они красивее — но уж точно не умнее нас!