Это противоречит нашему обычному представлению о том, что информация является чем-то очень позитивным, хорошим. Мы привыкли рассматривать информацию с позитивной точки зрения, но это может оказаться полностью нецелесообразным - это предрассудок, который оказывает влияние на человека, живущего в информационном обществе.
Как утверждает Чарльз Беннет, "мы платим за то, чтобы нам доставляли газеты, а не уносили их. Интуитивно может показаться, что запись предыдущих действий демона может быть ценной (или по меньшей мере их ценность может быть бесполезной). Но "вчерашняя газета" (результат предыдущих измерений) забирает у демона ценное место в памяти, и стоимость очистки этого места нейтрализует ту пользу, которую демон извлек из газеты, когда она еще была свежей. Возможно, идея о том, что информация может иметь негативную ценность, сегодня, в эпоху растущих опасений по поводу загрязнения окружающее среды и информационному взрыву, который приносят компьютеры, кажется более естественной, нежели она казалась еще недавно.
В лабораториях IBM отлично известно, что информация тесно связана с энтропией, которая является мерой беспорядка. Время от времени мы можем просто складировать наши старые газеты в подвале. Но информация тоже нуждается в рециркуляции - избыток информации приведет нас к хаосу.
Но нам всем кажется, что информация - это благо, воплощение порядка, педантичности и правильных результатов. Этому мы научились, когда изучали арифметику в школе: все предварительные вычисления сделать на черновике, чтобы затем представить в чистовике аккуратно записанный результат. Мы научились избавляться от информации, а не приобретать ее. Тем не менее мы живем в мире, который верит, что информация - это то, что является ценным в информационном обществе.
Да, пожалуй, с нашим обычным восприятием информации действительно что-то не так (или с восприятием информации учеными в сфере естественных наук - эти два понятия не совпадают). Демон Максвелла уже указал нам на часть проблемы. Но кое-что было скрыто у него в рукаве - и мы снова возвращаемся к Людвигу Больцману.
За несколько лет до того, как умер Джеймс Кларк Максвелл, Больцман опубликовал серию работ, в которой разъяснял удивительную теорию о связи между понятием энтропии, которое выросло из учения об ограничении эффективности паровых двигателей, и теорией тепла как статистического завихрения мельчайших компонентов материи. Максвелл так и не узнал об этих работах, и, как пишет историк Мартин Кляйн, соответственно он "лишился удовольствия увидеть связь между энтропией и вероятностью".
Идея Больцмана была проста. Он ввел разделение между тем, что известно, как макросостояния и микросостояния - между характеристиками больших конгломератов материи и индивидуальными компонентами этой материи. Макросостояния - это такие показатели, как температура, давление, объем. Микросостояния включают в себя тщательное описание поведения каждого индивидуального компонента.
Температура облака газа - это макросостояние, который не может многое сказать нам о микросостояниях. Температура говорит нам о том, что молекулы неорганизованно движутся по отношению друг к другу со средней скоростью, которая выражается температурой и распределением скоростей, которое является статистическим и известно, как "распределение Максвелла-Больцмана". Оно говорит нам о том, что большинство молекул движутся со скоростями, близкими к средним, в то время как несколько молекул имеют скорости, которые намного больше или намного меньше средних показателей. На самом деле это не представляет для нас большого интереса: мы можем знать макросостояние - определенную температуру, но это не говорит нам почти ничего о состоянии отдельных молекул.
Так как при данной температуре у нас есть 117 тысяч миллионов миллиардов молекул (а обычно гораздо больше), то не слишком важно, у какой молекулы какая скорость, если они распределены по правилу, которое устанавливает распределение Максвелла-Больцмана - а это так и есть, раз уж они постоянно сталкиваются друг с другом.
Существует невообразимое количество различных способов распределения скоростей между … надцатью миллиардами молекул, которое будет соответствовать данной температуре. Существует множество микроскопических состояний, которые соответствуют макросостоянию, выражаемому температурой - и действительно неважно, какие из них на самом деле присутствуют в помещении.
Чем выше температура, тем больше скоростей, из которых можно выбирать. Увеличивается и количество микросостояний, которые соответствуют данному росту макросостояния - температуры.
Идея Людвига Больцмана, проще говоря, состояла в том, что макросостояния, которые реализуются через множество различных микросостояний, являются более неорганизованными, чем макросостояния, соответствующие всего нескольким микросостояниям. Согласно Больцману чем большим количеством микросостояний сопровождается макросостояние, тем большей будет энтропия последнего.
Макросостоянию "температура в помещении 21 градус по стоградусной шкале" соответствует очень много микросостояний, так что все их сосчитать очень сложно. Поэтому Больцман использовал математический фокус, известный еще с эпохи Возрождения, когда числа стали слишком большими, чтобы с ними оперировать: он взял логарифм количества микросостояний и сделал этот логарифм равным энтропии. Это просто означает, что, если вы будете спрашивать не о миллионе миллиардов (10) микросостояний или миллиарде миллиардов (10), а всего лишь о том, равен ли логарифм их числа 15 или 18. Более того, использование логарифмов несет в себе и еще одно важное преимущество, если речь идет о подсчете микросостояний.
Но важнее всего является базовая идея, неважно, каким математическим способом вы ее выразите: энтропия является мерой того, сколько микросостояний мы можем не принимать в расчет и почему мы выбираем вместо этого макросостояния. Энтропия - это мера того, насколько нам не нужно быть аккуратными - мы просто можем смести все под ковер, используя общий термин, который скажет нам все, что нужно знать - то есть температуру.
Будучи людьми, мы любим тепло. Температура представляет для нас интерес. Нас мало волнует движение молекул (точно также, как политические фигуры часто заинтересованы в своих избирателях только тогда, когда их набирается достаточно для состояния, которое может оказать пользу на выборах). Макросостояние - это выражение интереса, релевантность. Оно заключает в себе интерес. Нам интересно знать.
Хороший пример - покер. У вас есть колода карт. Когда вы ее покупаете, она находится в очень специфическом макросостоянии. Карты положены по порядку мастей и рангов. Это макросостояние соответствует только одному микросостоянию - когда все карты находятся в том порядке, в котором они поступают с завода.
Но прежде чем начнется игра, карты нужно перетасовать. Когда у вас будет колода перетасованных карт, у вас все еще будет одно макросостояние - перетасованные карты - но существует практически бесконечное количество микросостояний, которые соответствуют этому макросостоянию. Все способы, которыми могут быть перетасованы карты, различны - но у нас недостаточно энергии, чтобы их выразить. Поэтому мы просто говорим: карты перетасованы.
Чтобы начать игру, каждому игроку дается пять карт - "рука". Эта рука теперь является макросостоянием, в котором заинтересованы игроки. Оно может иметь различные формы. некоторые макросостояния включают в себя сходные карты - к примеру, пять карт той же масти, хотя и не находящиеся в последовательности - флеш. Другие макросостояния могут представлять собой пять последовательных карт, хотя и различных мастей - стрейт. Стрейт может быть сформирован различными способами - но их не слишком много. Существует гораздо больше вариантов формирования не-стрейта.
Среди множества состояний, которые описываются макроскопическим "стрейтом", есть небольшая группа стрейтов, которые известны как стрейт флеш. Здесь карты находятся не только в последовательности - они еще и одной масти. Лучшим из всех является флеш-рояль - последовательность от десятки до туза одной масти. Существует только 4 микросостояния, которые соответствуют макросостоянию "флеш рояль" - а вот макросостоянию, известному как "пара", соответствует астрономическое число микросостояний.
Ценность в покере - это выражение того, сколько микросостояний соответствует макросостоянию. Ваша рука является "сильной", если она не предполагает множество вариантов и, следовательно, встречается редко.
Существует выраженная связь между вероятностью и энтропией. Чем большим будет количество различных карт, которые могут складывать ту или иную руку, тем выше будет вероятность, что вам попадется такая рука. Таким образом, чаще всего вам приходится иметь дело со "слабыми" руками (с большим количеством энтропии), а не с "сильными" руками, где макросостоянию соответствует только очень небольшое количество макросостояний.
Цель игры - выяснить, у кого имеется макросостояние с самым низким уровнем энтропии.
Огромное количество микросостояний на самом деле настолько несущественно, что в покере для них даже нет названий. В ваших картах может не прослеживаться никакой схемы, и единственное, что вы можете заявить - это "крупные карты" - макросостояние, которое соответствует любому микросостоянию. Так как люди играют в покер для своего удовольствия, в игре есть возможность оказать влияние на макросостояние путем изменения микросостояния - то есть индивидуальных карт: вы можете тянуть карты. Это может помочь улучшить макросостояние до такого, которому будет соответствовать уже не так много микросостояний. Вы играете роль демона Максвелла - если вам повезет, вы вытащите хорошие карты вместо тех, от которых избавляетесь.
В игре есть и возможность притвориться, что макросостояние, которое у вас есть на самом деле, соответствует только очень небольшому количеству микросостояний - даже если на самом деле это и не будет правдой. Это явление известно под названием "блеф" и предполагает использование более продвинутых теорий, нежели нам предлагает Больцман. О них мы поговорим позже, в Главе 5.
Связь между энтропией и вероятностью может дать нам представление о том, почему увеличивается энтропия: вероятность получить низкоэнтропийное макросостояние меньше, чем вероятность высокоэнтропийного. Таким образом, все движется по направлению к более высокой энтропии.
Если макросостояние меняется, оно будет непреклонно вести к другому макросостоянию с еще более высоким уровнем энтропии - и, следовательно, с ним будет связано больше микросостояний, чем с первым. Следить за миром становится все более сложной и утомительной задачей.
В этом нет ничего таинственного. Все это становится очевидным, как только определено макросостояние. Но как миру узнать о том, что именно мы находим настолько скучным, чтобы не напрягать себя отслеживанием этого?
Больцман объяснял, что энтропия - это выражение количества микросостояний, которые соответствуют данному макросостоянию. Это может звучать как очень субъективная концепция, так как энтропия, по-видимому, выражает то, что нам неизвестно об известном макросостоянии. Высокая температура соответствует высокой энтропии, так как чем выше скорость молекул, тем больше существует вариантов образования различных схем их движения. Наш недостаток знания о микросостояниях растет по мере того, как в гостиной становится жарче. Энтропия - это мера невежества, но это комфортное невежество: на самом деле нет никаких причин, которые побуждали бы нас знать, куда направляется каждая молекула и с какой скоростью.
Энтропия - это выражение грубого структурирования, которое применимо на том уровне, на котором мы описываем предметы. Тепло - это весьма грубая концепция: имеется огромное количество знаний, которые мы радостно игнорируем. Тепло - это концепция, которая включает в себя огромное количество энтропии, так как эта концепция весьма грубая и она не рассматривает большую часть знаний о микросостояниях, которые мы не удосуживаемся приобрести. Ветер и течение - это несколько менее грубые концепции, так как мы знаем достаточно много о том, куда направляются молекулы, когда говорим, что на улице теплый бриз, а не просто заявляем, что: "На улице тепло".
Энтропия - это мера информации, к которой нет немедленного интереса - микросостояния, только думая о которых, мы уже устаем. Энтропия - это концепция, которая предполагает наличие значения только тогда, когда мы можем объяснить, за чем именно мы не будем следить. Концепция энтропии предполагает, что мы объяснили, какое макросостояние нас интересует. Но независимо от того, какое именно состояние мы выбираем - его энтропия растет.
Второй закон говорит нам, что мир становится все сложнее описать: беспорядок растет, его становится все больше, и все в конечном итоге превратится в трение и тепло. Беспорядок - это такой вид порядка, который настолько изобилует деталями, что становится беспорядком.
Откуда миру знать, что именно мы расцениваем как беспорядок? Почему наши учебники физики никогда не рассказывают нам о том, что концепции подобные энтропии бессмысленны, если не объяснить, какое именно макросостояние имеется в виду? Зачем учить школьников и студентов термодинамике, не рассказав им о том, что Максвелл и Больцман все время упоминали как способ, которым мы описываем мир? Так как подсознательно физики всегда знали о том, что интересует человека - тепло.
Это негласная предпосылка всей современной термодинамики - люди любят тепло. Вот почему термодинамика описывает тепло и сходные с ним макросостояния - то, что интересует людей. В свою очередь микросостояния - определенный порядок атомов и молекул - это то, что интересует физиков.
Но дать определение энтропии можно только тогда, когда мы знаем, кто его дает. Энтропия неопределима, пока нам не станет известной степень точности наблюдателя. Учителям физики это кажется настолько очевидным, что они не видят никаких причин рассказать об этом своим студентам.
Именно на это намекал физик Эдвин Джейнс, когда выступал в Санта Фе в 1990 году - на важность задать вопрос: что означают вещи, те вещи, о которых написано в наших учебниках физики. Джейнс переформулировал современную версию термодинамики и очень ясно осветил старые моменты работ Больцмана. В 1979 году он написал: "Энтропия в термодинамической системе - это мера степени невежества человека, чье знание о ее микросостояниях состоит всего лишь в оценке макроскопического количества Х, которое определяет ее термодинамическое состояние. Это полностью "объективное" количество в том смысле, что функция зависит только от Х и не зависит от чьей-либо индивидуальности. Следовательно, нет причин, почему она не может быть измерена в лаборатории".
Таким образом, энтропия может быть точно определена, когда вы установили уровень описания.
Эта концепция не является субъективной в том плане, что для каждого наблюдателя будет существовать собственная энтропия. Каждый, кто заинтересован в тех же макро- и микросостояниях, может обнаружить одинаковую меру энтропии. Но она является субъективной в том плане, что не будет иметь никакого смысла, пока вы не спросите у человека, заинтересованного в определении энтропии, в чем конкретно он заинтересован.
Это, впрочем, не исключает того, что энтропия является мерой невежества. Ведь она является именно мерой того невежества, которое сопровождает данный уровень грубости вычислений.
"Но с чего бы моей машине интересоваться тем, что я знаю о мире?" - спросил один физик в Санта Фе, когда Джейнс объяснял эти вещи. Ответ действительно очень простой: потому, что она построена такими же людьми, как и вы. Потому, что двигатель машины будет иметь как раз ту приблизительность, которую люди используют при описании мира: мы ощущаем тепло - но не ощущаем молекул. Наше описание мира приобретается через обработку того, что мы ощущаем. И оно воспроизводится в тех машинах, которые мы строим на базе своего знания.
Философ Пол Фейерабенд говорил о Больцмане: "Со своим осознанием гипотетического характера всех наших знаний Больцман намного опередил свое время - а возможно, и наше собственное".
В 1948 году инженер Клод Шеннон задал очень хороший вопрос: "Сколько стоит передать сообщение из одного места в другое?". Сцилард задавал вопрос, сколько будет стоит измерение. Шеннон же заинтересовался тем, сколько будет стоить общение. Отправным пунктом стала концепция бита - разницы между двумя идентичными состояниями: ответом на вопрос "да/нет".
Анализ Шеннона оказался революционным. Базируясь на идеях Сциларда, он стал основателем современной теории информации.
Когда мы говорим об информации в нашей повседневной жизни, мы имеем в виду ее содержание. Но Клода Шеннона интересовало не содержание. Его интересовала продолжительность телефонных разговоров.
Шеннон был инженером в лабораториях Белла, знаменитом исследовательском отделе AT&T. Он изучал сложность передачи сообщений в форме сигналов. Он был заинтересован в определении того, что требуется для передачи специфического сообщения через специфическое соединение - к примеру, телефонную или телексную линию.
Как можно измерить сложность передачи сообщения?
Шеннон предположил, что сложность коммуникации можно выразить с помощью понятия "неожиданное значение". Как измерить неожиданное значение букв алфавита?
Мы знаем, что следующий символ, который перед нами появится, будет буквой. Мы знаем также, что алфавит состоит из 26 букв. Таким образом неожиданность для нас будет выражаться фактом, что каждый символ состоит из одной из 26 возможных букв. Когда мы видим букву, неожиданность для нас будет ограничена пределом, что перед нами - именно эта буква, а не любая другая из 25 возможных.
Выразить теорию Шеннона можно так: каждый символ - это макросостояние, которому могут соответствовать 26 различных микросостояний, то есть отдельных букв. Каждый символ обладает определенной степенью неожиданности, которая выражается его способностью быть одной из этих 26 букв. Получение отдельной буквы, таким образом, содержит неожиданное значение, которое исходит из факта, что оно исключает появление остальных 25 букв.
Это позволяет точно выразить сложность коммуникации: отдельный символ - это макросостояние, неожиданное значение которого определяется тем, сколько микросостояний ему соответствуют.
Шеннон долго сомневался, как назвать эту величину. Он рассматривал возможность использования слова "неуверенность" и слова "информация". Математик Джон фон Нейман, известный как отец логической структуры современных компьютеров, пытался убедить Шеннона, что это неожиданное значение нужно назвать энтропией, поскольку сходство с концепциями термодинамики было настолько удивительным, что он, как отмечалось, спорил с Шенноном: "это даст тебе большое преимущество в спорах, так как в любом случае никто не знает точно, что такое энтропия".
В конце концов Шеннон выбрал формулировку "информационная энтропия", но так как никто не знал, что такое энтропия, его теория вошла в историю как теория информации.
В реальности, следовательно, "информационное общество" - это на самом деле "общество энтропии" - общество невежества и беспорядка.
Проще всего дать определение этой концепции информации, если мы ограничим себя общением с помощью специального алфавита - бинарных чисел. Когда мы применяем бинарные числа, как сегодня это делается везде в коммуникации и компьютерной индустрии, у нас есть только два фундаментальных значения для выражения себя: 0 или 1.