Среди множества состояний, которые описываются макроскопическим «стрейтом», есть небольшая группа стрейтов, которые известны как стрейт флеш. Здесь карты находятся не только в последовательности — они еще и одной масти. Лучшим из всех является флеш-рояль — последовательность от десятки до туза одной масти. Существует только 4 микросостояния, которые соответствуют макросостоянию «флеш рояль» — а вот макросостоянию, известному как «пара», соответствует астрономическое число микросостояний.
Ценность в покере — это выражение того, сколько микросостояний соответствует макросостоянию. Ваша рука является «сильной», если она не предполагает множество вариантов и, следовательно, встречается редко.
Существует выраженная связь между вероятностью и энтропией. Чем большим будет количество различных карт, которые могут складывать ту или иную руку, тем выше будет вероятность, что вам попадется такая рука. Таким образом, чаще всего вам приходится иметь дело со «слабыми» руками (с большим количеством энтропии), а не с «сильными» руками, где макросостоянию соответствует только очень небольшое количество макросостояний.
Цель игры — выяснить, у кого имеется макросостояние с самым низким уровнем энтропии.
Огромное количество микросостояний на самом деле настолько несущественно, что в покере для них даже нет названий. В ваших картах может не прослеживаться никакой схемы, и единственное, что вы можете заявить — это «крупные карты» — макросостояние, которое соответствует любому микросостоянию. Так как люди играют в покер для своего удовольствия, в игре есть возможность оказать влияние на макросостояние путем изменения микросостояния — то есть индивидуальных карт: вы можете тянуть карты. Это может помочь улучшить макросостояние до такого, которому будет соответствовать уже не так много микросостояний. Вы играете роль демона Максвелла — если вам повезет, вы вытащите хорошие карты вместо тех, от которых избавляетесь.
В игре есть и возможность притвориться, что макросостояние, которое у вас есть на самом деле, соответствует только очень небольшому количеству микросостояний — даже если на самом деле это и не будет правдой. Это явление известно под названием «блеф» и предполагает использование более продвинутых теорий, нежели нам предлагает Больцман. О них мы поговорим позже, в Главе 5.
Связь между энтропией и вероятностью может дать нам представление о том, почему увеличивается энтропия: вероятность получить низкоэнтропийное макросостояние меньше, чем вероятность высокоэнтропийного. Таким образом, все движется по направлению к более высокой энтропии.
Если макросостояние меняется, оно будет непреклонно вести к другому макросостоянию с еще более высоким уровнем энтропии — и, следовательно, с ним будет связано больше микросостояний, чем с первым. Следить за миром становится все более сложной и утомительной задачей.
В этом нет ничего таинственного. Все это становится очевидным, как только определено макросостояние. Но как миру узнать о том, что именно мы находим настолько скучным, чтобы не напрягать себя отслеживанием этого?
Больцман объяснял, что энтропия — это выражение количества микросостояний, которые соответствуют данному макросостоянию. Это может звучать как очень субъективная концепция, так как энтропия, по-видимому, выражает то, что нам неизвестно об известном макросостоянии. Высокая температура соответствует высокой энтропии, так как чем выше скорость молекул, тем больше существует вариантов образования различных схем их движения. Наш недостаток знания о микросостояниях растет по мере того, как в гостиной становится жарче. Энтропия — это мера невежества, но это комфортное невежество: на самом деле нет никаких причин, которые побуждали бы нас знать, куда направляется каждая молекула и с какой скоростью.
Энтропия — это выражение грубого структурирования, которое применимо на том уровне, на котором мы описываем предметы. Тепло — это весьма грубая концепция: имеется огромное количество знаний, которые мы радостно игнорируем. Тепло — это концепция, которая включает в себя огромное количество энтропии, так как эта концепция весьма грубая и она не рассматривает большую часть знаний о микросостояниях, которые мы не удосуживаемся приобрести. Ветер и течение — это несколько менее грубые концепции, так как мы знаем достаточно много о том, куда направляются молекулы, когда говорим, что на улице теплый бриз, а не просто заявляем, что: «На улице тепло».
Энтропия — это мера информации, к которой нет немедленного интереса — микросостояния, только думая о которых, мы уже устаем. Энтропия — это концепция, которая предполагает наличие значения только тогда, когда мы можем объяснить, за чем именно мы не будем следить. Концепция энтропии предполагает, что мы объяснили, какое макросостояние нас интересует. Но независимо от того, какое именно состояние мы выбираем — его энтропия растет.
Второй закон говорит нам, что мир становится все сложнее описать: беспорядок растет, его становится все больше, и все в конечном итоге превратится в трение и тепло. Беспорядок — это такой вид порядка, который настолько изобилует деталями, что становится беспорядком.
Откуда миру знать, что именно мы расцениваем как беспорядок? Почему наши учебники физики никогда не рассказывают нам о том, что концепции подобные энтропии бессмысленны, если не объяснить, какое именно макросостояние имеется в виду? Зачем учить школьников и студентов термодинамике, не рассказав им о том, что Максвелл и Больцман все время упоминали как способ, которым мы описываем мир? Так как подсознательно физики всегда знали о том, что интересует человека — тепло.
Это негласная предпосылка всей современной термодинамики — люди любят тепло. Вот почему термодинамика описывает тепло и сходные с ним макросостояния — то, что интересует людей. В свою очередь микросостояния — определенный порядок атомов и молекул — это то, что интересует физиков.
Но дать определение энтропии можно только тогда, когда мы знаем, кто его дает. Энтропия неопределима, пока нам не станет известной степень точности наблюдателя. Учителям физики это кажется настолько очевидным, что они не видят никаких причин рассказать об этом своим студентам.
Именно на это намекал физик Эдвин Джейнс, когда выступал в Санта Фе в 1990 году — на важность задать вопрос: что означают вещи, те вещи, о которых написано в наших учебниках физики. Джейнс переформулировал современную версию термодинамики и очень ясно осветил старые моменты работ Больцмана. В 1979 году он написал: «Энтропия в термодинамической системе — это мера степени невежества человека, чье знание о ее микросостояниях состоит всего лишь в оценке макроскопического количества Х, которое определяет ее термодинамическое состояние. Это полностью «объективное» количество в том смысле, что функция зависит только от Х и не зависит от чьей-либо индивидуальности. Следовательно, нет причин, почему она не может быть измерена в лаборатории».
Таким образом, энтропия может быть точно определена, когда вы установили уровень описания.
Эта концепция не является субъективной в том плане, что для каждого наблюдателя будет существовать собственная энтропия. Каждый, кто заинтересован в тех же макро- и микросостояниях, может обнаружить одинаковую меру энтропии. Но она является субъективной в том плане, что не будет иметь никакого смысла, пока вы не спросите у человека, заинтересованного в определении энтропии, в чем конкретно он заинтересован.
Это, впрочем, не исключает того, что энтропия является мерой невежества. Ведь она является именно мерой того невежества, которое сопровождает данный уровень грубости вычислений.
«Но с чего бы моей машине интересоваться тем, что я знаю о мире?» — спросил один физик в Санта Фе, когда Джейнс объяснял эти вещи. Ответ действительно очень простой: потому, что она построена такими же людьми, как и вы. Потому, что двигатель машины будет иметь как раз ту приблизительность, которую люди используют при описании мира: мы ощущаем тепло — но не ощущаем молекул. Наше описание мира приобретается через обработку того, что мы ощущаем. И оно воспроизводится в тех машинах, которые мы строим на базе своего знания.
Философ Пол Фейерабенд говорил о Больцмане: «Со своим осознанием гипотетического характера всех наших знаний Больцман намного опередил свое время — а возможно, и наше собственное».
В 1948 году инженер Клод Шеннон задал очень хороший вопрос: «Сколько стоит передать сообщение из одного места в другое?». Сцилард задавал вопрос, сколько будет стоит измерение. Шеннон же заинтересовался тем, сколько будет стоить общение. Отправным пунктом стала концепция бита — разницы между двумя идентичными состояниями: ответом на вопрос «да/нет».
Анализ Шеннона оказался революционным. Базируясь на идеях Сциларда, он стал основателем современной теории информации.
Когда мы говорим об информации в нашей повседневной жизни, мы имеем в виду ее содержание. Но Клода Шеннона интересовало не содержание. Его интересовала продолжительность телефонных разговоров.
Шеннон был инженером в лабораториях Белла, знаменитом исследовательском отделе AT&T. Он изучал сложность передачи сообщений в форме сигналов. Он был заинтересован в определении того, что требуется для передачи специфического сообщения через специфическое соединение — к примеру, телефонную или телексную линию.
Как можно измерить сложность передачи сообщения?
Шеннон предположил, что сложность коммуникации можно выразить с помощью понятия «неожиданное значение». Как измерить неожиданное значение букв алфавита?
Мы знаем, что следующий символ, который перед нами появится, будет буквой. Мы знаем также, что алфавит состоит из 26 букв. Таким образом неожиданность для нас будет выражаться фактом, что каждый символ состоит из одной из 26 возможных букв. Когда мы видим букву, неожиданность для нас будет ограничена пределом, что перед нами — именно эта буква, а не любая другая из 25 возможных.
Выразить теорию Шеннона можно так: каждый символ — это макросостояние, которому могут соответствовать 26 различных микросостояний, то есть отдельных букв. Каждый символ обладает определенной степенью неожиданности, которая выражается его способностью быть одной из этих 26 букв. Получение отдельной буквы, таким образом, содержит неожиданное значение, которое исходит из факта, что оно исключает появление остальных 25 букв.
Это позволяет точно выразить сложность коммуникации: отдельный символ — это макросостояние, неожиданное значение которого определяется тем, сколько микросостояний ему соответствуют.
Шеннон долго сомневался, как назвать эту величину. Он рассматривал возможность использования слова «неуверенность» и слова «информация». Математик Джон фон Нейман, известный как отец логической структуры современных компьютеров, пытался убедить Шеннона, что это неожиданное значение нужно назвать энтропией, поскольку сходство с концепциями термодинамики было настолько удивительным, что он, как отмечалось, спорил с Шенноном: «это даст тебе большое преимущество в спорах, так как в любом случае никто не знает точно, что такое энтропия».
В конце концов Шеннон выбрал формулировку «информационная энтропия», но так как никто не знал, что такое энтропия, его теория вошла в историю как теория информации.
В реальности, следовательно, «информационное общество» — это на самом деле «общество энтропии» — общество невежества и беспорядка.
Проще всего дать определение этой концепции информации, если мы ограничим себя общением с помощью специального алфавита — бинарных чисел. Когда мы применяем бинарные числа, как сегодня это делается везде в коммуникации и компьютерной индустрии, у нас есть только два фундаментальных значения для выражения себя: 0 или 1.
Будучи макросостоянием, бинарная цифра соответствует только двум равновероятным микросостояниям. Когда мы получаем бинарный символ, наше неожиданное значение ограничено: или/или. Но ведь именно эта степень неожиданности, когда мы различаем две одинаково равные возможности, была открыта Сциллардом и в дальнейшем именовалась «один бит»: информация, которая выражается ответом на вопрос «да/нет», то есть разницей между двумя возможностями. Когда мы получаем бит, мы получаем кусочек информации, который соответствует разнице между двумя микросостояниями. Таким образом, прежде чем неожиданность станет существенной величиной, нам придется получить хотя бы несколько бит.
В символе, который известен как часть алфавита, содержится несколько большее количество информации. Здесь прибытие определенной буквы исключает не только одну-единственную другую возможность, а целых 25. Таким образом, когда мы получаем одну букву, мы получаем определенное количество бит — а точнее, 4 или 5.
На практике, конечно, все несколько сложнее. Язык отличается избыточностью — в нем есть лишние символы. Нам не нужно знать все буквы, чтобы мы могли угадать слово в «Колесе фортуны». Таким образом, на практике буквы обладают в среднем меньшей информативностью, чем пять бит. В датском содержание информации на одну букву составляет около 2 бит, а в более систематизированном языке, таком, как немецкий, значение одной буквы уменьшается до 1,3 бит. Более того, буквы используются неодинаково, следовательно, получив «А», мы получим не так много информации, как получив «Z». В среднем каждое микросостояние (буква) обладает вероятностью, которая пропорциональна числу различных микросостояний. Но вероятность каждой буквы пропорциональна и ее частоте использования, которая также связана с числом различных микросостояний в целом. Как знают участники «Колеса фортуны», информационная ценность буквы обратно пропорциональна частоте ее использования. Чем реже встречается буква, тем больше информации содержит ее присутствие.
Вооруженный этим точным определением информации, которая может быть измерена как количество бит, Шеннон смог получить несколько очень полезных уравнений, с помощью которых можно управлять телефонными линиями и размерами кабелей. Его основное заключение было таким: всегда можно передать сообщение без ошибок, если имеется достаточная полоса пропускания.
Полоса пропускания выражает способность коммуникационного канала передавать информацию, определяемую в количестве бит в секунду. Телефон, к примеру, может передавать 4000 бит в секунду, тогда как телевидение передает 4 миллиона — в тысячу раз больше. Хороший радиоприемник находится примерно посередине с его 16000 бит в секунду.
Шеннон знал, что если полоса пропускания будет больше, чем информационное содержание единицы сообщения, это сообщение можно будет передать без потерь.
Это очень полезно знать, если вы зарабатываете себе на жизнь, продавая людям телефонные линии.
Но это не слишком соотносится с информацией в повседневном понимании. Как мы все знаем, можно вести очень продолжительный разговор и при этом не передавать почти никакой информации — или написать огромное количество слов, которые не будут нести в себе никакого определенного значения.
Термин «информация» не слишком волновал Шеннона. На самом деле он вообще не слишком любил это слово и подчеркивал, что разработанная им теория — это теория коммуникации, теория о передаче информации, а не о значении информации. Данный объем информации может содержать глубокие откровения — или просто откровенный вздор. Это не играет роли — телефонный счет будет одинаковым и в том, и в другом случае.
Но это не делает аналитическую работу Шеннона откровенным вздором. То, что Шеннон называл «информацией», столь же реально, как и то, что Клаузиус называл энтропией. Телефонный звонок имеет свою цену. Чтобы ваша теща могла пощебетать, необходимо передать сигнал. Но все это может и не иметь ничего общего с содержанием информации.
Информация — это мера всего, что она могла бы сказать, а не того, ЧТО она сказала.
Информационное содержание в коммуникации — это выражение объема, который мог бы быть передан — а не того, который был передан на самом деле. Точно так же и энтропия при определенной температуре — это выражение того, сколькими разными способами могут расположиться молекулы, не приводя ни к каким изменениям, информация — это выражение того, сколькими способами могут расположиться буквы, чтобы не потребовался еще один кабель.