Особая трудность предсказания глобальной катастрофы состоит в том, что она является не тенденцией и закономерным процессом, как, скажем, рост народонаселения и закон Мура, а однократным событием, которое может произойти или не произойти. Она может произойти, даже если вероятность крайне мала, и не произойти вопреки очень большой своей вероятности. Когда она произойдет, некому будет судить о вероятности. Если это событие будет длительным (например, подлет огромного астероида или распространение заразы), то люди до самого конца не будут знать, происходит ли окончательная катастрофа, или кто-то выживет. Таким образом, глобальная катастрофа непостижима – ни при каких обстоятельствах не будет никого, кто будет знать, что она произошла. (Как в стихах Егора Летова: "Когда я умер, не было никого, кто бы это опроверг".)
Другим способом осознать ограниченность наших знаний о будущем и познакомиться с его непостижимостью является исследование предсказаний, сделанных в прошлом, что именуется "палеофутурологией". Основное впечатление от старинных картин будущего, рассказов и даже научных прогнозов – насколько не похоже это на настоящее. Например, открытки XIX века, изображающие будущие летательные аппараты. При этом есть ощущение однородности всех этих прошлых образов будущего – и однородности причин того, что они не стали реальными предвидениями. Иначе говоря, изучение прошлых попыток предсказать будущее дает нам знание о некоторых систематических ошибках, которые люди совершают, пытаясь осуществить предвидение. В картинах будущего бросаются в глаза:
1) избыток летательных средств; небоскребы, роботы, огромные транспортные средства;
2) "древнеримские" одежды;
3) подчеркнуто светлый образ (но иногда – подчеркнуто мрачный);
4) изменение главных деталей при сохранении мелкой атрибутики – например, в каждом доме компьютер, но это все еще ламповый компьютер;
5) невозможность выйти за пределы своего художественного стиля, то есть в 50-е годы вещи будущего изображаются в дизайне 1950-х годов, хотя намеренно пытаются этого избежать;
6) безличность – изображены толпы или усредненные персонажи, а не личности.
Причины этого, видимо, заключаются в следующем:
1) будущее перестает восприниматься как реальность, и к нему применяются приемы построения художественного образа сказочного мира. То есть в нем позволяется нарочитая нереалистичность. Сравните: "В 2050 году люди будут ходить в прозрачных электрических тогах" и "В 2050 году я буду ходить в прозрачной электрической тоге". Вторую фразу я не напишу в здравом уме, потому что я не собираюсь ходить в прозрачной тоге;
2) будущее заменяется атрибутами будущности – самолетами, небоскребами, роботами;
3) образ нацелен на то, чтобы воздействовать на современного автору зрителя. В нем подчеркивается то, что будет наиболее интересно и в то же время понятно современнику: необычная техника. В результате мы имеем не образ будущего, а образ техники будущего. Но не учитывается взаимовлияние общества, техники, экономики и истории;
4) вещи будущего мира придумываются по отдельности, а не соединяются в систему. Поэтому изображают город с большим количеством самолетов и небоскребов, не думая, как одно с другим будет взаимодействовать;
5) наконец, невозможность придумать простые, очевидные нам решения – как пульт дистанционного управления, мышь, графический интерфейс;
6) злоупотребление экстраполяциями явных тенденций;
7) предсказание будущего – это всегда предсказание поведения более сложной, более интеллектуальной системы силами менее сложной и менее интеллектуальной. В этом смысле оно подобно попыткам предсказания поведения ИИ – и может служить иллюстрацией меры ошибочности в этом.
Невозможный "черный лебедь"
Принципиальной непредсказуемости будущих событий и склонности людей недооценивать маловероятное на их взгляд посвящена вышедшая в 2007 году книга Нассима Талеба "Черный лебедь". (Taleb Nassim Nicholas. The Black Swan: The Impact of the Highly Improbable. – New York: Random House, 2007.) Талеб пишет, что до открытия Австралии люди в старом мире считали, что все лебеди – белые, и в этой вере нет ничего удивительного, так как она полностью подтверждалась эмпирическими данными. Открытие первого черного лебедя было большим сюрпризом для орнитологов, но главное в истории, по словам Талеба, не это. Эта история иллюстрирует жесткую ограниченность нашей способности учиться на основании опыта и хрупкость нашего знания.
Одно-единственное наблюдение может разрушить обобщение, основанное на миллионах наблюдений в течение тысячелетий. Талеб предлагает называть "черным лебедем" событие, которое имеет три следующих атрибута:
1) оно необычно и лежит за пределами наших ожиданий;
2) последствия этого события крайне велики;
3) несмотря на нерядовой характер этого события, человеческая природа заставляет нас придумать такие объяснения этому событию, что оно выглядит задним числом объяснимым и предсказуемым.
То есть три отличительных свойства "черного лебедя" – это редкость, значительные последствия и ретроспективная предсказуемость. Небольшое количество "черных лебедей" объясняет, по словам Талеба, почти все свойства нашего мира: успех идей и стран, динамику исторических событий, личную историю людей. Более того, по мнению Талеба, с ходом истории, от неолита до наших дней, частота "черных лебедей" растет, и жизнь становится все более непредсказуемой.
Далее Талеб приводит классические примеры непредсказуемости событий вроде Первой и Второй мировых войн для людей, которые жили до этих событий. К сожалению, мы не можем оценить реальную степень непредсказуемости этих событий для людей, живших в то время, так как наше представление непоправимо искажено последующим знанием. Однако Талеб утверждает, что прихоти, эпидемии, мода, идеи, возникновение стилей искусств – все это имеет динамику событий, подобную "черным лебедям".
Комбинация низкой предсказуемости и значительных последствий делает "черных лебедей" трудноразрешимой задачей, но вовсе не это является главной проблемой, которую Талеб обсуждает в своей книге. Самое главное состоит в том, что мы склонны действовать так, как если бы "черных лебедей" не существовало.
Для разъяснения этого момента Талеб обращается к своему опыту работы в сфере финансов. Он утверждает, что обычные портфельные инвесторы воспринимают риск как колоколообразную кривую нормального распределения некой величины вокруг ее среднего значения. Однако в их расчетах вы не найдете возможностей "черных лебедей". Стратегию своего инвестиционного фонда Талеб построил именно на использовании этого психологического свойства людей. Он покупал контракты (опционы), которые стоили очень дешево, но приносили прибыль только в случае очень редких явлений-катастроф, и затем ждал, как рыбак, закинувший удочку. Любые внезапные колебания рынка приносили ему прибыль.
Центральной идеей своей книги Талеб считает нашу слепоту относительно случайности, особенно относительно больших событий. Он вопрошает, почему мы концентрируемся на пенни, а не на долларах. Почему мы концентрируемся на малых процессах, а не на больших. Почему, по словам Талеба, чтение газеты в действительности уменьшает наше знание о мире, а не увеличивает его.
Нетрудно увидеть, продолжает он, что жизнь – это кумулятивный эффект нескольких значительных событий. Далее Талеб предлагает мысленный эксперимент: рассмотреть свою собственную жизнь и изучить роль в ней непредсказуемых внезапных событий с огромными последствиями. Много ли технологических перемен пришли именно в тот момент, когда вы их ожидали? Вспомните в своей жизни моменты выбора профессии, встречи спутника жизни, изгнания с родины, предательства, внезапного обогащения и разорения – как часто такие вещи случались тогда, когда вы их запланировали? Недавно распространилась поговорка "расскажи Богу о своих планах – пусть он повеселится". Она об этом.
По Талебу, логика "черных лебедей" делает то, что вы не знаете, гораздо более важным, чем то, что вы знаете. Большинство "черных лебедей" случились только потому, что были неожиданными. Если бы возможность террористической атаки 11 сентября считалась реальной, то эта атака была бы невозможной.
Невозможность предсказать масштабные события делает невозможным, по Талебу, предсказание хода истории. Однако мы действуем так, как если бы могли предсказывать исторические события и даже, более того, менять ход истории. Мы пытаемся предсказать, что будет с нефтью через 30 лет, но не можем предсказать, сколько она будет стоить следующим летом. В силу этого, по мнению Талеба, эксперты знают не больше обычных граждан о будущем, однако умеют продавать свои предсказания с помощью графиков и цифр. Поскольку "черные лебеди" непредсказуемы, мы должны приспособиться к их существованию, а не наивно пытаться их предсказать.
Хорошим примером использования "черных лебедей" в своих целях является история про Ходжу Насреддина и ишака. Он не пытается предсказать будущее, а только знает, что за 20 лет случится какой-нибудь "черный лебедь", который избавит его от необходимости учить ишака говорить.
Другим важным обстоятельством, по Талебу, является склонность людей учиться частностям, а не общим закономерностям. Чему люди научились благодаря 11 сентября, вопрошает он? Научились ли они тому, что некоторые события, определяющие жизнь, находятся далеко за пределами царства предсказуемого? Нет. Обнаружили ли они дефектность во встроенной в нас общепринятой мудрости? Нет. Так чему же они научились? Они научились конкретным правилам, как избегать попадания исламских террористов в самолеты.
Другим примером слишком конкретной реакции (на опыт Первой мировой войны в данном случае) является строительство линии Мажино французами перед Второй мировой войной. Талеб предлагает следующий софизм: "Мы не способны сами собой научиться тому, что мы не учимся тому, что мы не учимся". Особенность наших умов состоит в том, что мы учимся фактам, а не правилам, и в силу этого нам особенно трудно обучиться метаправилам (например, тому, что нам плохо даются правила), полагает Талеб. Иначе говоря, никто не понимает, что история никого не учит.
Непредсказуемость и отказ от прогнозирования
О возможной глобальной катастрофе можно почерпнуть много ценного из русских пословиц и других источников народной мудрости. Начнем с классического: "Пока гром не грянет, мужик не перекрестится". Это означает, что ни одна гипотеза о возможной причине глобальной катастрофы не станет общепризнанной, пока не произойдет некое событие, однозначно удостоверяющее ее возможность, иначе говоря, пока катастрофа не начнется. Многие сценарии глобальной катастрофы оставляют очень маленький зазор между началом события и самим событием. Например, невозможно доказать, что есть шанс случайной ядерной войны, до тех пор, пока она не произойдет. То же самое касается и искусственного интеллекта – невозможно доказать, что возможен универсальный самообучающийся ИИ до того, как он будет создан. Более того, предупреждения алармистов парадоксальным образом действуют успокаивающе, создавая привычный фон. Мы хотим уподобиться Маше из сказки "Маша и медведи", которая и на кроватке полежит, и пирожок надкусит, и уйдет из дома незамеченной – обычно эту аналогию приводят в отношении экономики (Goldilocks economy), но это так же верно и применительно к новым технологиям.
Теперь вспомним такое высказывание, как "после нас хоть потоп" – оно в утрированной форме называет естественно присущую людям склонность резко снижать оценку значения событий, которые могут произойти после их смерти. По этой (но не только) причине многие люди не составляют завещания: им все равно, какие будут проблемы у их родственников после их смерти. Окончательное человеческое вымирание – это событие, которое произойдет после смерти последнего человека, и очень мало шансов оказаться именно этим последним человеком. Эта склонность к прожиганию жизни, "к пиру во время чумы" перед лицом неминуемой смерти, уравновешивается в человеческом сознании ощущением собственного бессмертия. Нам трудно себя убедить в том, что "сколько веревочке ни виться, а конец-то будет", и даже думая о неизбежности собственной смерти, мы прибегаем к абсурдной в данном контексте модели "авось пронесет".
Печальным кладезем научно-технической мудрости являются законы Мерфи в духе классического "все что может испортиться – испортится": это не означает, что любой проект кончится плохо, но рано или поздно любой возможный сбой где-нибудь произойдет. Другой закон Мерфи, который помогает нам понять значение предсказаний: "Что бы ни случилось, всегда найдется человек, который будет утверждать, что знал это с самого начала".
Американский исследователь глобальных рисков Майкл Анисимов приводит следующий пример непредсказуемости и сложности влияния новых технологий на человеческую историю. Фриц Хабер (1898–1934) – одна из наиболее противоречивых фигур в науке и истории. Будучи химиком, он разработал процесс Хабера, который делает возможным связывание атмосферного азота и синтез аммиака. Аммиак, создаваемый по процессу Хабера, используется для производства синтетических удобрений во всем мире, эти удобрения применяются в сельском хозяйстве более чем третью человеческой популяции, обеспечивая едой миллиарды людей, которые иначе бы вообще не существовали. До этого изобретения добыча удобрений состояла в соскабливании помета летучих мышей со стен пещер или извлечении их из азотосодержащих скал в Чили. За свое открытие Хабер получил Нобелевскую премию по химии в 1918 году.
К сожалению, будучи немецким военным ученым, в ходе Первой мировой войны Хабер провел много других исследований, которые нельзя назвать иначе как чудовищными. Его называют отцом химического оружия за разработку отравляющих газов, которые использовались во время Первой мировой войны, хотя эта практика была запрещена Гаагскими соглашениями 1907 года. И только в 1997 году применение и накопление химического оружия было запрещено во всем мире Конвенцией по химическому оружию. Хабер также разработал знаменитый газ "Циклон Б", который использовался для убийства миллионов евреев, цыган и гомосексуалистов во время холокоста. Ирония судьбы в том, что сам Хабер был евреем, и десятки членов его родни были убиты "Циклоном Б" в концентрационных лагерях.
В 1915 году жена Хабера, химик и его сотрудник, была настолько потрясена исследованиями своего мужа, что выстрелила себе в грудь из его армейского пистолета прямо в саду их дома. Хабера это особенно не озаботило: он нашел себе новую жену, у которой не было проблем с его ужасными занятиями. Он умер в швейцарской лечебнице в 1934 году, так и не узнав о геноциде, который совершался с использованием его газа в ходе Второй мировой войны. Его сын Герман, который эмигрировал в США во время войны, в 1946 году тоже покончил с собой.
Эта история показывает, что нам очень трудно отличить позитивный и негативный смысл тех или иных научных открытий и видов деятельности, и одни и те же направления исследований могут приносить как несметные блага, так и соразмерные им опасности.
Можно задаться вопросом, почему именно глобальная катастрофа, ведущая к человеческому вымиранию, выбрана в качестве самого важного, в отрицательном смысле, возможного будущего события. Ведь можно сказать, что смерть страшна только в той мере, в какой жизнь имеет некую позитивную ценность. Подобное поведение типично для человеческих существ, когда выгоды затмевают риски. Однако я предлагаю рассматривать выживание человечества не как абсолютную ценность саму по себе, а как универсальное средство для любых других целей, которые могут отличаться у разных людей. Выбор какой-то одной ценности, отличной от человеческого выживания, – это всегда шанс, что возникнет ситуация, когда ради нее будет стоить рискнуть всем. Однако выбор "человеческого выживания" как универсального средства (при этом оставляя вопрос о главной цели на усмотрение каждого) исключает такую ситуацию.
Глава 3
Сингулярность
Термин "технологическая сингулярность" постепенно завоевывает признание, и по мере того как он все более широко становится известным в России, среди западных ученых, его породивших, нарастает разочарование из-за размытости этого термина. Тем не менее в ходе дискуссий возникло наиболее общее определение сингулярности, которое объединяет самое главное во всех более частных определениях, – сингулярность состоит в том, что через несколько десятков лет, а возможно и раньше, нас ждет внезапное решительное изменение всего мира, связанное с развитием новых технологий. Здесь слово "внезапное" подчеркивает скорость процессов во время сингулярности, "решительное" – масштаб изменений, при этом определяется время событий и их основная причина.