Другим способом оценки рисков является так называемый астероидный тест. Утверждается, что если риск, создаваемый коллайдером, меньше, чем риск человеческого вымирания в результате падения огромного астероида (примерно в 1 к 100 миллионам в год), то риском первого можно пренебречь. Однако сам риск падения такого астероида является неприемлемым – ведь ради его предотвращения затеваются специальные программы. То есть принятие астероидного теста равносильно утверждению о том, что нет разницы, погибнут ли в авиакатастрофе 300 человек или 301 человек.
Третий способ оценки рисков связан с анализом затрат и рисков, выраженных в денежной форме. Сделать это пытается, например, американский судья и популяризатор науки Р. Познер в своей книге «Катастрофа: риск и реакция».
Сумма выгод, которые мы ожидаем получить от ускорителя, примерно равна его стоимости (если бы она была значительно – скажем, в десять раз – больше, то строительство ускорителей было бы крайне выгодным бизнесом, и многие бы им занимались). Хотя огромная выгода возможна, например, в случае невероятного ценного открытия, вероятность этой выгоды не оценивается как большая.
Стоимость ускорителя составляет около 10 миллиардов долларов. С другой стороны, можно оценить человеческую жизнь. (Американские страховые компании оценивают год жизни здорового человека в 50 000 долларов.) Отсюда и из разных других оценок получается, что цена человеческой жизни в развитом обществе составляет порядка 5 миллионов долларов. Тогда цена всего человечества примерно равна 3x10
16
Впрочем, неготовность вовремя анализировать риски и искать истину, а не утешение – лишь часть проблемы. Если бы в XXI веке только проведение экспериментов на БАК порождало риск глобальной катастрофы, все было бы довольно просто. На самом деле явлений и процессов, несущих угрозу безопасности человечества, гораздо больше. Из уже разворачивающихся событий такого рода можно, например, отметить обещание компании Google создать к 2011 году искусственный интеллект (ИИ), а также развивающийся на мировых рынках кризис (начавшийся с кризиса американской ипотеки) или рост цен на нефть. При этом следует помнить о том, что не все риски сегодня нам известны: чем шире познания о мире и совершеннее технологии, тем шире и список возможных угроз.
Итак, задача, которую мы попытаемся решить в рамках этой книги, – изучение границ нашего знания в отношении рисков глобальной катастрофы, которая может привести к полному вымиранию человечества. Очевидно, зная эти границы, мы легче сможем ответить на вопрос о том, возможна ли вообще такая катастрофа, и если да, то когда, с какой вероятностью, отчего и как ее предотвратить. И даже если ее вероятность в ближайшее столетие равна нулю, мы должны знать это наверняка – результат в данном случае должен быть хорошо обоснован.
В любом случае знать результат нам очень важно. Возьму на себя смелость заявить, что вопрос выживания человеческой цивилизации является важнейшим из тех, которые могут перед ней встать. Уже был период, когда он начал осознаваться как весьма актуальный – в годы холодной войны, – но впоследствии интерес к нему угас и маргинализировался. Отчасти это связано с психологическим феноменом утомления, отчасти – с мыслями о бесполезности публичных усилий. Сегодня трудно представить массовые демонстрации с требованиями запрета опасных биотехнологий, опытов на ускорителях, разработок нанотехнологического оружия.
Так или иначе, сценарии и риски вымирания человечества оказались практически вытесненными в область бессознательного. На то есть свои причины: глобальные катастрофы заслонены от нас как пеленой «технического» незнания (вроде незнания реальных орбит астероидов и тому подобного), так и психологической защитой (по существу скрывающей нашу неспособность и нежелание предсказывать и анализировать нечто ужасное). Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – нам неведомо, возможен ли искусственный интеллект, и в каких пределах, и как правильно применять разные версии теоремы о конце света, которые дают совершенно разные вероятностные оценки времени существования человечества.
Исследование рисков глобальной катастрофы парадоксальным образом оказывается и исследованием природы непредсказуемости, поскольку вопрос о рисках такой катастрофы поднимает множество гносеологических проблем. В первую очередь речь идет об эффекте наблюдательной селекции и принципиальной невозможности и нежелательности решающего эксперимента в области глобальных катастроф.
Следует отметить, что глобальная катастрофа труднопредсказуема по определению. Во-первых, потому что мы не знаем всех вариантов, которые могут выпасть. Во-вторых, нам очень трудно определить их вероятность. В-третьих, некому будет проверить результат. В-четвертых, мы не знаем, когда бросят «монету» и бросят ли ее вообще. Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти). Но у человека есть хотя бы опыт других людей, который дает статистическую модель того, что и с какой вероятностью может произойти.
Другими словами, есть реальность – и есть мир человеческих ожиданий. До определенного момента они совпадают, создавая опасную иллюзию, что наша модель мира и есть мир. В какой-то момент они настолько расходятся, что мы сталкиваемся лоб в лоб с тем, что для нас раньше не существовало. Человек не знает, что с ним будет через 15 минут, но претендует на то, чтобы планировать будущее. Свет нашего знания всегда ограничен. Конец света – это столкновение несовершенства нашего знания с тьмой непостижимого. Следовательно, задачу, которую призвана решать гносеология катастроф, можно сформулировать и так: изучение общих закономерностей того, каким образом неправильное знание приводит к катастрофе. Ведь именно в ситуации глобальной катастрофы разрыв между знаниями и будущей реальностью наиболее велик.
Глава 1
Будущее и природа человеческих заблуждений
Попытки предсказания будущего – прекрасный материал для исследования природы человеческих заблуждений, и наоборот, данные экспериментальной психологии позволяют нам оценить, насколько ограничены мы в предсказании будущего.
Нет смысла пытаться заглядывать в будущее, не исследовав границы своего возможного знания о нем. Эти границы обозначат горизонт нашей способности к прогнозу. Существует более ста возможных ошибок, которые могут совершить люди, пытаясь предсказать будущие катастрофы. Но вместо того чтобы перечислять их, мы постараемся исследовать их вероятные корни, то есть причины человеческой склонности к ошибкам.
Основной корень возможных ошибок состоит в том, что человек «не предназначен» для оценки рисков глобальных катастроф. Не предназначены для этого ни его мозг, ни обычный взгляд на мир, ни созданный человеком научный метод. Рассмотрим поочередно каждый из этих трех источников неправильных представлений о сущности и вероятности глобальных катастроф.
Мозг и эволюция
Человеческий мозг сформировался в процессе эволюции. Поэтому, в первом приближении, мы можем сказать, что в ходе этого процесса в нем сохранились и усилились те качества, которые способствовали выживанию людей и заселению ими всей Земли. Отсюда можно было бы заключить, что люди успешно избегали катастроф, приводящих к вымиранию вида (в прошлом, во всяком случае). Те линии людей, которые не умели этого избегать, не дожили до наших дней, как, например, неандертальцы. Однако люди выживали вовсе не потому, что у них развился некий навык предотвращать катастрофы, а чисто статистически, за счет того, что они обладали большей живучестью.
(Одной из возможных причин вымирания неандертальцев называют прионную инфекцию в духе коровьего бешенства, которая распространилась во всей их популяции в течение 100–200 лет за счет практики каннибализма; в то же время запрет на каннибализм, распространенный среди большинства сообществ homo sapiens, способствовал их выживанию – однако этот запрет никаким образом не приводил к росту понимания того, какова его реальная причина.)
Эта человеческая живучесть, безусловно, является ценным ресурсом в случае будущих глобальных катастроф, но она ничего не дает для понимания соответствующих рисков, так как является свойством вида, а не отдельных людей. Для выживания вида каждый человек должен был дожить до возраста рождения детей или немногим более, и в силу этого его понимание рисков ограничивалось преодолением, в первую очередь, краткосрочных угроз. Более того, рискованное поведение отдельных людей способствовало выживанию вида в целом, побуждая отправляться на заселение далеких островов и иметь больше детей.
Кроме того, homo sapiens, для того чтобы стать единственным хозяином планеты, вынужден был развить в себе навык уничтожения целых классов разумных существ, которые могли бы стать ему конкурентами. За примерами не надо ходить далеко: от тех же неандертальцев до тасманийских аборигенов, уничтоженных поголовно в XIX веке; кроме того, человек уничтожил мегафауну на всех континентах, кроме Африки.
В XX веке люди решили (опыт мировой войны), что геноцид – это не способ решения проблем. Тем не менее в багаже очевидных решений, приходящих нам на ум, сохранилась идея «уничтожить всех врагов». Нет нужды говорить, что вид, обладающий таким навыком, как «уничтожение всех», становится опасным сам для себя, когда отдельным его представителям попадают в руки достаточные для реализации такого проекта технические средства. В данном случае «уничтожить всех» – это модель поведения, а не ошибка, но она может проявляться и как ошибка в планировании будущего. Ошибка здесь состоит в том, что попытки «уничтожить всех» ведут не к решению проблемы, а наоборот, только к ее усугублению. Подтверждение этому мы видим на примере конфликта Израиля и палестинцев: чем больше израильтяне хотят уничтожить всех террористов, тем больше палестинцы хотят уничтожить всех израильтян и порождают из своей среды террористов. И наоборот, чем меньше стороны пытаются «решить проблему», тем менее актуальна и сама проблема.
Следующая «собака», которую нам подложила эволюция, это как наш мозг сопоставляет рискованность и полезность действий. Хотя эволюция отсеивала тех людей, которые слишком сильно рисковали собой и погибали в детстве, она также отсеивала и тех, кто слишком сильно стремился к безопасности. Происходило это, возможно, следующим образом: допустим, в стаде было четыре «рисковых парня». Они бурно выясняли между собой отношения, в результате чего трое погибли, а четвертый стал вожаком стада, покрыл всех самок и у него родился десяток детей. В силу этого рискованное поведение закрепилось, так как, несмотря на то, что большинство склонных к риску самцов погибло, один выживший оставил большое потомство. Более того, склонность к риску позволила ему повысить свой социальный статус и даже стать вожаком стада. С другой стороны, самец, который стремился бы к абсолютной безопасности и избегал стычек с другими самцами, в конечном счете утратил бы статус в стаде и оставил мало потомства. Наоборот, рисковый самец, став вожаком, будет «руководить» рискованными методами. Опять же, в силу этого какие-то племена погибнут, какие-то – попадут на новые территории и заселят их.
Более близкий пример: Рональд Рейган, объявляя крестовый поход против СССР, увеличивал своими действиями риск ядерной войны, однако выигрыш его интересовал больше, чем проигрыш. Существует много исследований, которые показывают, что восприятие человеком вероятностей выигрышей и проигрышей значительно отличается от поведения абсолютно рационального субъекта. Например, человеку свойственно пренебрегать небольшой вероятностью очень плохого исхода – «тяжелым хвостом». С нашей эволюционной точки зрения это можно связать с тем, что человек не был бессмертным существом и знал это, поэтому он мог просто не дожить до редкого наихудшего случая, ущерб от которого перевесил бы полезность от всех позитивных исходов, вместе взятых.
Доказано, что людям свойственно считать вероятности рисков, меньшие 0,001 процента, равными нулю. Понятно, почему это происходит: если средняя жизнь человека включает примерно 20 000 дней, то добавление на каждый день вероятности смерти порядка 0,001 процента изменит ее ожидаемую продолжительность только на несколько тысяч дней, что находится в пределах погрешности оценки продолжительности жизни. Люди выбирают езду на машине, питье, курение и т. д. потому, что риск смертельной аварии или заболевания попадает в эти пределы.
Однако такая оценка определенно не годится для обеспечения безопасности человечества, потому что она означала бы гарантированное вымирание человечества в течение 300 лет. Кроме того, люди обычно не складывают вероятности, при том что многократное повторение разных событий с вероятностью в одну стотысячную может дать значительный эффект.
Здесь же мы можем отметить психологический эффект, состоящий в том, что риск сам по себе запускает механизмы вознаграждения в мозгу, в силу чего некоторые люди склонны повышать свою норму риска – чтобы «поймать адреналин». Безусловно, это вопрос личного выбора этих людей, пока это касается только их самих. Однако не составляет труда привести примеры ситуаций, когда люди рисковали жизнями сотен людей ради собственного развлечения. Например, еще в советское время пилот самолета ТУ-154 на спор с товарищами взялся посадить самолет с закрытыми шторками окон кабины. Более ста человек погибли. Нетрудно вообразить ситуацию из не очень отдаленного будущего, где кто-то ради развлечения рискнет судьбой всего человечества.
Ведь чем выше ставки, тем выше выброс адреналина! Например, ракетчики на одной американской базе придумали от скуки, как можно обойти систему запуска, требующую двух человек, с помощью одного человека, ножниц и нитки.
Интересна также склонность людей выбирать свою норму риска. Например, при сравнении смертности на разных классах автомобилей (на основании статистики США) оказалось, что на более безопасных по заводским тестам машинах гибнет примерно такое же количество людей, как и на более дешевых и менее безопасных машинах. Это было связано с тем, что люди на более безопасных машинах ездили агрессивнее и быстрее, а на менее безопасных – осторожнее. В отношении глобальных катастроф это выглядит следующим образом: когда человек едет на машине, он зависит от своей машины и от машины на встречном курсе, то есть от двух машин. Но человек, живущий на Земле, зависит от всего множества войн, терактов и опасных экспериментов, которые могут иметь глобальный масштаб. И это приводит к тому, что для него складываются тысячи норм риска, которые допускают разные люди, решившиеся на реализацию этих проектов.
Как принимаются «обоснованные» решения
Другой корень неверных представлений, сформировавшихся эволюционно, состоит в крайне опасной связи между правотой, уверенностью и высоким социальным статусом. Одним из важнейших проявлений этого является неизменно присущее человеку качество сверхуверенности. Сверхуверенность состоит в том, что людям свойственно приписывать слишком высокую достоверность собственным мнениям. Сверхуверенность проявляется также в чувстве собственной важности, то есть в уверенности в своем более высоком социальном статусе и более высоких способностях, чем это есть на самом деле. Большинство опрошенных социологов считают, что они принадлежат к 10 лучшим в мире специалистам. Три четверти водителей считают, что они водят машину лучше, чем среднестатистический водитель.