Способность Жизни 2.0 создавать собственный “софт” дает ей много возможностей, которых нет у Жизни 1.0. Для бо́льшего ума требуется бо́льший “хард” (больше атомов) и бо́льший “софт” (больше бит). Тот факт, что бо́льшая часть нашего человеческого “харда” приобретается уже после нашего рождения (во время роста), имеет значение, поскольку конечный размер нашего тела не ограничивается шириной родовых каналов матери. Сходным образом полезен и тот факт, что бо́льшая часть нашего человеческого “софта” также приобретается уже после нашего рождения (во время обучения), так как способности нашего конечного разума не ограничиваются пропускной способностью информационного канала при конструировании новой ДНК в момент зачатия в стиле 1.0. Я сейчас вешу в 25 раз больше, чем при рождении, а синапсы нейронной сети моего мозга способны хранить в 100 000 раз больше информации, чем ДНК, с которой я родился. Ваши знания и умения “весят”, грубо говоря, около 100 терабайт информации, а в вашу ДНК едва умещается гигабайт, которого не хватит для сохранения одного полнометражного фильма. Младенцу физически невозможно родиться с совершенным знанием английского или быть готовым сразить всех на вступительных экзаменах в колледж: не существует способа загрузить в его мозг необходимую информацию, так как основной модуль, полученный им от родителей (его ДНК), не обладает достаточной вместительностью.
Способность создавать собственный “софт” обеспечивает Жизни 2.0 не только бо́льшую разумность, но и бо́льшую гибкость. При изменениях окружающей среды Жизнь 1.0 может только медленно эволюционировать на протяжении многих поколений. А Жизнь 2.0 способна почти моментально адаптироваться, обновляя загруженный “софт”. У бактерий, часто сталкивающихся с антибиотиком, со временем вырабатывается резистентность, на это требуется много поколений – никакая отдельная бактерия не может изменить своего поведения. Напротив, девочка, обнаружив, что у нее аллергия на арахисовое масло, немедленно изменит стиль жизни и будет впредь избегать его. Такая гибкость дает Жизни 2.0 даже больше преимуществ на популяционном уровне: хотя информация, записываемая в наших ДНК, мало изменилась за последние 50 000 лет, ее суммарное количество, накопленное в наших мозгах, книгах и компьютерах, росло как лавина. Установив себе “софт”, обеспечивающий коммуникацию посредством развитой устной речи, мы получили возможность копировать наиболее полезную информацию, накопленную в мозгу одного человека, в мозги других людей, благодаря чему она сохраняется даже после гибели ее источника. Установив себе “софт”, позволяющий читать и писать, мы получили возможность хранить гораздо больше информации, чем способны запомнить, и обеспечивать к ней доступ другим. Установив в свой мозг “софт”, обеспечивающий развитие технологий (то есть изучая точные и технические науки), мы открыли доступ почти ко всей накопленной в мире информации очень большому числу человеческих особей, для чего им достаточно лишь нажать несколько кнопок.
Именно эта гибкость позволила Жизни 2.0 покорить Землю. Освобожденные от генетических оков, совокупные знания человечества нарастали со все возрастающей скоростью, когда каждый предшествующий прорыв готовит последующий: язык, письменность, книгопечатание, современная наука, компьютеры, интернет… Разгоняющаяся культурная эволюция нашего совместного “софта” стала определяющей силой нашего человеческого будущего, оставив замороженно-заторможенной биологической эволюции роль практически эпизодическую.
Однако, несмотря на все достижения технологии, какие только у нас на сегодня есть, все формы жизни, о которых нам известно, остаются фундаментально ограниченными своим биологическим “хардом”. Никто не может жить миллион лет, выучить наизусть всю Википедию, понять все известное науке или слетать в космос без звездолета. Ничто не может превратить наш в основном безжизненный космос в цветущую биосферу, полную жизни на миллиарды и триллионы лет, позволяя нашей Вселенной полностью раскрыть свой потенциал и окончательно пробудиться.
Границы между этими тремя стадиями немного размыты. Если бактерии – это Жизнь 1.0, а мы – Жизнь 2.0, то мышей следует считать Жизнью 1.1: они могут многому научиться, но все же недостаточно для того, чтобы освоить язык или придумать интернет. Более того, раз у них нет языка, выученное одной мышкой в основном теряется с ее смертью и не передается следующим поколениям. Подобным образом вы можете сказать, что современных людей можно отнести к Жизни 2.1: небольшой апгрейд нашего “харда” нам уже становится доступен – вроде имплантированных зубов, коленных чашечек или кардиостимулятора. Но ничего по-настоящему стоящего: вы не можете стать в десять раз выше или получить в тысячу раз больше мозгов.
Короче говоря, мы классифицируем жизнь по трем стадиям в зависимости от ее способности к самодизайну:
1. Жизнь 1.0 (биологическая стадия): эволюция “харда” и “софта”;
2. Жизнь 2.0 (культурная стадия): эволюция “харда” и дизайн большей части “софта”;
3. Жизнь 3.0 (технологическая стадия): дизайн и “софта”, и “харда”.
После 13,8 миллиардов лет космической эволюции события самым драматическим образом ускорились: Жизнь 1.0 возникла на Земле около 4 миллиардов лет назад, Жизнь 2.0 (мы, люди) появились тут около ста тысячелетий назад, и вот теперь многие AI-эксперты уверены, что Жизнь 3.0 появится уже в начинающемся столетии, возможно даже еще на наших глазах, если ускоряющееся развитие AI ей это позволит. Как это может случиться, и что это означает для нас? Об этом наша книга.
Контроверзы
Поставленный вопрос – повод для полемики, даже больше того – для контроверзы. Ведущие AI-эксперты не только кардинально расходятся в своих мнениях, но даже их эмоциональные оценки грядущего диаметрально противоположны – от уверенного оптимизма до серьезной озабоченности. Среди них нет согласия даже относительно краткосрочных прогнозов об AI-экономике, последствиях для правовых отношений и новых вооружений, и эти расхождения заметно возрастают, если расширить временной горизонт и поставить вопрос о сильном искусственном интеллекте (AGI), достигающем человеческого уровня или превосходящем его и потому открывающем возможность для Жизни 3.0. Сильный искусственный интеллект решает практически любую задачу, в том числе способен к самообучению, в отличие от слабого искусственного интеллекта, вроде того что успешно играет в шахматы.
Примечательно, что контроверза относительно искусственного интеллекта имеет своим центром не один, а два разных вопроса: “когда?” и “что?”. Когда это случится (если такое вообще может случиться), и что оно может означать для человечества? На мой взгляд, можно выделить три направления, к каждому из которых следует отнестись серьезно, поскольку они представлены выдающимися мировыми мыслителями. Я изобразил эти направления на рис. 1.2, дав каждому свое наименование: цифро-утописты, техноскептики и участники движения за дружественный AI. А теперь позвольте мне дать характеристику наиболее ярким представителям из каждого лагеря.
Рис. 1.2.
Большинство споров вокруг сильного искусственного интеллекта (не уступающего человеческому в любом виде деятельности) вращаются около двух вопросов: когда (если такое вообще возможно) он появится и будет ли его появление благоприятно для человечества. Техноскептики и цифро-утописты соглашаются, что поводов для беспокойства у нас нет, но по совершенно различным причинам: первые убеждены, что универсальный искусственный интеллект человеческого уровня (AGI) в обозримом будущем не появится, вторые не сомневаются в его появлении, но убеждены, что оно практически гарантированно будет благоприятно для человечества. Представители движения за дружественный AI соглашаются, что озабоченность уместна и продуктивна, потому что исследования в области AI-безопасности и публичные обсуждения связанных с ней вопросов повышают вероятность благоприятного исхода. Луддиты убеждены в скверном исходе и протестуют против искусственного интеллекта. Отчасти этот рисунок навеян публикацией: https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html (проверена 12.05.2018).
Цифро-утописты
Ребенком я был уверен, что все миллиардеры просто сочатся помпезностью и невежеством. Когда в 2008 году в Google я впервые встретил Ларри Пейджа, он напрочь разрушил оба этих стереотипа. Впечатление подчеркнутой небрежности в одежде создавалось джинсами и ничем не примечательной майкой, словно он собрался на университетский пикник. Задумчивая манера говорить и мягкий голос, скорее, успокоили и расслабили меня, чем напугали и напрягли. 18 июля 2015 года мы снова увиделись в Напа-Вэлли на вечеринке, устроенной Илоном Маском и его тогдашней женой Талулах, и между нами немедленно завязался разговор о копрологических интересах наших детей. Я порекомендовал ему литературную классику Энди Гриффитса – The Day My Butt Went Psycho, которую он тут же себе заказал. Мне пришлось напомнить себе, что этот человек, вероятно, войдет в историю как оказавший на нее наибольшее влияние: если, как я думаю, сверхчеловеческому искусственному интеллекту суждено просочиться во все уголки нашей Вселенной еще при моей жизни, то это может случиться исключительно благодаря решениям Ларри.
С нашими женами, Люси и Мейей, мы отправились ужинать, и во время еды мы обсуждали, непременно ли машины будут обладать сознанием – идея, как он утверждал, совершенно ложная и пустая. А уже ночью, после коктейля, у них с Илоном разразился длинный и бурный спор о будущем искусственно интеллекта. Уже близился рассвет, а толпа любопытных зевак вокруг них продолжала расти. Ларри яростно защищал позицию, которую я бы отождествил с цифро-утопистами: он говорил, что цифровая жизнь – естественный и желательный новый этап космической эволюции, и если мы дадим ей свободу, не пытаясь удушить или поработить ее, то это принесет безусловную пользу всем. На мой взгляд, Ларри самый яркий и последовательный выразитель идей цифро-утопизма. Он утверждал, что если жизни суждено распространиться по всей Вселенной, в чем сам он был убежден, то произойти это может только в цифровом виде. Самую большую тревогу у него вызывала опасность, что AI-паранойя способна затормозить наступление цифровой утопии и даже спровоцировать попытку силой овладеть искусственным интеллектом в нарушение главного лозунга Google “Не твори зла!”. Илон старался вернуть Ларри на землю и без конца спрашивал его, откуда такая уверенность, что цифровая жизнь не уничтожит вокруг все то, что нам дорого. Ларри то и дело принимался обвинять Илона в “видошовинизме” – стремлении приписать более низкий статус одним формам жизни в сравнении с другими на том простом основании, что главный химический элемент в их молекулах кремний, а не углерод. Мы еще вернемся к подробному обсуждению этих важных аргументов ниже, начиная с главы 4.
Хотя в тот вечер у бассейна Ларри оказался в меньшинстве, у цифровой утопии, в защиту которой он так красноречиво выступал, немало выдающихся сторонников. Робототехник и футуролог Ганс Моравец[5] своей книгой Mind Children 1988 года, ставшей классикой жанра, воодушевил целое поколение цифро-утопистов. Его дело было подхвачено и поднято на новую высоту Рэем Курцвейлом. Ричард Саттон, один из пионеров такой важной AI-отрасли, как машинное обучение, выступил со страстным манифестом цифро-утопистов на нашей конференции в Пуэрто-Рико, о которой я скоро расскажу.
Техноскептики
Следующая группа мыслителей тоже мало беспокоится по поводу AI, но совсем по другой причине: они думают, что создание сверхчеловечески сильного искусственного интеллекта настолько сложно технически, что никак не может произойти в ближайшие сотни лет, и беспокоиться об этом сейчас просто глупо. Я называю такую позицию техноскептицизмом, и ее предельно красноречиво сформулировал Эндрю Ын: “Бояться восстания роботов-убийц – все равно что переживать по поводу перенаселения Марса”. Эндрю был тогда ведущим специалистом в Baidu, китайском аналоге Google, и он недавно повторил этот аргумент во время нашего разговора в Бостоне. Он также сказал мне, что предчувствует потенциальный вред, исходящий от разговоров об AI-рисках, так как они могут замедлить развитие всех AI-исследований. Подобные мысли высказывает и Родни Брукс, бывший профессор MIT[6], стоявший за созданием роботизированного пылесоса Румба и промышленного робота Бакстера. Мне представляется любопытным тот факт, что хотя цифро-утописты и техноскептики сходятся во взглядах на исходящую от AI угрозу, они не соглашаются друг с другом почти ни в чем другом. Большинство цифро-утопистов ожидают появления сильного AI (AGI) в период от двадцати до ста лет, что, по мнению техноскептиков, – ни на чем не основанные пустые фантазии, которые они, как и все предсказания технологической сингулярности, называют “бреднями гиков”. Когда я в декабре 2014 года встретил Родни Брукса на вечеринке, посвященной дню его рождения, он сказал мне, что на 100 % убежден, что ничего такого не может случиться при моей жизни. “Ты уверен, что имел в виду не 99 %?” – спросил я его потом в электронном письме. “Никаких 99 %. 100 %. Этого просто не случится, и все”.
Движение за дружественный AI
Впервые встретив Стюарта Рассела в парижском кафе в июне 2014 года, я подумал: “Вот настоящий британский джентльмен!”. Выражающийся ясно и обдуманно, с мягким красивым голосом, с авантюрным блеском в глазах, он показался мне современной инкарнацией Филеаса Фогга, любимого мною в детстве героя классического романа Жюля Верна Вокруг света за 80 дней. Хотя он один из самых известных среди ныне живущих исследователей искусственного интеллекта, соавтор одного из главных учебников на этот счет, его теплота и скромность позволили мне чувствовать себя легко во время беседы. Он рассказал, как прогресс в исследованиях искусственного интеллекта привел его к убеждению, что появление AGI человеческого уровня уже в этом столетии – вполне реальная возможность, и хотя он с надеждой смотрит на будущее, благополучный исход не гарантирован. Есть несколько ключевых вопросов, на которые мы должны ответить в первую очередь, и они так сложны, что исследовать их нужно начинать прямо сейчас, иначе ко времени, когда понадобится ответ, мы можем оказаться не готовы его дать.
Сегодня взгляды Стюарта в той или иной степени разделяет большинство, и немало групп по всему миру занимаются вопросами AI-безопасности, как он и призывал. Но так было не всегда. В статье Washington Post 2015 год назван годом AI-безопасности. А до тех пор рассуждения о рисках, связанных с разработками искусственного интеллекта, вызывали раздражение у большинства исследователей, относившихся к ним как к призывам современных луддитов воспрепятствовать прогрессу в этой области. Как мы увидим в главе 5, опасения, подобные высказанным Стюартом, были достаточно отчетливо артикулированы еще более полувека назад разработчиком первых компьютеров Аланом Тьюрингом и математиком Ирвингом Гудом, который работал с Тьюрингом над взломом германских шифров в годы Второй мировой войны. В прошлом десятилетии такие исследования велись лишь горсткой мыслителей, не занимавшихся созданием AI профессионально, среди них, например, Элиезер Юдковски, Майкл Вассар и Ник Бострём[7]. Их работа мало влияла на исследователей AI-мейнстрима, которые были полностью поглощены своими ежедневными задачами по улучшению “умственных способностей” разрабатываемых ими систем и не задумывались о далеких последствиях своего возможного успеха. Среди них я знал и таких, кто испытывал определенные опасения, но не рисковал говорить о них публично, дабы не навлечь на себя обвинений коллег в алармизме и технофобии.