"Невероятные перспективы сочетаются с большими опасностями еще со времен приручения огня. Огонь помогал готовить еду, и им же сжигали вражеские деревни. Колесо может быть использовано и во благо, и во зло. Технология - это мощь; одна и та же технология может применяться с различными целями. Человеческие существа делают все на свете, занимаются и любовью, и войной; любое дело мы стремимся улучшить всеми возможными способами, в том числе техническими; мы будем этим заниматься и впредь".
Разные способы применения технологий неизбежны, и несчастные случаи всегда возможны - с этим сложно спорить. Тем не менее аналогия не работает - продвинутый ИИ совсем не похож на огонь или какую-то другую известную технологию. ИИ способен думать, планировать и обманывать своих создателей. Ни один другой инструмент не делает ничего подобного. Курцвейл считает, что существует способ ограничить опасные аспекты ИИ, и особенно ИСИ, и способ этот - соединить его с человеком при помощи машинного усиления интеллекта. Сидя на неудобном металлическом стуле, оптимист сказал: "Как я уже указывал, мощный ИИ рождается из множества разнонаправленных усилий и глубоко интегрируется в инфраструктуру нашей цивилизации. В самом деле, он будет буквально встроен в наше тело и мозг. В этом качестве он начнет отражать наши ценности, поскольку он станет нами".
Из этих рассуждений следует, что ИИ будет настолько же "безопасен", насколько безопасны мы сами. Однако, как я сказал Курцвейлу, homo sapiens не славится особой безобидностью при контактах с сородичами, другими животными и окружающей средой. Кто из вас убежден, что человек, снабженный усилителем мозга, окажется более дружелюбным и доброжелательным, чем машинный сверхразум? Усовершенствованный человек (те, кто с нетерпением ждет такой возможности, называют его сверхчеловеком) может обойти проблему базовых потребностей ИИ, сформулированную Омохундро. Не исключено, что такой человек будет обладать не только самосознанием и способностью к самосовершенствованию, но и встроенным набором отработанной веками человекоцентрической этики - и она подавит базовые потребности, которые Омохундро выводит из модели рационального экономического агента. Однако, несмотря на "Цветы для Элджернона", мы понятия не имеем, что происходит с человеческой этикой, когда интеллект взлетает до небес. Можно привести множество примеров людей средних интеллектуальных способностей, которые вдруг начинают войну против собственной семьи, школы, фирмы или соседей. Гении, кстати говоря, тоже способны наделать шума - лучшие генералы мира по большей части не были идиотами. А сверхразум вполне может оказаться умножителем агрессии. Он может превратить обиду в убийства, разногласия в катастрофы - точно так же, как "удачно" подвернувшееся оружие может превратить потасовку в убийство. Мы просто не знаем. Однако следует заметить, что для ИСИ, созданного за счет усиления интеллекта, характерна биологическая агрессивность, которой у машин нет. Наш биологический вид имеет длинный послужной список самозащиты, объединения ресурсов, откровенного уничтожения противников и других движителей, о наличии которых у сознающих себя машин мы можем пока только гадать.
И кто же первый сможет воспользоваться достижениями науки и серьезно усовершенствовать себя? Самые богатые? Раньше считалось, что зла в богатых не больше, чем во всех остальных, но недавнее исследование Университета Калифорнии в Беркли позволяет усомниться в этом. Эксперименты показали, что богатейшие представители высших классов с большей вероятностью "демонстрируют тенденции к принятию неэтичных решений, отнимают у других ценные вещи, лгут на переговорах, обманывают с целью увеличить свои шансы на выигрыш и одобряют неэтичное поведение на работе". Нет недостатка в обеспеченных руководителях компаний и политиках, у которых одновременно с подъемом к вершинам власти, кажется, постепенно ослабевал моральный компас (если, конечно, он у них имелся изначально). И при этом политики и бизнесмены будут первыми, кто подвергнется серьезному интеллектуальному усовершенствованию?
Или, может быть, первыми будут солдаты? DARPA давно взяла на себя львиную долю расходов, так что разумно предположить, что первая модификация мозга будет испытана на поле боя или в Пентагоне. И если сверхразум сделает солдат сверхдружелюбными, DARPA потребует вернуть свои деньги.
Не исключено, конечно, что, когда дело дойдет до модификации человека, мир будет лучше подготовлен к этому, нежели сейчас, и позаботится о каких-то предохранителях, которые мы сегодня даже представить не можем. Кроме того, множество ИСИ, вероятно, лучше, чем один-единственный. Хорошо бы предусмотреть способ непрерывного мониторинга и наблюдения за ИИ; как ни парадоксально, лучшими сторожами для этого были бы другие ИИ. Подробнее мы поговорим о способах защиты от ИСИ в главе 14. Дело в том, что модификация разума не застрахована от моральных отказов. Сверхразум может оказаться опаснее любой из самых тщательно контролируемых технологий сегодняшнего дня и любого вида оружия.
Одновременно с технологией модификации разума нам придется развивать науку отбора кандидатов на эту операцию. Сингуляритарии тешат себя надеждой, что каждый, кто сможет себе это позволить, получит суперинтеллект; на самом же деле такой подход гарантированно привел бы к тому, что все остальные оказались бы игрушкой в руках первого же злобного сверхразума, полученного таким образом. Мы уже говорили о том, что первый в разработке УЧИ получит решительное преимущество. Тот, кто раньше всех сумеет получить УЧИ, - кем бы он ни был, - вероятно, создаст затем условия для интеллектуального взрыва. Он сделает это из опасения, что конкуренты, военные или корпоративные, обгонят его; никто не знает, насколько конкуренты близки к финишной черте. Я видел, какая гигантская пропасть отделяет создателей ИИ и УЧИ от исследования рисков, которые они должны были бы проводить. Мало кто из разработчиков УЧИ, с которыми я разговаривал, читал хоть что-то из работ Исследовательского института машинного интеллекта, Института будущего человечества, Института этики и новых технологий или Стива Омохундро. Многие даже не подозревают о существовании растущего сообщества людей, озабоченных разработкой интеллекта, превышающего человеческий, и проводящих важные исследования в отношении возможных катастрофических последствий этого. Если ситуация не изменится, я уверен, что короткий забег от УЧИ до ИСИ пройдет без достаточных мер предосторожности, которые могли бы предотвратить катастрофу.
Вот яркий пример. В августе 2009 г. в Калифорнии Ассоциация за продвижение искусственного интеллекта (AAAI) собрала группу, которая должна была успокоить растущий страх публики перед взбесившимися роботами, потерей неприкосновенности частной жизни и техническими движениями, названия которых больше всего напоминали названия религиозных сект.
"За последние пять-восемь лет произошло кое-что новое, - сказал организатор Эрик Хорвиц, видный исследователь из Microsoft. - Технари предлагают почти религиозные идеи, и эти идеи резонируют в некоторых отношениях все с той же идеей Вознесения… По моим ощущениям, рано или поздно нам придется сделать какое-то заявление или утверждение, учитывая все более громкие голоса технократов и людей, которых очень беспокоит развитие интеллектуальных машин".
Несмотря на многообещающую повестку дня, встречу можно записать в разряд упущенных возможностей. Она не была открыта для публики или прессы; специалисты по машинной этике и другие мыслители, занятые оценкой рисков, тоже были оставлены за бортом. К дискуссии были приглашены только чистые компьютерщики. Это примерно как попросить автогонщиков установить в городе пределы разрешенных скоростей. Одна из подгрупп работала над Тремя законами робототехники Айзека Азимова; это означает, что этические дискуссии не были обременены многими томами трудов, написанных позже и продвинувшихся куда дальше этих научно-фантастических декораций. Тоненький отчет о конференции, представленный Хорвицем, выражает скепсис по поводу интеллектуального взрыва, сингулярности и утраты контроля над разумными системами. Тем не менее конференция призвала к дальнейшим исследованиям в области этики и психологии и подчеркнула опасность все более сложных и непонятных компьютерных систем, включая "дорогостоящее непредсказуемое поведение автономных или полуавтономных систем, способных принимать решения". Том Митчелл из Университета Карнеги-Меллона, создатель под крылом DARPA архитектуры NELL (потенциальным УЧИ), утверждает, что конференция изменила его позицию. "Направляясь туда, я был настроен очень оптимистично в отношении будущего ИИ и считал, что Билл Джой и Рэй Курцвейл сильно ошибаются в своих предсказаниях. После этой встречи я захотел большей откровенности в этих вопросах".
В книге "Сингулярность рядом" Курцвейл предлагает несколько решений проблемы беглого ИИ. Это удивительно слабые решения для человека, который занимает практически монопольную позицию представителя суперинтеллекта. Но, с другой стороны, это вовсе не удивительно. Как я уже говорил, существует неразрешимый конфликт между теми, кто лихорадочно жаждет жить вечно, и всем тем, что обещает замедлить, поставить под угрозу или как-то иначе затруднить развитие технологий, которые должны в конечном итоге исполнить их мечту. В своих книгах и лекциях Курцвейл почти не тратит свой интеллект на опасности ИИ и предлагает лишь несколько решений, но при этом утверждает, что подробно разобрал и то и другое. В тесной гостиной Нью-Йорка, когда за дверью нервно готовилась съемочная группа, я спросил себя: чего мы можем ожидать от одного человека? Неужели Курцвейл должен в одиночку справиться с сингулярностью, с ее пользой и опасностями, и скормить нам то и другое с ложечки, как младенцам? Неужели он лично должен разбираться, что означают идиомы вроде "непреодолимо двойственная природа техники", и овладевать философией выживания, как ее понимают люди вроде Юдковски, Омохундро и Бострома?
Нет, я так не думаю. Это проблема, которую мы должны решать все вместе, с привлечением специалистов.
Глава 11
Жесткий старт
День ото дня машины получают над нами преимущество; день ото дня мы все больше подчиняемся им; с каждым днем все больше людей рабски трудятся, ухаживая за ними, с каждым днем все больше людей отдают свои жизненные силы на развитие механической жизни. Развязка - всего лишь вопрос времени, но сам факт того, что придет время, когда машины получат реальную власть над миром и его обитателями, не вызывает ни малейших сомнений ни у кого из тех, кто обладает по-настоящему философским складом ума.
Сэмюел Батлер, английский поэт и писатель XIX века
Более чем когда-либо в истории человечество находится на распутье. Одна дорога ведет к отчаянию и совершенной безнадежности, другая - к полному уничтожению. Будем же молиться, чтобы нам хватило мудрости сделать верный выбор.
Вуди Аллен
Джон Гуд не является изобретателем интеллектуального взрыва, точно так же, как сэр Исаак Ньютон не является изобретателем гравитации. Все, что он сделал, - это обратил внимание на то, что некое событие, которое он считал и неизбежным, и в целом положительным для человечества, наверняка приведет к рождению "ультраинтеллекта", а нам, человечеству, придется решать задачи, слишком для нас сложные. Затем, прожив еще три десятилетия, Гуд изменил свое мнение. Мы сотворим разумные машины по нашему образу и подобию, и они уничтожат нас. Почему? По той же причине, по которой мы никогда бы не договорились запретить исследования ИИ и по которой Busy Child, скорее всего, получит свободу. По той же причине, по которой рациональный насквозь Стив Омохундро, да и все остальные специалисты, с которыми я встречался, уверены, что остановить разработку УЧИ до того момента, пока мы не будем больше знать о связанных с ним опасностях, нет никаких шансов.
Мы не прекратим разработку УЧИ, потому что больше самого ИИ боимся, что другие страны будут продолжать совершенствовать УЧИ, что бы ни говорило и ни делало международное сообщество. Мы сочтем, что лучше первыми прийти к цели и взять приз. Интеллектуальная гонка в разгаре и, к разочарованию многих, эта глобальная гонка может оказаться более опасной, чем та, из которой мы, вроде бы, только что вышли, - гонка ядерных вооружений. Мы пойдем за политиканами и энтузиастами технического прогресса к роковому концу, говоря словами Гуда, "подобно леммингам".
Позитивная сингулярность Рэя Курцвейла не требует интеллектуального взрыва - Закон прогрессирующей отдачи гарантирует продолжение экспоненциального роста информационных технологий, включая и те, что кардинально меняют мир, такие как УЧИ, а позже ИСИ. Вспомните, что для интеллектуального взрыва, по Гуду, необходим УЧИ. Результатом взрыва будет интеллект выше человеческого или ИСИ. Курцвейл утверждает, что УЧИ будет покорен, поначалу медленно, а затем разом, в соответствии с Законом прогрессирующей отдачи.
Курцвейла не беспокоят препятствия на пути к УЧИ, поскольку сам он предпочитает построение УЧИ путем обратного проектирования мозга. Он считает, что в мозге (включая сознание) нет ничего, что невозможно было бы компьютеризировать. Действительно, все специалисты, с которыми я говорил, уверены, что интеллект компьютеризируем. Мало кто считает, что для получения ИСИ после создания УЧИ необходим интеллектуальный взрыв в гудовском смысле. Медленный уверенный прогресс должен привести к тому же, но Курцвейл настаивает, что прогресс, вероятно, будет не медленным и равномерным, а быстрым и к тому же ускоряющимся.
Однако после построения почти любой системы УЧИ интеллектуальный взрыв может оказаться неизбежным. Когда система осознает себя и получит возможность самосовершенствоваться, ее базовые потребности, согласно Омохундро, практически гарантируют, что она будет стремиться улучшать себя снова и снова.
Итак, неизбежен ли интеллектуальный взрыв? Или что-нибудь может его остановить?
Те, кто считает, что создать УЧИ крайне затруднительно, группируются вокруг двух основных идей: экономики и сложности программного обеспечения. Сторонники первой - экономической - считают, что на переход от ИИ к гораздо более сложной и мощной когнитивной архитектуре УЧИ просто не хватит денег. Редко какой из проектов УЧИ не страдает от недостатка финансирования. Исходя из этого, некоторая часть исследователей считает, что их отрасль в состоянии бесконечного застоя, так называемой ИИ-зимы. Застой удастся преодолеть, если правительство или какая-нибудь корпорация вроде IBM или Google присвоит УЧИ высший приоритет и организует проект масштабов Манхэттенского с приложением соответствующих усилий. Во время Второй мировой войны авральная разработка атомного оружия стоила правительству США примерно $2 млрд в современных ценах, и работали над ней около 130000 человек. Манхэттенский проект часто всплывает в разговорах тех исследователей, которые хотят получить УЧИ поскорее. Но кто пойдет на это и почему?
Сторонники идеи о сложности программного обеспечения утверждают, что проблема создания УЧИ попросту слишком сложна для человечества, как бы долго мы над ней ни бились. Философ Дэниел Деннетт считает, что мы, возможно, не обладаем разумом, способным понять наш собственный разум. Скажем, золотая рыбка не может объяснить, как работает ее мозг. Вероятно, человеческий разум не самый сильный из всех возможных, однако для того, чтобы полностью разобраться в его работе, может потребоваться интеллект более мощный, чем наш.
Чтобы узнать больше о правдоподобности утверждений "пораженцев", я обратился к человеку, с которым неоднократно сталкивался на конференциях по ИИ и чьи блоги, статьи и заметки часто читал в Сети. Этот человек - разработчик ИИ, опубликовавший множество очерков и интервью плюс девять толстых книг и бесчисленное количество научных статей. Я бы не удивился, обнаружив в его доме в пригороде Вашингтона робота, вкалывающего круглые сутки, готовя статьи для доктора Бенджамина Гертцеля, чтобы тот мог разъезжать по конференциям. Этот человек успел дважды жениться, завести троих детей и поработать в университетах на кафедрах информатики, математики и психологии в США, Австралии, Новой Зеландии и Китае. Он - организатор единственной ежегодной конференции по ИИ человеческого уровня и главный популяризатор термина УЧИ. Он же - исполнительный директор двух технических компаний, причем одна из них - Novamente - входит, по мнению некоторых экспертов, в короткий список фирм, имеющих максимальные шансы первыми прийти к финишу и создать УЧИ.
Говоря в общем, когнитивная архитектура Гертцеля, получившая название OpenCog, - подход инженеров-компьютерщиков по всем правилам науки. Исследователи, которые считают необходимым опираться на информатику, хотят сконструировать УЧИ с архитектурой, работающей аналогично нашему мозгу, как его работу описывает когнитивистика. Когнитивистика, в свою очередь, пользуется данными таких наук, как лингвистика, психология, антропология, педагогика, философия и др. Исследователи-компьютерщики считают, что создание разума в точности по образцу мозга - путем обратного проектирования, как рекомендуют Курцвейл и другие специалисты, - излишне затратно. Кроме того, мозг по конструкции не оптимален - можно сделать и лучше. В конце концов, рассуждают они, человеку, чтобы научиться летать, не потребовалось заниматься обратным проектированием птицы. Принципы полета были установлены путем экспериментов и по наблюдениям за птицами. За этим последовали изобретения. Когнитивистика - "принципы полета" для мозга.