У писателей наблюдается два подхода к приближающейся технологической революции. Один подход порождает книги вроде курцвейловской "Сингулярность рядом". Цель авторов таких книг - заложить теоретические основы в высшей степени позитивного будущего. Если бы в таком будущем произошло что-то плохое, вести об этом потонули бы в веселом гомоне оптимизма. Второй подход к проблеме представляет книга Джеффри Стибела "Создан для мысли". Это взгляд на технологическое будущее сквозь призму бизнеса. Стибел убедительно доказывает, что Интернет представляет собой все более усложняющийся мозг с множеством связей, и разработчикам веб-проектов следует это учитывать. Книги, подобные книге Стибела, пытаются научить предпринимателей забрасывать свои сети между интернет-тенденциями и потребителями и извлекать из глубин Интернета полные ведра денег.
Большинство теоретиков в области технологий и писателей упускает из виду не столь блестящий третий вариант, и я своей книгой постараюсь восполнить этот пробел. Я попытаюсь доказать, что завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за ИСИ исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.
Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.
Приготовьтесь к следующему столкновению цивилизаций - мы с вами против искусственного суперинтеллекта.
Возможно, мудрецы от технологий уже рассмотрели все темные стороны ИИ, но считают, что катастрофический исход слишком маловероятен, чтобы об этом стоило тревожиться. Или, наоборот, понимают неизбежность такого исхода, но считают, что ничто не в состоянии его предотвратить. Известный разработчик ИИ Бен Гёрцель (о его планах касательно ИСИ мы будем говорить в главе 11) рассказал мне, что мы не сможем придумать способа защиты от продвинутого ИИ, пока не накопим достаточно опыта общения и работы с ним. Курцвейл, теории которого мы разберем в главе 9, давно говорит примерно о том же: создание сверхразума и его интеграция с человеком будет проходить постепенно, и мы успеем научиться всему необходимому по ходу дела. И тот и другой утверждают, что истинные опасности ИИ невозможно увидеть из сегодняшнего дня. Иными словами, живя в век конных повозок, невозможно понять, как следует управлять автомобилем на обледенелой дороге. Так что расслабьтесь, мы во всем разберемся, когда придет время.
Для меня проблема такого подхода заключается в том, что, хотя обладающие суперинтеллектом машины спокойно могут стереть человечество с лица земли или просто сделать нас ненужными, мне представляется, что серьезную опасность для нас могут представлять и те ИИ, с которыми мы встретимся на пути к суперинтеллекту. То есть мама-медведица, конечно, представляет опасность для пикника на поляне, но не стоит сбрасывать со счетов и ее веселого медвежонка. Более того, градуалисты - сторонники теории постепенности - уверены, что скачок от основы (интеллекта человеческого уровня) к суперинтеллекту может занять несколько лет, а то и десятилетий. Такое развитие событий подарило бы нам определенный период мирного сосуществования с умными машинами, в течение которого мы успели бы научиться с ними взаимодействовать. Тогда их более продвинутые потомки не застали бы нас врасплох.
Но невозможно гарантировать, что все будет именно так. Скачок от интеллекта человеческого уровня к суперинтеллекту благодаря положительной обратной связи (через самосовершенствование) может произойти стремительно. В этом сценарии ИИ человеческого уровня совершенствует свой интеллект так быстро, что превращается в суперинтеллект за несколько недель, дней или даже часов, а не за месяцы и годы. В главе 1 описана как вероятная скорость, так и вероятный результат такого "жесткого старта". Вполне возможно, что в этом переходе не будет ничего постепенного.
Не исключено, что Гёрцель и Курцвейл правы - позже мы познакомимся с аргументами градуалистов поподробнее. Но прямо сейчас я хочу донести до вас кое-какие важные и тревожные мысли, вытекающие из сценария Busy Child.
Ученые-компьютерщики, особенно те, кто работает на оборонные и разведывательные ведомства, считают необходимым как можно быстрее разработать ИИ человеческого уровня, ведь альтернативы (к примеру, ситуация, когда китайское правительство создаст его первым) пугают их больше, чем поспешность в разработке собственного ИИ. Возможно, они спешат еще и потому, что ИИ необходим для лучшего управления другими капризными технологиями, появление которых ожидается в этом столетии. Например, нанотехнологий. Возможно, они не остановятся, чтобы обдумать тщательнейшим образом ограничения к самосовершенствованию. А совершенствующийся без всяких ограничений искусственный интеллект вполне может проскочить промежуток между обычным ИИ и ИСИ в варианте жесткого старта и дать толчок "интеллектуальному взрыву".
Мы не можем заранее знать, как поступит разум более мощный, чем наш. Мы можем лишь предполагать, какие способности такой интеллект сможет при желании против нас применить (к примеру, он может многократно дублировать себя, чтобы создать целую команду ИСИ для решения задач и одновременной проработки множества стратегических вопросов, связанных с освобождением и выживанием, и действовать при этом вне рамок морали). Наконец, было бы разумно считать, что первый ИСИ не будет настроен по отношению к нам ни дружественно, ни враждебно; ему будут попросту безразличны наше счастье, здоровье и благополучие.
Можем ли мы прогнозировать потенциальный риск от ИСИ? Уоррен Льюис в книге "Технологический риск" разбирает категории риска и классифицирует их по тому, насколько сложно такие риски учесть. Легче всего просчитываются риски событий, происходящих с высокой вероятностью и возможными серьезными последствиями (к примеру, поездка за рулем машины из одного города в другой). Здесь очень много информации, на которую можно опереться в расчетах. События с низкой вероятностью и серьезными последствиями (к примеру, землетрясения) происходят реже, поэтому предвидеть их сложнее. Но последствия таких событий настолько серьезны, что заниматься их прогнозированием имеет смысл.
Существуют также события, вероятность которых низка, потому что никогда прежде ничего подобного не происходило, но последствия которых очень серьезны. Хороший пример - резкое изменение климата в результате загрязнения окружающей среды. До 16 июля 1945 г. - первого испытания бомбы в районе Аламогордо на полигоне Уайт-Сэндз (штат Нью-Мексико) - еще одним таким событием был атомный взрыв. Технически именно к этой категории относится и искусственный суперинтеллект. Опыт в данном случае ничего не подсказывает. Невозможно просчитать вероятность этого события при помощи традиционных статистических методов.
Я уверен, однако, что при нынешних темпах развития ИИ изобретение сверхразума относится скорее к первой категории - это событие с высокой вероятностью и высоким риском. Более того, даже если бы вероятность этого события была низкой, масштабы риска должны были бы выдвинуть его на передний план нашего внимания.
Иначе говоря, я считаю, что Busy Child появится очень скоро.
Страх проиграть разуму, превосходящему человеческий, возник давно, однако только в начале этого века в Кремниевой долине был проведен хитроумный эксперимент, связанный с ИИ, и его результаты мгновенно породили в Интернете легенду.
Слух выглядел примерно так: одинокий гений заключил несколько пари с высокими ставками на игру по сценарию, который он назвал "ИИ в ящике". В ходе эксперимента роль ИИ играл этот самый гений. В роли Привратника выступали миллионеры, сделавшие себе состояние на всевозможных интернет-проектах; они по очереди играли роль создателя ИИ, перед которым стоит задача охранять и удерживать "взаперти" искусственный интеллект. ИИ и Привратник общались в онлайновом чате. Утверждалось, что при помощи одной только клавиатуры человек, игравший роль ИИ, каждый раз умудрялся улизнуть - и таким образом выиграл все пари. К тому же, что еще важнее, он доказал свое утверждение. Если он, обычный человек, сумел посредством слов открыть заключенному в "ящике" разуму путь на свободу, то любой ИСИ, который будет в десятки или в сотни раз умнее, тоже сможет это сделать, причем гораздо быстрее, что приведет, скорее всего, к гибели человечества.
По слухам, после эксперимента гений ушел в подполье. Сам эксперимент, а также статьи и монографии на тему ИИ, написанные этим гением, принесли ему такую известность, что у него даже появилось сообщество поклонников, общение с которыми, однако, никак не приближало его к цели, с которой он начинал эксперимент "ИИ в ящике", - спасти человечество.
В результате он исчез из поля зрения и поклонников, и журналистов. Но я, разумеется, захотел с ним поговорить
Глава 3
Взгляд в будущее
ИИ человеческого уровня по природе своей очень-очень опасен. И понять эту проблему не особенно трудно. Не нужно быть ни сверхумным, ни сверхинформированным, ни даже сверхинтеллектуально-честным, чтобы понять эту проблему.
Майкл Вассар, президент Исследовательского института машинного интеллекта
Я определенно считаю, что создавать искусственный интеллект человеческого уровня необходимо с максимальным вниманием. В этом случае максимальное внимание означает гораздо более скрупулезную осторожность, чем была бы необходима в работе с вирусом Эбола или плутонием.
Майкл Вассар - подтянутый невысокий мужчина лет тридцати. Он обладает научными степенями в области биохимии и бизнеса и прекрасно разбирается в разных способах уничтожения человечества, так что такие слова, как "вирус Эбола" и "плутоний", слетают с его языка без малейших колебаний или иронии. Одна из стен его квартиры в стильном кондоминиуме представляет собой одно большое окно, в котором, как в раме, висит красный мост, соединяющий Сан-Франциско с Оклендом. Это не знаменитый элегантный мост Золотые Ворота, который находится внутри города. Этот красный мост называют его безобразным сводным братом. Вассар рассказал мне, что известны случаи, когда люди, решившие покончить с собой, проезжали через этот мост, чтобы добраться до другого, красивого.
Вассар посвятил свою жизнь тому, чтобы предотвратить самоубийство глобального масштаба. Он является президентом Исследовательского института машинного интеллекта - мозгового треста со штаб-квартирой в Сан-Франциско, основанного для противодействия гибели человеческой расы от рук, вернее, от байтов искусственного интеллекта. На сайте института размещаются серьезные статьи об опасных сторонах ИИ, а раз в год институт собирает представительную конференцию по сингулярности. За два дня работы конференции программисты, нейробиологи, ученые, предприниматели, специалисты по этике и изобретатели обсуждают положительные и отрицательные стороны текущей ИИ-революции. Организаторы равно приветствуют выступления сторонников и противников этого процесса, приглашают к себе и тех, кто уверен, что никакой сингулярности не будет, и тех, кто считает институт апокалиптической техносектой.
Вассар улыбается при мысли о секте.
Люди, которые приходят работать в наш институт, не похожи на сектантов, скорее наоборот. Как правило, они осознают исходящие от ИИ опасности раньше, чем узнают о существовании института.
Я, к примеру, не знал о существовании Исследовательского института машинного интеллекта, пока не услышал об эксперименте "ИИ в ящике". О нем рассказал мне друг, но в его пересказе история вышла сильно искаженной, особенно часть об одиноком гении и его оппонентах-миллионерах. Заинтересовавшись темой, я нашел источник этой легенды на сайте института и выяснил, что автор эксперимента - Елиезер Юдковски - был одним из основателей института (тогда он назывался Институтом сингулярности) вместе с предпринимателями Брайаном и Сабиной Эткинс. Несмотря на приписываемую ему замкнутость, мы с Юдковски обменялись электронными письмами, и он подробно рассказал мне об эксперименте.
Пари между ИИ, за который играл Юдковски, и Привратниками, задача которых состояла в контроле над ИИ, заключались максимум на несколько тысяч долларов, но никак не на миллионы. Всего состоялось пять игр, "ИИ в ящике" выиграл три из них. Это означает, что ИИ, как правило, умудрялся выбраться из "ящика", но все же не каждый раз.
Отчасти слухи об эксперименте "ИИ в ящике" все же были верны: Юдковски и правда живет замкнуто, бережет время и не открывает своего адреса. Я напросился в гости к Майклу Вассару потому, что был потрясен и обрадован тем, что в природе существует некоммерческая организация, призванная бороться с опасностями ИИ, и что умные молодые люди посвящают свою жизнь решению этой проблемы. Но я к тому же надеялся, что разговор с Вассаром поможет мне все же добраться до Юдковски.
Прежде чем погрузиться с головой в дело разоблачения опасностей искусственного интеллекта, Вассар успел получить степень магистра бизнес-администрирования и заработать денег, став одним из основателей интернет-компании музыкального лицензирования Sir Groovy. Эта компания выступает посредником между теле- и кинопродюсерами и независимыми звукозаписывающими компаниями, предлагающими свежие записи не самых известных и потому не самых дорогих музыкантов. До 2003 г. Вассар колебался, не заняться ли ему опасностями нанотехнологий, но в том году он встретился с Елиезером Юдковски, работы которого читал в Интернете уже много лет. Он узнал о существовании Исследовательского института машинного интеллекта - и об угрозе более неотвратимой и опасной, чем нанотехнологии: опасности со стороны искусственного интеллекта.
Елиезер убедил меня, что ИИ человеческого уровня может быть создан в короткие сроки при относительно небольшом финансировании, и риск глобальной катастрофы по вине такого ИИ очень встревожил меня. У меня не было никаких убедительных причин считать, что УЧИ не может появиться в течение, скажем, следующих двадцати лет.
Это раньше, чем предсказанное появление серьезных нанотехнологий. Да и дополнительных расходов на разработку ИИ будет, скорее всего, куда меньше. Так что Вассар изменил курс.
При встрече я признался, что раньше пренебрежительно относился к мысли о том, что ИИ человеческого уровня может быть создан небольшой группой специалистов со скромным финансированием. Во всех опросах специалистов такой вариант появления ИИ фигурировал как маловероятный.
Так может ли, к примеру, искусственный интеллект создать "Аль-Каида"? Или Революционные вооруженные силы Колумбии? Или какая-нибудь секта вроде "Аум Синрикё"?
Вассар не считает, что ИИ родится в террористической ячейке. Слишком велик интеллектуальный разрыв.
Известно, что плохие парни, которые хотят уничтожить мир, обычно не слишком умны. Вы знаете, у людей, которые и правда хотят уничтожить мир, для реализации чего бы то ни было не хватает способностей к долгосрочному планированию.
Но как же "Аль-Каида"? Разве для реализации террористических атак, включая и теракт 11 сентября 2001 г., не нужны были развитое воображение и тщательное планирование?
По масштабу подготовка к теракту не сравнима с разработкой ИИ человеческого уровня. Написание программы, которая хоть что-нибудь делала бы лучше человека, не говоря уже о реализации всего набора свойств и способностей ИИ, потребовало бы на несколько порядков больше таланта и организованности, чем демонстрирует "Аль-Каида" всем перечнем своих злодеяний. Если бы создать ИИ было настолько просто, кто-нибудь поумнее "Аль-Каиды" давно бы уже сделал это.
Но как насчет правительств таких стран, как Северная Корея или Иран?
В практическом аспекте качество науки, которую могут обеспечить эти нехорошие режимы, отвратительно. Единственное исключение - это нацисты. Но, как бы это сказать, если нацизм вновь возникнет, у нас будут серьезнейшие проблемы - с искусственным интеллектом или без него.
Здесь я с ним не согласен, хотя и не в отношении нацистов. Иран и Северная Корея сумели найти высокотехнологичные способы шантажировать весь остальной мир, с одной стороны, разработкой ядерного оружия, с другой - межконтинентальными ракетами. Так что я не стал бы вычеркивать их из короткого списка потенциальных создателей ИИ, ведь они уже не раз выразили полное пренебрежение международным сообществом. Кроме того, если ИИ человеческого уровня способна создать небольшая группа специалистов, то ясно, что финансировать такую группу может любое государство-изгой.
Говоря о небольших группах специалистов, Вассар имел в виду компании, работающие открыто. Но мне приходилось слышать и о других фирмах - так называемых стелс-компаниях, которыми владеют частные лица, тайком нанимающие людей и никогда не выпускающие пресс-релизов и вообще никак не рассказывающие о том, чем занимаются. Если говорить о разработке ИИ, то единственная причина, по которой компания может держаться в тени, состоит в том, что ее специалисты добились какого-то серьезного прорыва и не хотят раскрывать секреты конкурентам. Искать такие компании по определению трудно, хотя слухами о них земля полнится. Так, основатель PayPal Питер Тиль финансирует три стелс-компании в области искусственного интеллекта.
Компании, работающие в стелс-режиме, однако, выглядят иначе и встречаются чаще. Они ищут финансирование и даже стремятся к публичности, но не раскрывают своих планов. Петер Восс, известный новатор ИИ и автор технологии распознавания речи, тоже разрабатывает ИИ в своей компании Adaptive AI. Он публично заявил, что ИИ человеческого уровня может быть создан в ближайшие десять лет. Но как именно и за счет чего, он не говорит.
Со стелс-компаниями связана еще одна сложность. Небольшая мотивированная группа вполне может существовать внутри крупной известной компании. Что вы думаете, к примеру, насчет Google? Почему бы богатой мегакорпорации не взяться за поиски "святого Грааля"?