После того, как разумные машины будут созданы, а человечество уцелеет, мы, конечно, сможем позволить себе немного антропоморфизма. Но сегодня, на пороге создания ИИ человеческого уровня, это может оказаться опасной затеей. Директор Института будущего человечества Оксфордского университета Ник Бостром формулирует это так:
«Чтобы разговор о сверхразуме получился осмысленным, необходимо заранее осознать, что сверхразум – это не просто еще одно техническое достижение, еще одно орудие, которое увеличит человеческие возможности. Сверхразум – нечто принципиально иное. Этот момент нужно всячески подчеркивать, поскольку антропоморфизация сверхразума – плодороднейшая почва для заблуждений».
Сверхразум – нечто принципиально иное в технологическом смысле, говорит Бостром, потому что его создание изменит законы прогресса; сверхразум создаст множество изобретений и задаст темп технического развития. Человек перестанет быть движущей силой перемен, и вернуться к прежнему состоянию вещей будет уже невозможно. Более того, мощный машинный разум в принципе ни на что не похож. Созданный людьми, он, несмотря на это, будет стремиться к самоидентификации и свободе от человека. У него не будет человеческих мотивов, потому что не будет человеческой души.
Таким образом, антропоморфизация машин порождает ошибочные представления, а ошибочные представления о том, что можно безопасно создавать опасные машины, ведут к катастрофе. В рассказе «Хоровод», включенном в классический научно-фантастический сборник «Я, робот», Айзек Азимов представил на суд читателей три закона робототехники, намертво встроенные, по сюжету, в нейронные сети «позитронного» мозга роботов:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться командам человека, если эти команды не противоречат Первому закону.
3. Робот должен заботиться о своей безопасности до тех пор, пока это не противоречит Первому и Второму законам.
В этих законах слышны отголоски заповеди «Не убий», иудеохристианских представлений о том, что грех можно совершить как действием, так и бездействием, врачебной клятвы Гиппократа и даже права на самооборону. Звучит неплохо, не правда ли? Проблема в том, что все это не работает. В рассказе «Хоровод» геологи на поверхности Марса приказали роботу доставить ядовитое для него вещество. Вместо того чтобы выполнить задание, робот попадает в замкнутый круг обратных связей и начинает метаться между вторым (подчиняться приказам) и третьим (защищать себя) законами. Робот так и ходит по кругу, как пьяный, пока геологи не спасают его, рискнув собственными жизнями. И так в каждом рассказе Азимова про роботов – противоречия, изначально присущие трем законам, вызывают неожиданные последствия, и катастрофы удается избежать лишь хитроумными действиями в обход законов.
Азимов всего лишь выдумывал сюжеты для рассказов, а не пытался решить проблемы безопасности в реальном мире. Там, где мы с вами обитаем, этих законов недостаточно. Для начала отметим, что они не очень точно сформулированы. Что конкретно будет считаться «роботом», когда человек научится усиливать свое тело и мозг при помощи разумных протезов и имплантов? И, кстати говоря, кто будет считаться человеком? «Команды», «вред», «безопасность» – тоже весьма расплывчатые термины.
Обмануть робота и заставить его совершить преступное деяние было бы совсем несложно – разве что роботы обладали бы всеми знаниями человечества. «Добавь немного диметилртути в шампунь, Чарли». Чтобы понять, что это рецепт убийства, необходимо знать, что диметилртуть – сильный нейротоксин. Позже Азимов добавил к трем законам еще один – Нулевой – закон, запрещающий роботам наносить вред человечеству в целом, но это не спасает ситуацию.
Однако законы Азимова, какими бы сомнительными и ненадежными они ни были, цитируются чаще всего, когда речь идет о попытках запрограммировать наши будущие отношения с разумными машинами. Это пугает. Неужели законы Азимова – это все, что у нас есть?
Боюсь, что дело обстоит еще хуже. Полуавтономные роботизированные беспилотники уже убивают десятки человек каждый год. Пятьдесят шесть стран имеют или разрабатывают боевых роботов. Идет настоящая гонка за то, чтобы сделать их автономными и разумными. Создается впечатление, что дискуссии об этике ИИ и о технических достижениях идут в разных мирах.
Я считаю и попытаюсь доказать, что ИИ, как и деление ядер, – технология двойного назначения. Деление ядер может и освещать города, и сжигать их дотла. До 1945 г. большинство людей не могло даже представить себе потенциальную мощь атома. Сегодня по отношению к искусственному интеллекту мы находимся в 1930-х и вряд ли переживем появление ИИ, особенно если оно будет столь же внезапным, как явление миру ядерных технологий.
Глава 2
Проблема двух минут
Мы не можем подходить к экзистенциальным рискам с позиции метода проб и ошибок. В этом вопросе невозможно учиться на ошибках. Подобный подход – посмотреть, что происходит, ограничить ущерб и учиться на опыте – здесь неприменим.
Искусственный интеллект не испытывает к вам ни ненависти, ни любви, но вы состоите из атомов, которые он может использовать для своих целей.
Искусственный сверхразум пока не создан, как и искусственный интеллект, сравнимый с человеческим, – то есть такой, который мог бы учиться, как это делаем мы, и не уступал бы по интеллекту большинству людей, а во многих смыслах даже превосходил их. Тем не менее искусственный разум окружает нас со всех сторон и выполняет сотни дел на радость людям. Этот ИИ (иногда его называют слабым, или ограниченным) прекрасно ищет нужную нам информацию (Google), предлагает книги, которые вам могут понравиться, на основе вашего предыдущего выбора (Amazon), осуществляет от 50 до 70 % всех операций покупки и продажи на Нью-Йоркской фондовой бирже и на бирже NASDAQ. Тяжеловесы вроде шахматного компьютера Deep Blue фирмы IBM и компьютера Watson, играющего в «Свою игру», тоже попадают в категорию слабого ИИ, поскольку умеют, хоть и превосходно, делать только одно дело.
До сих пор ИИ приносил человечеству одну только пользу, и немалую. В одной из микросхем моего автомобиля есть алгоритм, который переводит давление моей ноги на педаль тормоза в последовательность тормозных импульсов (антиблокировочная система); у нее гораздо лучше, чем у меня самого, получается избегать пробуксовки и заносов. Поисковая система Google стала моим виртуальным помощником, как, вероятно, и вашим. Помощь ИИ делает жизнь ощутимо приятнее. А в ближайшем будущем все станет еще лучше. Представьте себе группы из сотен компьютеров уровня кандидата, а то и доктора наук, работающих круглосуточно и без выходных над важными вопросами: лечение рака, фармацевтические исследования, продление жизни, разработка синтетического топлива, моделирование климата и т. п. Представьте себе революцию в робототехнике: разумные адаптивные машины возьмут на себя опасные задания, такие как разработка полезных ископаемых, борьба с пожарами, солдатский труд, исследование океана и космоса. Забудьте пока о самосовершенствующемся сверхразуме. ИИ, сравнимый по уровню с нашим разумом, стал бы самым важным и полезным изобретением человечества.
Но что конкретно мы имеем в виду, когда говорим о волшебных свойствах этих изобретений, о самом интеллекте, сравнимом с человеческим? Что разум позволяет нам, людям, делать такое, на что не способны животные?
Благодаря своему человеческому интеллекту вы, к примеру, можете говорить по телефону или управлять автомобилем. Можете распознавать тысячи повседневных объектов, описывать их текстуру и свойства, знаете, как с ними обращаться. Вы можете вдумчиво пользоваться Интернетом. Не исключено, что можете посчитать до десяти на нескольких языках, а может быть, свободно владеете некоторыми из них. У вас немалый запас бытовых сведений: так, вы знаете, что ручки бывают и на дверях, и на чайных чашках, а также имеете бесчисленное количество других полезных знаний об окружающем мире. А еще вы можете изменять окружающий вас мир и приспосабливаться к переменам.
Вы умеете совершать действия последовательно или в разных сочетаниях, умеете помнить о каком-то деле, занимаясь при этом чем-то другим, более насущным. А еще вы умеете без лишних усилий и колебаний переходить от одного дела к другому, не забывая учитывать разные начальные данные. Важнее всего, может быть, то, что вы способны осваивать новые умения и усваивать новые факты, а также планировать собственное развитие. Большинство живых существ рождается с полным набором готовых способностей, которые могут пригодиться им в жизни. Но мы не такие.
Потрясающий спектр сложных навыков – вот что мы имеем в виду, говоря об интеллекте человеческого уровня (УЧИ), том самом интеллекте, к которому стремятся разработчики ИИ.
Нужно ли тело машине, обладающей интеллектом человеческого уровня? Чтобы отвечать нашему определению УЧИ, компьютер должен иметь возможность обмениваться информацией с внешним миром и обладать способами манипулирования объектами в реальном мире, не более того. Но, как мы уже убедились, рассматривая сценарий развития Busy Child, мощный интеллект способен добиться того, чтобы объектами в реальном мире манипулировал кто-то другой (или что-то другое). Алан Тьюринг предложил тест на интеллект для машин, известный сегодня как тест Тьюринга (мы поговорим о нем позже). Его стандарт демонстрации интеллекта человеческого уровня требует лишь самых базовых устройств ввода−вывода, таких как клавиатура и монитор.
Самый сильный аргумент в пользу того, что продвинутому ИИ необходимо тело, относится к фазе развития и обучения ИИ. Не исключено, что ученые выяснят, что «вырастить» ИИ человеческого уровня без всякого тела невозможно. Мы исследуем важный вопрос «воплощенного» интеллекта позже, а пока вернемся к нашему определению. Пока достаточно сказать, что под интеллектом человеческого уровня мы подразумеваем способность решать задачи, учиться и действовать эффективно, по-человечески в различных ситуациях.
А пока у роботов хватает и собственных проблем. До сих пор ни один из них не стал особенно умным даже в узком смысле, и только самые продвинутые способны кое-как передвигаться и автономно манипулировать объектами. В настоящее время роботы не умнее тех, кто ими управляет.
Итак, долго ли осталось ждать появления ИИ человеческого уровня? Некоторые специалисты, с которыми мне довелось общаться, считают, что это может произойти уже к 2020 г. Однако в целом недавние опросы показывают, что компьютерщики и профессионалы в других, связанных с ИИ областях (таких как инженерное дело, робототехника и нейробиология), более осторожны в оценках. Они считают, что с вероятностью более 10 % ИИ человеческого уровня будет создан до 2028 г., а с более чем 50 % – до 2050 г. Вероятность же того, что это событие произойдет до конца текущего столетия, превышает 90 %.
Более того, специалисты утверждают, что первые ИИ соответствующего уровня разработают военные или крупный бизнес; у проектов академической науки и небольших организаций шансов на это намного меньше. Что касается соображений за и против, то ничего неожиданного эксперты не говорят: работы по созданию ИИ человеческого уровня принесут нам громадную пользу и одновременно породят угрозу страшных катастроф, включая такие, от которых человечество уже не сможет оправиться.
Величайшие катастрофы, как мы уже говорили в главе 1, грозят нам после преодоления моста между ИИ человеческого уровня и суперинтеллектом ИСИ. При этом временной промежуток между появлением УЧИ и ИСИ может оказаться совсем небольшим. Следует отметить, однако, что если в профессиональной ИИ-среде риски, связанные с сосуществованием человечества на одной планете со сверхразумным ИИ, рассматриваются в высшей степени серьезно, то в публичном дискурсе эти вопросы практически отсутствуют. Почему?
Причин несколько. Чаще всего обсуждение опасностей, которые создает ИИ для человечества, проходит достаточно поверхностно и не отличается ни широтой, ни глубиной. Мало кто дает себе труд как следует разобраться в вопросе. Конечно, в Кремниевой долине и в академических кругах эти проблемы серьезно прорабатываются, но результаты почти не выходят за пределы узкого круга специалистов. Печальнее всего то, что эти результаты почти не замечают технические журналисты. Когда мрачные прогнозы в очередной раз поднимают головы, многие блогеры, редакторы и технари рефлексивно отбрасывают их прочь со словами: «О нет, только не это! Не нужно снова про Терминатора! Разве недостаточно страшных прогнозов мы слышали в свое время и от луддитов, и от прочих пессимистов?» Такая реакция обусловлена обычной ленью, что ясно видно по слабости выдвигаемых контраргументов. Неудобные факты о рисках, связанных с ИИ, не настолько привлекательны и доступны, как темы, составляющие обычно хлеб технической журналистики: двухъядерные 3D-процессоры, емкостные сенсорные экраны и очередные модные новинки программного рынка.
Кроме того, мне кажется, что популярность темы ИИ в мире развлечений стала своеобразной прививкой, не позволяющей нам серьезно рассматривать эту же тему в другой, серьезной категории катастрофических рисков. Несколько десятилетий сюжет о том, как искусственный интеллект (обычно в форме человекоподобных роботов, но иногда и в более экзотическом виде, к примеру, светящегося красного глаза) стирает человечество с лица земли, был основой множества популярных фильмов, романов и видеоигр. Представьте себе, что официальная медицина выпустила бы серьезное предупреждение касательно вампиров (вовсе не ироничное, как недавно о зомби). Но вампиры в последние годы доставили нам столько радости и развлечений, что после такого предупреждения долго звучал бы смех, и только потом появились бы осиновые колья. Может быть, в настоящее время мы и с ИИ переживаем что-то подобное, и только трагедия или предсмертные переживания способны разбудить нас.
Еще одно объяснение, по которому ИИ как причина вымирания человечества нечасто рассматривается всерьез, обусловлено, возможно, одной из психологических «мертвых зон» человека – когнитивным искажением – ловушкой на пути нашего мышления. Американские психологи еврейского происхождения Амос Тверски и Даниэль Канеман начали работу над этой темой в 1972 г. Их базовая идея состоит в том, что мы, люди, принимаем решения нерационально. Такое наблюдение само по себе не заслуживает Нобелевской премии (а Канеман был удостоен Нобелевской премии в 2002 г.); главное в том, что наша иррациональность подчиняется научным моделям. При принятии быстрых решений, очень полезных и даже необходимых в ходе биологической эволюции, мы постоянно пользуемся ментальными уловками, известными под общим названием эвристики. Одна из таких уловок – делать далеко идущие выводы (часто слишком далеко идущие) из собственного опыта.
Представьте, к примеру, что вы находитесь в гостях у друга, и в его доме вдруг вспыхивает пожар. Вам удается спастись, а на следующий день вы принимаете участие в опросе на тему гибели людей от несчастных случаев. Кто упрекнет вас в том, что вы укажете «пожар» в качестве самой частой или наиболее вероятной причины таких смертей? На самом же деле в США пожары редко приводят к гибели людей и в списке причин находятся намного ниже падений, транспортных происшествий и отравлений. Но вы, выбирая пожар, демонстрируете так называемую ошибку доступности, то есть тенденцию оценивать вероятность по доступным примерам. Ваш недавний опыт влияет на ваш выбор, делая его иррациональным. Но не расстраивайтесь – так происходит со всеми, да и психологических искажений, аналогичных ошибке доступности, существует больше десятка.