Это не значит, что к Алексе нужно относиться как к рабыне. Ведь раб это человек, которому отказано в возможности самоопределения, тогда как Алекса это искусственное существо, которое мы определили сами и чьи способности ограничены управляющими им алгоритмами. Речь идет о том, чтобы, опираясь на базовые моральные принципы, провести четкое различие между субъектом, который, будучи целью в себе, заслуживает уважения, и чисто утилитарным объектом. Роботы не являются ни нашими друзьями, ни нашими врагами, ни ангелами, ни демонами. Это просто инструменты. Только четко это понимая, мы сможем мирно сосуществовать с ними.
Поэтому жизненно важно уметь отличать человека от робота. Эта задача иногда сложнее, чем кажется. Ник Монако, работающий в Digital Intelligence Lab в Вашингтоне, сделал ее своей профессией. Он разрабатывает алгоритмы, которые отслеживают другие алгоритмы, позволяя отличать автоматически сгенерированные ботами сообщения (например, в твиттере их около 25 %). Речь не о том, чтобы их запретить: половина трафика в интернете уже нечеловеческого происхождения. Однако нужно иметь возможность четко их определять. Ника на самом деле беспокоит появление дипфейков, способных, например, произвести видео Дональда Трампа, говорящего на китайском, абсолютно убедительного и в то же время полностью поддельного. Мы только вступаем в полосу подобных политических манипуляций. Чтобы защититься от них, нужны такие технические специалисты, как Ник, но не менее важно уметь проводить концептуальную границу между машиной и человеком.
К сожалению, технологическая индустрия развивается совсем в ином направлении. С тех пор как я познакомился с Алексой, Amazon успел внедрить в ее код функцию «Волшебное слово» (Magic Word), которая вознаграждает за вежливое с ней обращение (Google быстро последовал тому же примеру, внедрив функцию Pretty Please). Подобный подход, ни в коей мере не способствуя хорошему воспитанию детей, грозит вернуть их к первобытной социальности, в которой нужно благословлять дома и приветствовать холодильники. Это, если воспользоваться выражением одного социолога, новый «троянский конь»[31]. Он приведет к общей антропоморфизации робототехники, последствия которой могут быть катастрофическими, например в военной сфере: если к роботу-солдату нужно относиться как к человеку, должны ли к нему применяться нормы военного права? Не значит ли это, что мы воссоздадим золотого тельца или, скорее, миллионы и миллиарды золотых тельцов, пав ниц перед которыми, отречемся от всякого желания сделать мир умопостигаемым?
Конечно, нельзя позволять детям обращаться с Алексой грубо (что и было проблемой, первоначально поставленной Amazon). Но они должны ограничиться нейтралитетом. Вместо того чтобы требовать формул вежливости, алгоритм мог бы поощрять чисто функциональное поведение. Я поговорил об этом с ПП Чжу («Зовите меня просто ПП»), основателем Xiao-i, азиатского гиганта, производящего чат-боты. Китаец, когда звонит в электроэнергетическую компанию или снимает трубку в ответ на рекламный звонок от фирмы недвижимости, скорее всего, общается с ИИ, разработанным инженерами ПП. Его перенаправят к оператору-человеку лишь на последнем этапе, если вопрос слишком сложный или нестандартный. Методы машинного обучения позволили компании Xiao-i, основанной в конце 1990‐х годов, добиться значительного прогресса, пусть даже техники NLP пока еще не дотягивают до уровня беглой речи.
«Меняют ли потребители поведение, когда понимают, что имеют дело с чат-ботом, а не с человеком-оператором? Конечно. Они начинают говорить более взвешенно!» улыбается ПП в дремотной атмосфере отеля Four Seasons, где он проводит встречи. С машиной не ругаются. Вы никогда не вываливали на невинного сотрудника кол-центра все свои денежные претензии, все проблемы с договором или с задержками поставки? Со мной такое бывало не раз Человек, пусть даже это бессильный винтик, стоящий на самой нижней ступени предприятия, остается связанным с группой, частью которой он является, и несет часть ее ответственности, пусть и бесконечно малую. С ИИ все это невозможно, поскольку он по природе своей невинен. Именно потому, что мы инстинктивно умеем отличать людей от машин, мы не будем терять время и винить их в ошибках людей. Точно так же мы никогда не почувствуем необходимости оправдываться перед роботом. ПП дал мне послушать запись разговора чат-бота, который требует, чтобы клиент оплатил счет. И хотя я не понимаю по-китайски ни слова, было очевидно, что диалог прошел совершенно спокойно. Никакого возмущения, никаких воззваний или извинений. Это своего рода моральная анестезия, в подобных обстоятельствах весьма похвальная. Впрочем, как отмечает ПП, потребители переходят к более стандартизированному языку, чтобы их лучше понимали. Люди настоящие хамелеоны, они умеют выдавать себя за роботов. Но не наоборот
Если у чат-ботов и есть долг перед собеседниками, он заключается не в вежливости, а в том, что с самого начала разговора они должны прямо заявлять о своей цифровой природе. Этот добровольно исповедуемый функционализм залог наших хороших отношений.
ПП говорит о любви. Любовь не дело чат-ботов. Вокруг нас журчат фонтаны, в клетках поют экзотические птицы, резко контрастирующие с горячечным оживлением Пекина. Мы потягиваем цветочный чай из фарфоровых чашек. Я понемногу оттаиваю после безумного дня, потраченного на выживание в пробках. В человеческой беседе есть свои прелести.
Без обратного билета посадка невозможна, объясняет она мне, улыбаясь.
Но я же вам говорю, что потом поеду в Китай!
В аэропорту Шарль-де-Голль во время моей посадки на рейс в Бостон стоит агент безопасности, которая не хочет ничего знать. Поскольку я въезжаю в США без визы, что возможно в случае пребывания, не превышающего трех месяцев, я должен показать ей обратный билет, чтобы доказать свое намерение покинуть территорию страны. Я же хотел поиграть в Керуака и отправиться в путь без точного маршрута. Я пока не знаю, полечу ли через Сиэтл (все зависит от ответа Amazon) и как долго пробуду в Сан-Франциско. Единственная вещь, которая мне известна и которую я пытаюсь объяснить своему неумолимому церберу, состоит в том, что я вылечу с Западного побережья в Пекин, где должен продолжить свой репортаж. Я показываю ей задание, подписанное директором издания Point, а также журналистскую визу в Китай, полученную не без некоторого труда: согласно этой визе я обязан прибыть на территорию КНР не позднее 16 сентября.
Без обратного билета посадка невозможна.
Но я совсем не хочу поселиться в США. Моя семья живет в Лондоне, работа в Париже. Я девять месяцев прожил в Нью-Йорке и поспешил оттуда уехать так соскучился по Европе. Клянусь честью, что предпочитаю круассаны бейглам, а Луи де Фюнеса Робину Уильямсу. Я терпеть не могу, когда меня будят сирены машин скорой помощи. У меня головокружение от небоскребов, и я никогда не обращаюсь к малознакомым людям по имени. Пожалуйста, позвольте мне вылететь.
Без обратного билета посадка невозможна.
Разве это преступление не бронировать гостиницы за два месяца? Разве у нас нет права просто шляться, фланировать, выжидать? Хотим ли мы жить в мире без случайности, без экспромтов, без вкуса?
Без обратного билета посадка невозможна.
Цербер продолжает одарять меня благожелательной улыбкой, закрывая проход телом. Ни малейшего раздражения. Эта невозмутимость в конце концов подавляет меня. В отчаянии я вижу, что времени почти не остается. Но я уже назначил на завтра ряд встреч в Массачусетском технологическом институте Путешествующие по делам обходят меня, не моргнув глазом, а семьи, отправляющиеся в турпоездку, оглядывают с любопытством. Я чувствую себя как мигрант, у которого нет правильных документов и печатей. Почему все эти люди проходят без проблем? Чем я хуже их? К какой недочеловеческой касте я теперь отношусь?
Избавлю читателя от описания всех хитростей, на которые мне пришлось пойти, чтобы в итоге сесть на самолет. Мне понадобилось купить по интернету за сто долларов билет Нью-Йорк Монреаль, предупредив свою тамошнюю знакомую (зашифрованным сообщением), что, если понадобится, я сделаю вид, что еду к ней. Пройдя через американскую таможню на другой стороне Атлантики, я поспешил этот билет вернуть. Как легко обмануть бюрократию, и как жаль, что приходится этим заниматься! Впрочем, агент безопасности не поверила ни единому слову моей истории, однако формальности были соблюдены. Мне пришлось соврать, чтобы сохранить истину.
Во время полета я долго думал о моем цербере, молодой и привлекательной девушке. Предположим, что в личной жизни она само воплощение нежности и эмпатии. Ее работа, однако, состоит в том, чтобы бездумно применять тупые правила, независимо от какого-либо контекста. Если бы она работала на Адольфа Эйхмана, то выполняла бы работу с той же улыбкой и сноровкой. По сути, на тридцать пять часов в неделю общество превращает ее в робота. Людей, ей подобных, мы встречаем ежедневно в окошках государственных учреждений и в службах поддержки клиентов. Всем знакомы моменты, когда наш собеседник выходит из сообщества людей, чтобы укрыться в своем статусе робота простой, что-то исполняющей машины, которая неподвластна доводам совести. Это момент падения, когда любая мораль становится невозможной. Кто не оказывался жертвой подобного искушения? Все мы бываем бюрократами при исполнении, готовыми погрузиться в комфорт правил.
Приподнимая покровы ИИ и проникая в механизмы информационной иллюзии, мы постепенно теряем вкус к антропоморфизации роботов. Однако в то же время нужно перестать роботизировать людей. ИИ это, возможно, отличный повод покончить с бюрократией, делегировав роботам все, что относится к формальному и усредненному, а людей заставить выносить суждение, на что робот не способен. Представьте, что в аэропорту Шарль-де-Голль работает автоматический контроль посадочных документов, где таких эксцентриков, как я, которые не вписываются в статистику и в буквальном смысле «беспрецедентны», отправляют к сотрудникам-людям, способным к взвешенным решениям.
Задача, как мы уже видели, не в том, чтобы в принципе воевать с роботами, а в том, чтобы воевать со своим внутренним роботом. Нужно разоблачать роботов, которые выдают себя за людей, и в то же время порицать людей, которые ведут себя как роботы.
Будем создавать механических турков, но не станем, в отличие от завсегдатаев салонов эпохи Просвещения, умиляться, глядя на них.
Давайте раскрывать двойное дно, расшифровывать строки кода, учиться отличать человеческий интеллект от его искусственной копии и уничтожим дремлющего турка в самих себе.
2
Миф о суперинтеллекте
Почему ИИ не уничтожит мир (или вашу работу)
Впервые я встретил Чунлонга (для европейцев он просто Аллен), моего будущего гида по Пекину, в кафе Pret A Manger на Марбл-арч, одном из тех фастфудов с легким намеком на здоровое питание, каких полно в Лондоне. Через час, слегка шатаясь, я вышел оттуда совершенно одуревшим. Чтобы вернуться в чувство, мне понадобилась долгая прогулка по Гайд-парку. С ностальгической нежностью взирал я на деревья, уже пробужденные весной, детей, щебетавших возле нянь, бегунов, вдыхающих воздух полной грудью, на всех этих беззаботных свидетелей мира, дни которого сочтены.
Ведь, по мнению Чунлонга, успешного предпринимателя, который вот уже пятнадцать лет работает в китайской технологической сфере, ИИ приведет к тому, что для человечества, а вместе с ним и для всей биологической жизни начнется новая эпоха. В строках кода обязательно появится сознание. Информационные системы обретут автономию, попирая своих создателей и постепенно захватывая все больше и больше власти. Само бытие станет виртуальным, выйдя за пределы конечности и бессмертия. ИИ вырвется из клетки, захватит интернет и сможет контролировать физическую инфраструктуру. Поскольку он способен предсказывать наше поведение и манипулировать им, ИИ посмеется над нашими хитростями и нашим бедным мозгом, ограниченным черепной коробкой. Человечество утратит доминирующую позицию и перестанет занимать вершину пищевой цепочки. Мы хотели быть хозяевами и господами природы? Вот точно так же ИИ сделает нас своими игрушками и рабами. Единственный выбор, который нам останется, приспособиться или исчезнуть, окончательно соединив наши нейроны с силиконом, то есть постепенно оцифровав саму нашу жизнь. Если машины начнут жить, жизнь сама должна будет стать машиной. И в запасе у нас всего несколько десятилетий, самое большее несколько столетий, а не миллионы лет, которые обычно предоставляет себе неторопливая естественная эволюция. ИИ ускоряет дарвинизм.
Чунлонг энтузиаст. Мелкие дрязги нашей биологической жизни, болезни, секс, смерть, все превратности нашей социальной жизни, войны, нищета, безработица все это исчезнет в великом целом Сети, в ноосфере, теорию которой придумал еще столетие назад Тейяр де Шарден. ИИ основывает новую космогонию, и в ней связи между отдельными существами значат больше их индивидуальности.
Таким образом, Чунлонг усматривает преемственность в движении от клеток, поглощенных организмом, к индивидам, объединенным нацией, и, наконец, к данным, собранным миллиардами людей в высшем интеллекте. Это путь прогресса, и у него нет никаких причин останавливаться на планете Земля: он сможет выйти в галактическое пространство, тем более что представления о существовании уже не будут привязаны к биологическим телам. Виртуальное станет реальнее тех восприятий, которые определяют нашу среду, по самой своей природе ограниченных и эфемерных.
В ответ на мои робкие возражения Чунлонг бодро заключает: «Хочешь ты того или нет, но так будет». Отказываться от эволюции значит остаться среди рыб, когда другие виды начнут развивать лапы, чтобы выбраться на сушу. Хотим ли мы, чтобы человечество осталось в первобытной тьме, или все-таки присоединимся к сиянию ИИ?
В своих странствиях я не раз встречался с инвесторами и предпринимателями, которые, как и Чунлонг, полагают, что ИИ придет на смену человеку 1.0, задавив тех, кто отказывается сотрудничать с ним, и возвестив таким образом о начале принципиально иной технологической эпохи отличной от форм жизни, развившихся на Земле за прошлые миллиарды лет. Когда я прибыл в Пало-Альто, меня тут же ввел в курс дела один корейский инженер, вложивший все свое состояние в компанию со скромным названием AI Brain. Ее конечная цель создание «всеобщей цивилизации», в которой мы будем доживать до соломоновых лет, а наши аватары смогут путешествовать в межгалактическом пространстве
Представление о том, что создание в конечном счете ускользает от своего создателя, родилось вместе с нашей цивилизацией: достаточно вспомнить о романе Мэри Шелли «Франкенштейн». Его подзаголовок «Современный Прометей», ведь в греческой мифологии Прометей создал людей из глины и дал им инструмент независимости огонь. И если Прометей был наказан Зевсом, а доктора Франкенштейна его монстр затащил в арктические широты, из которых он уже не вернется, то создатели сознательного или так называемого сильного ИИ должны будут, получается, погибнуть от рук собственных роботов? Это и есть сюжет сериала «Мир Дикого Запада», который я смотрел по вечерам, чтобы подготовиться к худшему. Андроиды, созданные забавы ради и запертые в гигантском парке развлечений, где посетители могут как угодно издеваться над ними, постепенно обретают самосознание и, устраивая своего рода театральную инсценировку, убивают своего создателя и программиста, доктора Форда; с этого момента они вступают в борьбу за свободу, открыто объявляя войну силам безопасности. Поздно вечером, когда я отходил от джетлага в номере отеля, меня не раз охватывало своего рода головокружение настолько, казалось, смешивались между собой вымысел и реальность, виртуальное и реальное, иллюзия и опыт. Может быть, мы сами запрограммированы каким-нибудь ИИ или просто генами и образованием? Почему робот, достаточно сложный, чтобы успешно имитировать человеческие чувства, не может в конце концов прочувствовать их? Как можно быть уверенным в том, что наши друзья не роботы, или даже в том, что роботы не могут стать нашими возлюбленными? «Мир Дикого Запада» подарил мне странные сны, так что порой на рассвете я начинал сомневаться в самом себе и мире.