Терри Виноград одним из первых отчетливо увидел две крайности и задумался о последствиях. Его карьера – пример дрейфа от искусственного интеллекта к усилению интеллекта. Учась в аспирантуре Массачусетского технологического института в 1960-х гг., он сосредоточился на изучении естественного языка с целью создания программного эквивалента Shakey – программного робота, способного вести разговор с людьми. В 1980-е гг. в какой-то мере из-за изменившихся взглядов на пределы искусственного интеллекта он оставил эту область и постепенно стал заниматься усилением интеллекта. К отходу от сферы искусственного интеллекта Винограда подтолкнули споры с группой философов в Калифорнийском университете. В составе небольшой группы исследователей искусственного интеллекта он участвовал в еженедельных семинарах, где присутствовали философы из Беркли Хьюберт Дрейфус и Джон Сирл. Философы убедили его, что есть реальные пределы возможностей интеллектуальных машин. Обращение Винограда в другую веру совпало с коллапсом нарождающейся индустрии искусственного интеллекта, известным как «зима искусственного интеллекта». Спустя несколько десятилетий Виноград, который был куратором соучредителя Google Ларри Пейджа в Стэнфорде, посоветовал молодому аспиранту сосредоточиться на проблеме поиска в сети, а не на беспилотных автомобилях.
За прошедшие десятилетия Виноград ясно осознал важность точки зрения разработчика. Разделение областей искусственного интеллекта и человеко-машинного взаимодействия в определенной мере зависит от подхода, но это также и этическая позиция в вопросе о том, где должен находиться человек – в создаваемых нами системах или за их пределами. Не так давно Виноград помог создать в Стэнфорде академическую программу, ориентированную на «технологии освобождения», в рамках которой изучают конструирование компьютеризованных систем с учетом человеческих ценностей.
На протяжении всей истории человечества технологии замещали живой труд. Однако локомотивы и тракторы не принимают решений на уровне человека, а вот «думающие машины» делают это все чаще и чаще. Очевидно также, что технологии и человечество эволюционируют совместно, и это вновь ставит вопрос о том, кто будет стоять у руля. В Кремниевой долине стало модным прославлять возвышение машин – об этом ясно говорит появление организаций вроде Института сингулярности и книг типа «Чего хочет технология» (What Technology Wants) Кевина Келли (2010 г.). В более ранней книге 1994 г. «Неуправляемые» (Out of Control) Келли решительно встает на сторону машин. Он описывает встречу Марвина Мински и Дуга Энгельбарта:
Говорят, когда два гуру встретились в Массачусетском технологическом институте в 1950-е гг., между ними состоялся следующий диалог:
Мински: Мы собираемся наделить машины интеллектом. Мы собираемся дать им сознание!
Энгельбарт: Вы собираетесь сделать все это для машин? А что вы намерены сделать для людей?
Эту историю обычно рассказывают инженеры, работающие над тем, чтобы сделать компьютеры более дружественными, более человечными, более ориентированными на людей. Но я полностью на стороне Мински, на стороне дела. Люди выживут. Мы научим наши машины служить нам. Но что мы собираемся сделать для машин?{9}
Келли верно указывает, что есть «стороны» Мински и Энгельбарта. Но говорить, что люди «выживут», – значит недооценивать последствия. Он в основном вторит Мински, который, как известно, отвечал на вопрос о значении появления искусственного интеллекта так: «Если нам повезет, они будут держать нас как домашних животных».
Позиция Мински красноречиво демонстрирует пропасть между лагерями искусственного интеллекта и усиления интеллекта. Сообщество сторонников искусственного интеллекта до настоящего времени по большей части игнорирует последствия появления интеллектуальных систем, которые рассматриваются просто как мощные инструменты без дискуссий о морали. Как сказал мне один из разработчиков роботов следующего поколения в ответ на вопрос о влиянии автоматизации на людей: «Об этом не надо думать, нужно только решить, что ты хочешь сделать, и приложить все силы для улучшения мира людей в целом».
На протяжении последнего полувека философии Маккарти и Энгельбарта оставались несовместимыми и их основное противоречие все еще не разрешено. Один подход направлен на вытеснение людей и их замену все более мощным комплексом программных и аппаратных средств. Другой ориентирован на расширение наших интеллектуальных, экономических и социальных возможностей с помощью тех же средств. Хотя пропасть между этими подходами мало кому заметна, взрывное развитие новой технологии, которая уже влияет на каждый аспект современной жизни, неизбежно вынесет проблему на поверхность.
Будут ли машины вытеснять живых работников или усиливать их возможности? На определенном уровне они будут делать и то и другое. Еще раз подчеркну, что это неправильный вопрос и ответ на него неполный. И виртуальные, и физические роботы достаточно гибки, чтобы стать в конце концов теми, кем мы захотим. В нынешней экономике подход к тому, как разрабатываются и используются и машины, и интеллектуальные системы, определяется чаще всего себестоимостью и выгодой, а себестоимость падает все быстрее. В нашем обществе, если задачу дешевле поручить машине – виртуальной или физической, – в большинстве случаев будет использоваться машина. Реализация этого – вопрос лишь времени.
Решение встать на ту или иную сторону в споре вдвойне трудно, поскольку нет очевидных правильных ответов. Хотя автомобили без водителей приведут к потере миллионов рабочих мест, они также сохранят множество жизней. Сегодня решения о применении технологий принимаются в основном на основе выгодности и эффективности, но очевидно нужна и новая система оценки с точки зрения морали. Дьявол, однако, кроется в деталях. Как и в случае ядерного оружия и атомной энергии, искусственный интеллект, генная инженерия и робототехника будут иметь в следующем десятилетии широкие социальные последствия, как желательные, так и не очень.
Глава 2
Авария в пустыне
Осенним утром 2005 г. по пустынной дороге недалеко от города Флоренс, штат Аризона, поднимая облако пыли, двигался автомобиль Volkswagen Touareg с четырьмя пассажирами. Он ехал со скоростью 30–40 км/ч, и случайный зритель не увидел бы ничего необычного в его движении. Дорога была исключительно неровной, она шла то вверх, то вниз по усеянной кактусами и низкорослой пустынной растительностью местности. Автомобиль нещадно болтало, и шлемы автогонщиков на головах всех четырех пассажиров были совсем не лишними. Touareg украшали наклейки участника гонок по бездорожью Baja 1000. Спереди над крышей автомобиля возвышались пять непонятных датчиков, направленных на дорогу. Было там и другое оборудование, включая несколько радаров. За ветровым стеклом виднелась видеокамера. А сзади на автомобиле торчала длиннющая штыревая антенна, которая вместе с датчиками придавала ему постапокалиптический вид, напоминая фильм про Безумного Макса.
Датчики на крыше были в действительности хитроумными штучками, каждый из них быстро сканировал инфракрасным лучом местность впереди. Невидимые глазу лучи отражались от гравийного покрытия дороги и всего, что встречалось в пустыне. Возвращаясь к датчикам, излучение несло информацию о непрерывно меняющемся окружающем ландшафте с точностью до сантиметра. Даже небольшие камни на дороге за сотню метров впереди не могли скрыться от пристального взгляда датчиков, известных как лидары.
Внутри Touareg был еще удивительнее. Водитель, специалист по робототехнике и искусственному интеллекту Себастьян Трун, не управлял машиной, а жестикулировал, разговаривая с другими пассажирами. Его взгляд редко падал на дорогу, а главное, руки не прикасались к рулевому колесу, которое поворачивалось само, как будто его крутил кто-то невидимый.
Позади Труна сидел другой компьютерщик, Майк Монтемерло, который тоже не управлял автомобилем. Его глаза были прикованы к экрану ноутбука, куда выводились данные с лазеров, радаров и камер, дававшие вид сверху на мир вокруг автомобиля, где препятствия выглядели как разноцветные точки на экране радара. Это непрерывно меняющееся облако цветных точек и было картиной лежащей впереди дороги в пустыне.
Автомобилем, который получил имя Stanley, управлял комплекс программ в пяти установленных в багажнике компьютерах. Трун был создателем роботизированной навигационной технологии, известной как SLAM (simultaneous localization and mapping), что означает «одновременная навигация и построение карты». Она стала стандартным инструментом для роботов при прокладке пути на неизвестной местности. По мере того как автомобиль катился по изрезанной колеями, обрамленной кактусами и усыпанной валунами дороге, руль поворачивался то в одну, то в другую сторону. Справа от Труна между передними сиденьями находилась большая красная кнопка аварийного останова, позволяющая отключить автопилот в экстренном случае. После десятка километров езда в беспилотном автомобиле стала наскучивать. Stanley двигался не по магистрали, и на фоне проплывающего мимо, как во время воскресной загородной прогулки, пустынного пейзажа шлемы автогонщиков стали казаться лишними.
Автомобиль готовили к участию во втором проводимом Пентагоном соревновании Grand Challenge – амбициозном состязании беспилотных автомобилей, целью которого было ускорение развития технологий для будущих роботизированных военных автомобилей. В начале XXI в. конгресс дал военным США зеленый свет на разработку беспилотных транспортных средств. Конгресс даже поставил перед Пентагоном конкретную цель: сделать к 2015 г. треть транспортных средств армии способной перемещаться без людей. Директива не определяла четко, должны ли такие транспортные средства быть беспилотными или управляемыми дистанционно. В любом случае идея заключалась в сбережении и денег, и жизней солдат. К 2004 г., однако, мало что изменилось, и Тони Тетер, в то время директор DARPA, предложил организовать конкурс, чтобы привлечь внимание программистов, профессоров учебных заведений и стремящихся к известности компаний к инновациям, где военные не добились успеха. Тетер был олицетворением военно-промышленного комплекса, а сам конкурс – вынужденным признанием того, что мир традиционных исполнителей оборонных заказов не способен выполнить эту работу. Открыв дверь для разношерстных групп любителей, Тетер рисковал взорвать засекреченный мир, где доминировали «бандиты с кольцевой» – компании, расположенные вокруг Вашингтона и занимающиеся выполнением госзаказов.
Первые соревнования Grand Challenge, проведенные в 2004 г., были неудачными – автомобили опрокидывались, ездили кругами и позорно сбивали ограждения. Даже самый успешный участник застрял в десятке километров от стартовой линии в 200-километровой гонке – одно колесо автомобиля беспомощно вращалось, а сам он балансировал на краю дороги. Когда пыль, поднятая участниками, осела, репортер, облетавший район на легком самолете, увидел ярко раскрашенные автомобили, рассеянные по пустыне. В то время казалось очевидным, что беспилотные автомобили – дело далекого будущего, и Тетера критиковали за организацию пропагандистского трюка.
Однако чуть более чем через год Трун сидел за рулем робота для соревнований второго поколения. Казалось, что будущее наступило раньше, чем ожидалось. Увы, хватило всего 20 км, чтобы убедиться в преждевременности технического энтузиазма. Stanley преодолел подъем и попал во впадину. Потом, когда нос автомобиля задрался вверх, система лазерного наведения обнаружила нависающую ветку дерева. В тот же момент автомобиль резко взял влево, затем вправо и съехал с дороги. Все произошло быстрее, чем Трун смог дотянуться до большой красной аварийной кнопки и нажать ее.
К счастью, автомобиль совершил довольно мягкую посадку. Touareg врезался в огромный терновый куст возле дороги. Он смягчил удар, и автомобиль остановился так, что даже подушки безопасности не сработали. Когда пассажиры осмотрели дорогу на месте аварии, стало очевидно, что все могло закончиться гораздо хуже. Куст обрамляли две впечатляющие кучи валунов, но VW избежал столкновения с ними.
Пассажиры выбрались из машины, а Трун залез на крышу, чтобы выставить заново датчики, расположение которых сбилось из-за аварии. Затем все вновь забрались в Stanley, и Монтемерло удалил виновный в аварии блок программного кода, который должен был сделать путешествие более комфортным для пассажиров. Трун включил автопилот, и машина вновь направилась вглубь Аризонской пустыни. Были и другие происшествия. Контроллер системы искусственного интеллекта не учитывал последствия попадания в илистые лужи, и позже в тот же день Stanley застрял в одной из них посреди дороги. К счастью, неподалеку находилось несколько обычных автомобилей сопровождения, и, когда колеса беспилотника начали беспомощно вращаться, команда помощников вытолкнула его из вязкой жижи.
Но это были мелочи для команды Труна (нескольких преподавателей Стэнфордского университета, инженеров компании VW и студентов-программистов), которая состязалась более чем с десятком других команд за приз в несколько миллионов долларов. Этот день был самым неудачным, потом дела резко пошли в гору. Как ни крути, а соревнования DARPA оказались водоразделом между миром, где роботы рассматривались как игрушки или диковинки для исследователей, и миром, в котором люди начали допускать, что роботы могут действовать самостоятельно.
Тест-драйв Stanley был предвестником будущей технологии. В произведениях писателей-фантастов уже не одно десятилетие фигурирует машинный интеллект, но, когда технологии начали реально появляться, они показались разочаровывающими. В конце 1980-х гг. любой попавший на Центральный вокзал Нью-Йорка видел почти у трети утренних пассажиров наушники Sony Walkman. Сегодня, конечно, Walkman уступили место белым наушниками iPhone компании Apple, и некоторые считают, что технология «от-кутюр» неизбежно приведет к будущей версии Google Glass, первой попытке разработчика поисковой машины расширить реальность, или, может быть, к еще более амбициозным или создающим эффект присутствия системам. Подобно лягушке в кастрюле на плите, не замечающей повышения температуры, мы не видим изменений, вызываемых быстрым ростом возможностей и распространением информационных технологий.
Walkman, iPhone и Google Glass – все это прообразы мира, где граница между человеком и машиной начинает размываться. В книге Уильяма Гибсона «Нейромант» (Neuromancer), научно-фантастическом романе, популяризирующим идею киберпространства, нарисована картина новой кибернетической территории из компьютеров и сетей. В ней описано будущее, в котором компьютеры не отдельные ящики, а единая плотная ткань, которая все больше окутывает людей, «расширяя» их чувства.
От утренних пассажиров с наушниками Sony Walkman и пользователей iPhone, погрузившихся в персональное звуковое пространство, не так уж далеко до носящих Google Glass городских хипстеров, уткнувшихся в отображающие окружающий мир крохотные дисплеи. Они пока что не «включены в сеть», как предсказывал Гибсон, однако ясно, что компьютерные и коммуникационные технологии быстро движутся в этом направлении.
Гибсон одним из первых предложил научно-фантастический взгляд на то, что было названо «усилением интеллекта». Он описывал компьютеризованные элементы, названные им «майкрософтами» с маленькой буквы «м», которые можно вставлять в основание черепа человека, чтобы мгновенно добавлять ему какое-либо умение, например новый язык. В то время, несколько десятилетий назад, эта технология была всего лишь научной фантастикой. Сегодня его представление о киборгах уже не кажется таким экстравагантным.
В 2013 г. президент Обама раскрыл информацию об инициативе BRAIN – попытке одновременно записать активность одного миллиона нейронов человеческого мозга. Одним из основных спонсоров инициативы BRAIN является DARPA, а это агентство заинтересовано не только в чтении из мозга. Работающие над проектом BRAIN ученые терпеливо разъясняют, что одна из целей плана – создание двухстороннего интерфейса для мозга человека и компьютера. Внешне подобная идея кажется крайне зловещей, вызывая образы верховного Старшего Брата и контроля мыслей. В то же время это утопический подтекст, присущий технологии. Потенциальное будущее представляет собой неизбежную траекторию создания интерфейса взаимодействия человека с компьютером, подразумеваемого в манифесте Ликлайдера 1960 г. «Человеко-машинный симбиоз» (Man-Computer Symbiosis), где он предсказал более тесное взаимодействие людей и машин.