На следующий день я прочитал лекцию под названием «Эйнштейн, Гертруда Стайн, Витгенштейн и Франкенштейн». Эйнштейн: революция в физике XX столетия; Гертруда Стайн: первый автор, отталкивавшийся в своем творчестве от идеи неопределенной и дискретной Вселенной (слова не отражают ни суть, ни деятельность: «Роза – это роза – это роза, а Вселенная – это Вселенная – это Вселенная»); Витгенштейн: мир как языковой предел («Границы моего языка означают границы моего мира», устранение различия между наблюдателем и наблюдаемым); Франкенштейн: кибернетический ИИ, робототехника и пр. (темы очерков данной книги).
Лекция имела непредвиденные последствия. Среди участников конференции АУМ оказалось несколько авторов из списка бестселлеров «Нью-Йорк таймс», но ни у кого не было литературного агента. Вдобавок я осознал, что все они пишут книги в жанре, который не имеет названия и которым пренебрегают нью-йоркские издатели. Поскольку у меня в наличии степень магистра делового администрирования бизнес-школы Колумбийского университета и поскольку я мог похвастаться кое-какими успехами в бизнесе, волей обстоятельств я сделался литературным агентом, сначала для Грегори Бейтсона и Джона Лилли, чьи книги мне удалось быстро пристроить – причем за гонорар, заставивший меня задуматься. Это обстоятельство побудило меня всерьез заняться карьерой литературного агента.
А с Ричардом Фейнманом я так и не встретился.
Эта новая карьера близко свела меня с большинством пионеров в области искусственного интеллекта, и на протяжении десятилетий я вместе с ними взмывал на волнах энтузиазма и падал в овраги разочарований.
В начале 1980-х годов правительство Японии предприняло общенациональные усилия по развитию ИИ. Японцы рассуждали о 5-м поколении машин; их цель состояла в том, чтобы изменить архитектуру вычислений, преодолеть «бутылочное горлышко» фон Неймана и создать полноценный параллельный компьютер. Тем самым они рассчитывали оживить свою экономику и стать доминирующей мировой державой в этой области. В 1983 году лидер японского консорциума «5-е поколение» приехал в Нью-Йорк на встречу, организованную Хайнцем Пагельсом, президентом Нью-Йоркской академии наук. Я сидел за одним столом с лидерами 1-го поколения Марвином Минским и Джоном Маккарти, лидерами 2-го поколения Эдвардом Фейгенбаумом и Роджером Шенком[14], а также с Джозефом Траубом, главой Национального суперкомпьютерного консорциума США.
В 1981 году при поддержке Хайнца я основал «Клуб реальности» (предшественник некоммерческого фонда Edge.org), первые междисциплинарные собрания которого проходили в зале заседаний Нью-Йоркской академии наук. Хайнц работал над своей книгой «Мечты о разуме: становление науки о сложности» (последнюю он считал исследовательской повесткой для науки 1990-х годов).
Благодаря встречам в «Клубе реальности» я познакомился с двумя молодыми исследователями, которым предстояло сыграть ключевую роль в революционной трансформации информатики. В конце 1970-х годов в Массачусетском технологическом институте Дэнни Хиллис разработал алгоритмы, которые сделали возможным создание полноценного параллельного компьютера. В 1983 году его компания «Thinking Machines» сконструировала быстрейший на ту пору суперкомпьютер, используя параллельную архитектуру. Его «связующая машина» во многом опиралась на принципы деятельности человеческого разума. Сет Ллойд из Университета Рокфеллера занимался прежде всего квантовыми вычислениями и квантовыми коммуникациями, в том числе описал первый технологически осуществимый проект квантового компьютера.
А что же японцы? Их «наскок» на искусственный интеллект потерпел неудачу, что обернулось скромным двадцатилетним экономическим ростом. Но ведущие американские ученые восприняли эту программу чрезвычайно серьезно. Фейгенбаум, передовой компьютерный теоретик тех лет, в соавторстве с Памелой Маккордак[15] даже написал книгу об этих событиях. Работа под названием «Пятое поколение: искусственный интеллект и японский компьютерный вызов миру» увидела свет в 1983 году. У нас, признаюсь, было кодовое название для этого проекта: «Оно грядет, грядет!» Увы, результат оказался плачевным: «оно» пришло и ушло.
С того времени я сотрудничал с исследователями, занятыми едва ли не во всех сферах разработки и применения ИИ, включая Родни Брукса, Ханса Моравека, Джона Арчибальда Уилера, Бенуа Мандельброта, Джона Генри Холланда, Дэнни Хиллиса, Фримена Дайсона, Криса Лэнгтона, Дойна Фармера, Джеффри Уэста, Стюарта Рассела и Джуду Перла.
С первой встречи в Вашингтоне, штат Коннектикут, и по сей день я организовал ряд заседаний и дискуссий в Лондоне и Кембридже, штат Массачусетс, а также публичное мероприятие в лондонской мэрии. Среди присутствовавших были выдающиеся ученые, историки науки и теоретики коммуникаций, причем все они размышляли о проблемах ИИ на протяжении всей своей научной карьеры.
Я обратился за комментариями к широкому кругу авторов, не ограничивая их необходимостью ссылаться на Винера (это осталось на усмотрение каждого участника проекта). В итоге 25 человек прислали мне свои очерки, и все эти люди обеспокоены тем, что происходит сегодня в области ИИ. Настоящая книга – не моя; скорее, это наша книга, авторов которой я с удовольствием перечисляю: Сет Ллойд, Джуда Перл, Стюарт Рассел, Джордж Дайсон, Дэниел К. Деннет, Родни Брукс, Фрэнк Вильчек, Макс Тегмарк, Яан Таллинн, Стивен Пинкер, Дэвид Дойч, Том Гриффитс, Анка Драган, Крис Андерсон, Дэвид Кайзер, Нил Гершенфельд, У. Дэниел (Дэнни) Хиллис, Венки Рамакришнан, Алекс (Сэнди) Пентленд, Ханс-Ульрих Обрист, Элисон Гопник, Питер Гэлисон, Джордж М. Черч, Кэролайн А. Джонс, Стивен Вольфрам.
Я рассматриваю проект «Глубокое осмысление» как непрерывно развивающуюся динамическую эмерджентную систему, как репрезентацию идей сообщества искушенных мыслителей, которые на основании своего опыта и эрудиции бросают вызов сложившемуся цифровому нарративу ИИ и делятся мыслями друг с другом. Цель сборника состоит в том, чтобы предложить читателю мозаику взглядов, которая поможет разобраться в этой быстро развивающейся области.
Я попросил авторов учесть два фактора:
(а) Дзенское по духу стихотворение Уоллеса Стивенса «Тринадцать способов увидеть черного дрозда»[16], которое, как он сам настаивал, «призвано служить набором не эпиграмм или идей, но ощущений». Это упражнение в «перспективизации», состоящее из коротких разделов, в каждом из которых так или иначе упоминается черный дрозд. Стихотворение посвящено воображению поэта, оно имеет непосредственное отношение к творчеству.
(б) Притча о слепцах и слоне. Подобно слону, область ИИ слишком велика для общей оценки, не говоря уже о том, что не найдется двух людей, которые будут смотреть на мир одинаково.
Чего мы хотим от этой книги? Стюарт Брэнд отмечал, что «изучение мышления первопроходцев безусловно полезно. Оно задает долгосрочную перспективу, которая побуждает мыслить десятилетиями и столетиями. Все современные дискуссии, к сожалению, быстро устаревают и утрачивают смысл без длительной перспективы».
Дэнни Хиллис хочет, чтобы работники сферы ИИ поняли, каким образом их «запрограммировала» книга Винера. «Вы следуете его дорожной карте, – говорит он, – и сами того не замечаете».
Дэн Деннет хотел бы «позволить Винеру появиться этаким призраком на пиру. Считайте его источником гибридной энергии, источником беспокойных мыслей, способных опрокинуть устоявшийся образ мышления».
Нил Гершенфельд утверждает, что «негласное корректирующее образование для людей, оперирующих Большой пятеркой[17], стало бы отличным результатом».
Джон Дайсон Фримен[18], один из немногих живущих ныне людей, кто знал Винера лично, считает «Человеческое применение человеческих существ» одной из лучших книг, написанных за всю историю человечества. «Винер почти все изложил правильно. Будет любопытно посмотреть, что ваша компания чародеев сможет с этим сделать».
Все изменилось – и осталось таким, каким было. Теперь ИИ везде. У нас есть интернет. У нас есть смартфоны. Состояние основателей ныне доминирующих компаний – тех самых, что держат «плетку, которой нас хлещут», – оценивается в 65 миллиардов долларов США (или 90 миллиардов долларов, или 130 миллиардов долларов). Выдающиеся люди, например Илон Маск, Ник Бостром, Мартин Рис, Элиезер Юдковски и покойный Стивен Хокинг[19], изрекают страшные прогнозы насчет ИИ, что заставляет создавать исправно финансируемые институты, призванные всюду пропагандировать «хороший ИИ». Но сможем ли мы, как вид, контролировать полноценный, не подлежащий и не поддающийся надзору, самосовершенствующийся ИИ? Предупреждения и предостережения Винера в «Человеческом применении человеческих существ» внезапно сделались чрезвычайно актуальными. Исследователям на передовой изучения перспектив ИИ стоит заново их оценить. Снова процитирую Дайсона:
«Винер все больше разочаровывался в «поклонниках гаджетов», чей корпоративный эгоизм породил «мотивы к автоматизации, которые выходили за рамки законного любопытства и были греховными сами по себе». Он знал, что опасность не в машинах, которые становятся все больше похожими на людей, а в людях, с которыми обращаются как с машинами. «Мир будущего окажется непрекращающейся и все более упорной борьбой с ограничениями нашего интеллекта», – предупреждал он в работе «Корпорация «Бог и голем», опубликованной в 1964-м, в год его смерти; это будет вовсе «не удобный гамак, в который мы возляжем в ожидании роботов-рабов».
Пришло время изучить эволюционирующий нарратив ИИ, определить ведущих представителей дисциплинарного сообщества заодно с «диссидентами» и предоставить всем возможность высказаться.
Если коротко, очерки этой книги суть столь необходимое для публики обновление наших взглядов.
Джон Брокман,
Нью-Йорк, 2019
Глава 1
Ошибочно, зато актуальнее, чем когда-либо
Сет Ллойд
физик-теоретик Массачусетского технологического института, профессор— стипендиат факультета машиностроения и приглашенный профессор института Санта-Фе.
Я познакомился с Сетом Ллойдом в конце 1980-х годов, когда повсюду возникали новые способы мышления: значимость принципов биологической организации, вычислительный взгляд на математику и физические процессы, пристальное внимание к параллельным сетям, важность нелинейной динамики, новое понимание хаоса, идеи коннекционистов, нейронные сети, параллельная распределенная обработка… Развитие в области вычислений в указанный период предоставило нам новый способ мышления о знаниях.
Сет любит называть себя квантовым механиком. Он известен во всем мире своими исследованиями в области квантовых вычислений, где предпринимаются попытки использовать экзотические свойства квантовой теории, такие как суперпозиция и запутанность, для решения задач, которые придется решать несколько столетий на классических компьютерах.
В своем очерке он прослеживает историю теории информации от пророческих видений Норберта Винера до предсказаний технологической «сингулярности», которая, как хотелось бы кое-кому нас убедить, будто бы вытеснит человеческий род. Его взгляд на относительно новый метод программирования, так называемое глубинное обучение, состоит в том, чтобы призывать к более трезвой оценке перспектив; он отмечает, что, несмотря на огромные успехи ИИ, роботы «до сих пор не в состоянии завязать себе шнурки».
Мне трудно говорить о Сете, не ссылаясь на его отношения с другом и наставником, покойным физиком-теоретиком Хайнцем Пагельсом из Университета Рокфеллера. Вместе студент (Сет) и профессор (Пагельс) в немалой степени способствовали интеллектуальному развитию друг друга.
Летом 1988 года я навестил Хайнца и Сета в физическом центре в Аспене. Их совместная работа по сложности должна была выйти в свежем выпуске журнала «Сайентифик америкен»; оба безудержно радовались. Мы встретились всего за две недели до трагической гибели Хайнца при спуске с пика Пирамида; в горы они, разумеется, отправились вместе с Сетом и по дороге говорили о квантовых вычислениях.
В работе «Человеческое применение человеческих существ» (1950), где Норберт Винер в популярной форме излагал основные идеи своей чрезвычайно влиятельной книги «Кибернетика, или Управление и связь в животном и в машине» (1948), исследуется взаимодействие человеческих существ и машин в мире, в котором машины становятся все более мощными и способными к вычислениям. Это удивительно пророческая книга – и удивительно ошибочная в своих выводах. Написанная в разгар холодной войны, она, помимо прочего, содержит холодящее кровь напоминание об опасностях тоталитарных организаций и обществ, а также об угрозах демократии, которая пытается бороться с тоталитаризмом тоталитарным оружием.
В «Кибернетике» Винера тщательно изучаются и научно описываются подробности управления посредством обратной связи. (Само слово «кибернетика», производное от древнегреческого слова «кормщик», послужило этимологической основой позднего слова «губернатор»[20]; Джеймс Уатт именно так назвал свое новаторское устройство управления с обратной связью, которое преобразило область применения паровых двигателей.) Поскольку он плотно занимался задачами управления, Винер рассматривал мир как совокупность комплексных и взаимосвязанных контуров обратной связи, где датчики, сигналы и исполнительные механизмы, наподобие двигателей, взаимодействуют через сложно организованный обмен сигналами и информацией. Для инженерии «Кибернетика» оказалась необычайно полезной и эффективной, эти идеи позволили конструировать ракеты, роботов, автоматизированные сборочные линии и разработать множество прецизионных инженерных методов – иными словами, она, можно сказать, заложила фундамент современного индустриального общества.
Впрочем, Винер лелеял более честолюбивые замыслы в отношении кибернетических концепций; в «Человеческом применении человеческих существ» он рассуждает об их применимости к столь разнообразным предметам, как демон Максвелла, человеческий язык, мозг, метаболизм насекомых, правовая система, роль технологических инноваций в государственном управлении и религии. Эти более широкие применения кибернетики обернулись почти безоговорочным провалом. Шумиха вокруг кибернетики длилась с конца 1940-х до начала 1960-х годов (во многом напоминая шумиху в области компьютерных и коммуникационных технологий, завершившуюся крахом доткомов в 2000–2001 годах); можно сказать, что кибернетика породила спутники и системы телефонной коммутации, но практически не повлияла на социальную организацию и общество в целом.
Зато почти семьдесят лет спустя работа «Человеческое применение человеческих существ» может научить современных людей много большему, чем могла научить первых читателей. Быть может, замечательнее всего в этой книге то, что она предлагает к обсуждению большое количество тем по взаимодействию человека и машины, во многом сохраняющих актуальность по сей день. Мрачная по своей тональности, книга прогнозирует ряд катастроф второй половины XX столетия, и многие ее предсказания едва ли не идентичны нынешним пророчествам относительно второй половины XXI столетия.
Например, Винер предвидел в 1950 году такой момент в ближайшем будущем, когда люди передадут управление обществом кибернетическому искусственному интеллекту, который впоследствии причинит человечеству немалый урон. Винер предсказывал, что автоматизация производства чревата как значительным повышением производительности труда, так и ростом безработицы; данную последовательность событий мы действительно наблюдаем в последующие десятилетия. Винер предупреждал, что революция неизбежна, если только общество не сумеет подыскать новые продуктивные занятия этим безработным.