Оптимизм Юдковски в отношении создания УЧИ отталкивается от мысли, что интеллект человеческого уровня был однажды создан природой в виде человека. Около 5 млн лет назад на земле жил общий предок человека и шимпанзе. Сегодня человеческий мозг вчетверо крупнее мозга шимпанзе. Получается, что примерно за 5 млн лет "глупый" естественный отбор вчетверо увеличил размер мозга и создал существо, которое намного умнее всех остальных.
"Умный" человек видит цель и стремится к ней. По идее, создать интеллект человеческого уровня он должен намного быстрее, чем это сделал естественный отбор.
Но опять же, предостерегает Юдковски, возникнет гигантская, буквально галактическая проблема, если кто-то создаст УЧИ прежде, чем он или кто-то другой придумает дружественный ИИ или способ надежно контролировать УЧИ. Если УЧИ возникнет в результате пошагового конструирования после удачного сочетания направленных усилий и случайностей, как предполагает Гертцель, то разве нам не следует ожидать интеллектуального взрыва? Если УЧИ сознает себя и способен к самосовершенствованию, как мы его определили, разве он не будет стремиться к удовлетворению базовых потребностей, которые могут оказаться несовместимыми с нашим существованием (мы говорили об этом в главах 5 и 6)? Иными словами, разве не следует ожидать, что вышедший из-под контроля УЧИ может убить нас всех?
"УЧИ - это тикающий часовой механизм, - сказал Юдковски. - Это крайний срок, к которому мы непременно должны построить дружественный ИИ, что труднее. Нам необходим дружественный ИИ. За возможным исключением нанотехно- логий, бесконтрольно выпущенных в мир, в целом каталоге катастроф не найдется ничего, что могло бы сравниться с УЧИ".
Разумеется, между теоретиками ИИ, такими как Юдковски, и его производителями, такими как Гертцель, возникают противоречия. Если Юдковски утверждает, что создание УЧИ - катастрофическая ошибка, если этот УЧИ не будет доказанно дружественным, то Гертцель хочет получить УЧИ как можно скорее, прежде чем автоматизированная инфраструктура облегчит ИСИ захват власти. Гертцелю приходили по электронной почте письма, хотя и не от Юдковски или его коллег, в которых его предупреждали, что если он будет продолжать развитие небезопасного УЧИ, то "будет виновен в холокосте".
Но вот парадокс. Если Гертцель откажется от работы над УЧИ и посвятит свою жизнь пропаганде отказа от подобных намерений, это никак и ни на что не повлияет. Другие компании, правительства и университеты будут и дальше гнуть свою линию. По этой самой причине Виндж, Курцвейл, Омохундро и другие считают, что отказ от разработки УЧИ невозможен. Более того, на свете много отчаянных и опасных стран - возьмите хотя бы Северную Корею и Иран, - а организованная преступность России и финансируемые государством преступники Китая запускают в Сеть все новые и новые вирусы и производят кибер- атаки, так что отказ от разработки УЧИ означал бы попросту сдачу будущего безумцам и гангстерам.
Оборонительной стратегией, которая помогла бы обеспечить выживание человечества, может оказаться деятельность, которую уже начал Омохундро: разработка научных основ понимания и управления системами, обладающими самосознанием и способностью к самосовершенствованию, то есть УЧИ и ИСИ. А учитывая сложности создания противоядия, такого как дружественный ИИ, прежде создания УЧИ, развитие этой науки должно идти параллельно работам над УЧИ. Тогда к появлению УЧИ система контроля над ним будет готова. К несчастью для всех нас, разработчики УЧИ получили огромную фору; к тому же, как говорит Виндж, ветер глобальной экономики надувает их паруса.
Если проблема с программным обеспечением окажется неразрешимо сложной, то в колчане разработчика УЧИ останется еще по крайней мере пара стрел. Во-первых, не исключено, что проблему можно будет решить при помощи более быстрых компьютеров, а во-вторых, структуру мозга можно воспроизвести методом обратного проектирования.
Превращение системы ИИ в УЧИ методом грубой силы означает повышение функциональности аппаратной части ИИ, в первую очередь ее скорости. Интеллект и творческие возможности повышаются, если работают во много раз быстрее. Чтобы понять, как это происходит, представьте себе человека, способного сжать тысячу минут размышлений в одну минуту. В некоторых очень важных вопросах он оказывается во много раз умнее человека с тем же IQ, но думающего с обычной скоростью. Но обязательно ли интеллект должен начинаться на человеческом уровне, чтобы скорость имела значение? К примеру, если ускорить работу собачьего мозга в тысячу раз, что получится: шимпанзеподобное поведение или просто очень умная собака? Нам известно, что при четырехкратном увеличении размеров мозга, от шимпанзе до человека, человек получил по крайней мере одну суперспособность - речь. Более крупный мозг развивался постепенно, намного медленнее, чем та скорость, с которой обычно возрастает скорость процессоров.
В целом неясно, может ли скорость процессора компенсировать отсутствие разумных программ и проложить путь к УЧИ и далее, к интеллектуальному взрыву. Но согласитесь, это не кажется невозможным.
А теперь обратимся к так называемому "обратному проектированию" мозга и выясним, почему этот метод может оказаться безотказным средством решения проблемы сложности программного обеспечения. Мы уже рассмотрели кратко противоположный подход - создание когнитивной архитектуры, которая стремится в общих чертах моделировать мозг в таких областях, как восприятие и навигация. Создатели этих когнитивных систем опираются на то, как работает мозг или, скорее, - и это важно - на то, как исследователь представляет себе работу мозга. Такие системы часто называют de novo, или "с начала", поскольку их авторы не отталкиваются от реального мозга, а начинают "с нуля".
Проблема в том, что системы, вдохновленные когнитивными моделями, в конечном итоге могут недотянуть до человеческих возможностей. Да, конечно, есть перспективные результаты в работе с естественным языком, зрением, системами "вопрос-ответ" и роботами, но при этом почти любой аспект методологии и принципов, которые должны продвинуть исследователей в направлении УЧИ, вызывает горячие споры. Сколько исследователей, столько и мнений. Новые узкие области исследований и смелые универсальные теории вырастают как грибы на почве любого успеха, как индивидуального, так и коллективного. Проходит немного времени, и они исчезают без следа. Как сказал Гертцель, не существует общепринятой теории разума и общепринятых представлений о том, как можно воспроизвести разум вычислительными методами. К тому же существуют такие функции человеческого сознания, для моделирования которых нынешние программные методики, судя по всему, годятся плохо; среди них общее обучение, объяснение, осмысление и контролирующее внимание.
Итак, чего в действительности удалось добиться в области ИИ? Вспомним старую шутку о пьянице, который потерял ключи и ищет их под фонарем. Полицейский присоединяется к поискам и спрашивает: "Где именно вы потеряли свои ключи?" Человек показывает в темную подворотню. "Там, - говорит он, - но здесь светлее".
Поиск, распознавание речи, компьютерное зрение и контекстный анализ (своего рода машинное обучение, с помощью которого Amazon и Netflix определяют, что вам может понравиться) - некоторые из областей ИИ, в которых достигнуты большие успехи. Конечно, успех - результат нескольких десятилетий работы, но следует отметить, что области эти относятся к числу простейших, так что пока работы идут в основном там, "где светлее". Сами ученые говорят, что снимают пока "низко висящие плоды". Но если наша конечная цель - УЧИ, то все приложения и инструменты на базе слабого ИИ могут показаться низко висящими плодами; все они лишь едва-едва приближают нас к цели - человеческому уровню интеллекта. Некоторые исследователи уверены, что приложения на слабом ИИ вообще не являются продвижением к УЧИ. Это всего лишь неинтегрированные специальные приложения. В настоящий момент ни одна система искусственного интеллекта не может сравниться с человеческим интеллектом. Вы тоже разочарованы большими обещаниями и скромными результатами исследований ИИ? Не исключено, что на ваши чувства повлияли два очень распространенных наблюдения.
Во-первых, как говорит директор Института будущего человечества Оксфордского университета Ник Востром, "многие самые передовые ИИ просочились в распространенные приложения. Там их часто не называют ИИ, потому что, как только нечто становится достаточно полезным и распространенным, его перестают называть ИИ". Еще совсем недавно ИИ не был задействован в банковском деле, медицине, транспорте, инфраструктуре жизнеобеспечения и автомобилях. Но сегодня, если все ИИ вдруг исчезнут, вы не сможете получить кредит, электричество в вашем доме перестанет работать, а машина ехать; остановится большинство наземных и подземных поездов. Производство начало бы давать сбои и замерло, краны высохли, а пассажирские самолеты попадали бы с небес. В магазинах закончились бы продукты, и восполнить запасы оказалось бы невозможно. А когда, собственно, были внедрены все эти ИИ-системы? В последние тридцать лет, пока стояла так называемая ИИ-зима - период долгого спада уверенности инвесторов после излишне оптимистичного начала и несбывшихся предсказаний. Но на самом деле никакой зимы не было. Чтобы избавиться от ярлыка "искусственный интеллект", ученые перешли на технические термины, такие как "машинное обучение", "разумный агент", "вероятностные выводы", "продвинутые нейронные сети" и т. п.
Кстати говоря, и проблема классификации тоже никуда не делась. Области, которые когда-то считались прерогативой человека - шахматы и "Своя игра", к примеру, - сегодня принадлежат компьютерам (хотя нам по-прежнему позволяется играть). Но считаете ли шахматную программу, установленную на вашем компьютере, "искусственным интеллектом"? Что такое Watson - человекоподобная машина или всего лишь специализированная мощная система "вопрос-ответ"? Как мы будем называть ученых, когда компьютеры, такие как Golem (подходящее название!) Хода Липсома из Корнеллского университета, начнут заниматься наукой? Я хочу сказать, что с того самого дня, когда Джон Маккарти дал науке о машинном интеллекте имя, исследователи энергично создают ИИ, и с течением времени он становится все умнее, быстрее и мощнее.
Успехи ИИ в таких областях, как шахматы, физика и обработка естественного языка, наводят на второе важное наблюдение. Сложные вещи просты, а простые - сложны. Эта аксиома известна как парадокс Моравека, поскольку пионер робототехники Ханс Моравек в классической книге "Дети разума" (Mind Children) выразил его лучше всего: "Сравнительно легко заставить компьютеры демонстрировать результаты, сравнимые с результатами взрослого человека, в тестах на интеллект или игре в шашки, и при этом трудно или даже невозможно дать им навыки годовалого ребенка в том, что касается восприятия и движений".
Сложнейшие головоломки, в которых мы просто не можем не допускать ошибок (скажем, "Своя игра" или вывод второго закона термодинамики Ньютона), хороший ИИ решает за несколько секунд. В то же время ни одна система компьютерного зрения не способна отличить собаку от кошки - а ведь с этим без труда справляется большинство двухлеток. До некоторой степени это "проблема яблок и апельсинов" - высокоуровневое восприятие против низкоуровневых моторных навыков. Но создателям ИИ следовало бы этого стыдиться, ведь они замахиваются на весь спектр человеческого интеллекта. Один из основателей Apple Стив Возняк предложил "легкую" альтернативу тесту Тьюринга, наглядно демонстрирующую сложность простых задач. Нам следовало бы считать любого робота разумным, говорит Возняк, если он сможет войти в незнакомый дом, найти в нем кофейник и соответствующие припасы и приготовить нам чашку кофе. Можно назвать это испытание кофе-тестом. Он может оказаться сложнее теста Тьюринга, поскольку для его прохождения необходим продвинутый ИИ, способный рассуждать и оценивать физические свойства предметов, обладающий машинным зрением и доступом к обширной базе данных, способный точно манипулировать роботизированными исполнительными устройствами, помещенный в универсальное роботизированное тело - и много чего еще.
В статье "Эра роботов" Моравек дал ключ к своему загадочному парадоксу. Почему сложные вещи просты, а простые - сложны? Потому что мозг тренировал и оттачивал "простые" вещи, связанные со зрением, действием и движением, с тех самых пор, как у наших нечеловеческих предков вообще появился мозг. "Сложные" вещи, такие как логические рассуждения, - относительно недавно приобретенные способности. И что вы думаете? Они проще, а не сложнее. Чтобы показать это, нам потребовались сложнейшие вычисления. Моравек писал:
Задним числом представляется, что в абсолютном смысле логические рассуждения намного проще, чем вое- приятие и действие, - такую позицию несложно объяснить с точки зрения эволюции. Выживание человеческих существ (и их предков) сотни миллионов лет зависело от зрения и умения двигаться в физическом мире, и в этой конкуренции значительные части их мозга эффективно организованы именно для этой задачи. Но мы не ценили это монументальное умение, потому что им обладают все люди и большинство животных - оно обычно. С другой стороны, рациональное мышление, как в шахматах, - новообретенное умение возрастом, может быть, меньше ста тысяч лет. Части нашего мозга, посвященные этой задаче, не так хорошо организованы, и в абсолютном смысле мы не слишком хорошо умеем это делать. Но до недавнего времени у нас не было конкурентов, способных нас одолеть.
Под конкурентами здесь, разумеется, подразумеваются компьютеры. Создание компьютера, который делает что-нибудь умное, вынуждает исследователей внимательнее всмотреться в себя и других людей и оценить глубины и мели нашего собственного интеллекта. В вычислениях имеет смысл формализовать любые идеи математически. В области ИИ формализация выявляет скрытые правила и закономерности того, что мы делаем при помощи мозга. Но почему не отбросить лишнее и не взглянуть на работу мозга изнутри, через подробное исследование нейронов, аксонов и дендритов? Почему просто не разобраться, что конкретно делает каждый нейронный кластер мозга, и не смоделировать его при помощи алгоритмов? Если большинство исследователей ИИ согласны с тем, что мы можем разрешить загадки работы мозга, то почему просто не построить искусственный мозг?
Это аргументы в пользу "обратного проектирования мозга" - попытки создания компьютерной модели мозга, а затем обучения ее всему, что необходимо знать. Я уже сказал, что это может оказаться единственным способом получения УЧИ, если сложность программного обеспечения действительно окажется слишком высокой. Но опять же, что если эмуляция мозга во всей его полноте тоже окажется слишком сложной задачей? Что, если мозг на самом деле производит действия, которые мы не в состоянии искусственно воспроизвести? В недавней статье, критикующей представление Курцвейла о нейробиологии, один из основателей Microsoft Пол Ален и его коллега Марк Гривз написали, что "сложность мозга просто невероятна. Каждая структура в нем сформирована миллионами лет эволюции точно под конкретную задачу, какой бы она ни была… Каждая отдельная структура и каждый нейронный контур в мозгу индивидуально настроены эволюцией и факторами среды". Иными словами, 200 млн лет эволюции превратили мозг в тонко настроенный мыслительный инструмент, который невозможно воспроизвести…
Нет, нет, нет, нет, нет, нет, нет! Абсолютно не так. Мозг не оптимизирован, как и остальные части тела млекопитающего.
Взгляд Ричарда Грейнджера заметался в панике, как будто я выпустил в его кабинете в Дартмутском колледже в Хэновере летучую мышь. Грейнджер - настоящий янки Новой Англии, но выглядит как рок-звезда времен британского вторжения. Он строен, по-мальчишески симпатичен, с копной седеющих каштановых волос. Он серьезен и внимателен, как единственный член группы, понимающий, что играть на электроинструментах под дождем опасно. В молодости Грейнджер действительно мечтал о карьере рок-звезды, но стал вместо этого специалистом по вычислительной нейробиологии мирового класса; сегодня в его активе несколько книг и более сотни статей в рецензируемых журналах. Из светлого кабинета высоко над кампусом он руководит Лабораторией проектирования мозга в Дартмутском колледже. Именно здесь на Дартмутской летней исследовательской конференции по искусственному интеллекту в 1956 г. ИИ получил имя. Сегодня в Дартмуте уверены, что будущее ИИ лежит в области вычислительной нейро- биологии - изучения вычислительных принципов, на основании которых работает мозг.
Наша цель в вычислительной нейробиологии - понять мозг достаточно хорошо, чтобы суметь воспроизвести его функции. Как сегодня простые роботы подменяют человека на физических работах, на заводах и в больницах, так проектирование мозга создаст замену нашим мыслительным способностям. Тогда мы сможем делать симулякры мозга и "ремонтировать" собственный в случае чего.
Если вы, как Грейнджер, специалист по вычислительной нейробиологии, то, вероятно, уверены, что моделирование мозга - чисто инженерная задача. Но чтобы верить в это, вам нужно взять великолепный человеческий мозг - а это, безусловно, царь среди всех органов млекопитающих - и понизить его способности на пару делений. Грейнджер видит мозг в контексте всех прочих частей человеческого тела, ни одна из которых в процессе эволюции не достигла совершенства.
"Подумайте вот о чем, - Грейнджер согнул одну руку и внимательно изучил ее. - Мы не оптимальны, нет, нет и нет, и пять пальцев не оптимальны, и волосы над глазами, но не на лбу, не оптимальны, и нос между глазами, а не справа или слева не оптимален. Смешно, когда говорят, что любая из этих особенностей - результат оптимизации. У всех млекопитающих по четыре конечности, у всех есть "лицо", у всех глаза расположены над носом и надо ртом". Кроме того, оказывается, у всех нас почти одинаковый мозг. "Все млекопитающие, включая и человека, имеют в точности одинаковый набор отделов мозга, которые связаны между собой невероятно похоже, - сказал Грейнджер. - Эволюция работает методом случайного перебора и опробования вариантов, так что вы, конечно, можете думать, что все эти разные вещи испытываются в лаборатории эволюции и либо остаются, либо нет. Но на самом деле они не испытываются".
Тем не менее эволюция, создав мозг млекопитающего, наткнулась на нечто замечательное, говорит Грейнджер. Именно поэтому у мозга на пути от ранних млекопитающих до нас наблюдается лишь несколько небольших отклонений. Части мозга избыточны, а связи в нем не слишком точны и работают медленно, но его работа базируется на инженерных принципах, у которых нам стоило бы поучиться, - нестандартных принципах, которые люди пока еще не изобрели. Вот почему Грейнджер уверен, что создание интеллекта необходимо начинать с подробного изучения мозга. Он не считает, что созданные de novo когнитивные архитектуры - те, что не основаны на принципах устройства мозга, - смогут хотя бы приблизиться по возможностям к разуму.