Еще одна причина того, почему экономика не замедлит интеллектуальный взрыв, вот в чем: когда УЧИ появится или ученые хотя бы подойдут вплотную к его созданию, всем захочется в этом поучаствовать. Всем без исключения. Гертцель указывает, что появление интеллектуальных систем человеческого уровня произвело бы ошеломляющее действие на мировую экономику. Производители УЧИ получили бы неограниченный инвест-капитал на завершение и коммерциализацию новой технологии. Диапазон товаров и услуг с участием интеллектуальных агентов человеческого калибра потрясает воображение. Возьмите хотя бы работу, выполняемую "белыми воротничками" всех сортов, - кто не захотел бы обзавестись командой машин, умных как люди, которые работали бы круглосуточно и делали то же самое, что делают нормальные работники из плоти и крови, но без отдыха и ошибок? Или возьмите программирование: как сказал в главе 5 Стив Омохундро, мы, люди, плохие программисты, а компьютерный разум идеально подходит для того, чтобы программировать лучше нас (и очень скоро воспользоваться программистским ноу-хау для усовершенствования собственных внутренних процессов).
Согласно Гертцелю:
…если бы ИИ мог разобраться в собственном устройстве, он сумел бы разобраться и в другом программном обеспечении и усовершенствовать его; таким образом, он оказал бы революционное влияние на индустрию программных продуктов. А поскольку большая часть финансовых сделок на рынках США в настоящее время реализуется программными трейдинговыми системами, можно предположить, что технологии УЧИ очень скоро стали бы незаменимыми в финансовом мире. Военные и шпионские организации, скорее всего, тоже нашли бы множество практических применений для этой технологии. О подробностях того, как все это будет происходить, можно спорить, но мы можем, по крайней мере, быть уверены, что любые ограничения скорости экономического роста и инвестиционный климат в период развития УЧИ быстро потеряют значение.
Далее стоит роботизировать УЧИ - поместить его в механическое тело - и перед нами откроются новые миры. Возьмите хотя бы опасные работы - добычу полезных ископаемых, морские и космические исследования, военное и пожарное дело, силовые ведомства. Добавьте обслуживание - заботу о пожилых и детях, обязанности слуг, служанок и личных секретарей. Роботы-садовники, шоферы, телохранители и личные тренеры. Наука, медицина, техника - какая область человеческой деятельности не испытала бы невероятный подъем с появлением команд никогда не устающих и по существу одноразовых разумных агентов человеческого уровня, работающих к тому же круглосуточно?
Далее, как мы уже говорили, международная конкуренция подтолкнет многие страны к покупке новой технологии или убедит вспомнить о собственных исследовательских проектах УЧИ. Гертцель говорит:
Если действующий прототип УЧИ приблизился бы к уровню, на котором взрыв представляется возможным, правительства всего мира признали бы эту технологию критически важной и не пожалели бы усилий ради того, чтобы первыми получить полностью функциональный УЧИ, "прежде чем это сделает противная сторона". Возможно, экономики целых стран были бы подчинены единственной цели - разработке первой сверхразумной машины. В общем, экономика не может послужить ограничивающим фактором интеллектуального взрыва; скорее, скорость экономического роста будет определяться состоянием различных УЧИ-проектов по всему миру.
Другими словами, как только мы начнем делить планету с иным разумом, превосходящим человеческий, многое изменится; затем все изменится еще раз, когда произойдет предсказанный Гудом интеллектуальный взрыв и появится УЧИ.
Но прежде чем рассматривать эти перемены и другие важные препятствия для разработки УЧИ и интеллектуального взрыва, давайте завершим разговор о финансировании как критическом барьере. Говоря попросту, никакой это не барьер. Разработка УЧИ не испытывает нужды в деньгах по трем причинам. Во-первых, нет недостатка в проектах слабого ИИ, которые могут позже стать компонентами систем ИИ человеческого уровня, известных как когнитивные архитектуры. Во-вторых, даже горстка "неприкрытых" проектов УЧИ развивается полным ходом и достигает значительного прогресса с различным источниками финансирования, не говоря уже о вероятных стелс-проектах. В-третьих, по мере приближения технологий ИИ к человеческому уровню поток финансирования будет только увеличиваться, и рано или поздно он перенесет ИИ через финишную черту. Денежные вливания будут настолько серьезными, что хвост, по существу, начнет вилять собакой. Если не принимать во внимание другие узкие места, то создание сильного искусственного интеллекта станет двигателем мировой экономики, которая к тому же будет подпитываться общими ожиданиями бесчисленных перемен, которые он привнесет в нашу жизнь.
Чуть дальше мы рассмотрим еще одно критическое препятствие - сложность программного обеспечения. Мы выясним, так ли уж велика сложность программных архитектур, соответствующих человеческому интеллекту, чтобы их создание оказалось нам не под силу, и действительно ли впереди нас ждет вечная ИИ-зима
Глава 12
Последнее затруднение
Почему мы можем быть уверены, что построим сверхразумные машины? Потому что из успехов нейробиологии ясно, что наш чудесный разум имеет физическую основу, и к настоящему моменту нам уже пора понять, что технология позволяет создать все, что возможно физически создать. Компьютер Watson фирмы IBM, играющий в "Свою игру" не хуже чемпионов-людей, - значимая веха на этом пути, иллюстрирующая прогресс машинной обработки языка. Watson изучал язык при помощи статистического анализа громадных объемов текста, доступных в Сети. Когда машины станут достаточно мощными, чтобы расширить этот статистический анализ и связать язык с данными сенсоров, вы проиграете спор, если скажете, что они не понимают язык.
Билл Хаббард, исследователь ИИ
Действительно ли мы заходим слишком далеко, считая, что со временем нам удастся раскрыть принципы работы разума и воплотить их в машине, так же как методами обратного проектирования нам удалось реализовать в удобном для нас виде особенно полезные свойства природных объектов, таких как лошадь или прядильный орган личинки шелкопряда? Сенсация: человеческий мозг - природный объект.
Михаил Анисимов, директор MIRI по связям с прессой
Искажение нормальности - неспособность человека эффективно действовать и адекватно реагировать в условиях катастрофы, в которой он оказался впервые.
Памела Валентайн и Томас Смит, Brief Treatment and Crises Intervention
Наше исследование интеллектуального взрыва выявило несколько серьезных вопросов. Искусственный интеллект человеческого уровня, когда он будет получен, окажется сложной системой, а сложные системы иногда отказывают вне зависимости от того, используют ли они программное обеспечение или нет. Системы ИИ и когнитивные архитектуры, о которых мы начали говорить, настолько сложные, по утверждению автора книги "Нормальные аварии" (Normal Accidents) Чарльза Перроу, что мы не можем предусмотреть все варианты комплексных отказов, которые могут в них возникнуть. Мы не отступим от истины, если скажем, что УЧИ, скорее всего, будет реализован как когнитивная архитектура и что по размерам и сложности он может превзойти облачный кластер из 30 ООО процессоров, выстроенный не так давно компанией Cycle Computing. А эта компания сама хвасталась, что "кошка- чудовище" была слишком сложная, чтобы за ее работой мог следить (чтобы его мог по-настоящему понять) человек.
Добавьте к этому тот тревожный факт, что части вероятных систем УЧИ, такие как генетические алгоритмы и нейронные сети, принципиально непознаваемы - мы не можем точно сказать, почему они принимают те или иные решения. И при всем том среди людей, работающих над созданием ИИ и УЧИ, лишь небольшая часть хотя бы сознает, что на этом пути нам могут грозить опасности. Большинство не рассматривает катастрофические сценарии и не планирует своего поведения на этот случай. Инженеры-атомщики Чернобыля и Тримайл-Айленда глубоко изучали всевозможные аварийные сценарии, но даже они не сумели эффективно вмешаться. Какие шансы справиться с УЧИ будут у неподготовленных ученых?
Наконец, подумайте о DARPA. Без этого агентства информатика как наука и все, что она нам дала, были бы сегодня на значительно более примитивном уровне. ИИ, если бы все же разрабатывался, сильно отставал бы от нынешнего состояния. Но DARPA - оборонное ведомство. Сознает ли оно, насколько сложным и непознаваемым может оказаться УЧИ? Готово ли к тому, что у УЧИ будут собственные потребности и мотивации, помимо тех задач, для решения которых он будет создан? Или получатели грантов DARPA вооружат продвинутый ИИ раньше, чем будет создана этика его использования?
Ответы на эти вопросы, когда они будут получены, могут нам не понравиться, особенно если не забывать о том, что на кону стоит будущее человечества.
Рассмотрим еще одно возможное препятствие для интеллектуального взрыва - сложность программного обеспечения. Утверждается следующее: мы никогда не получим УЧИ, или искусственный разум человеческого уровня, потому что задача его создания окажется слишком сложной для нас. Если это правда, то никакой УЧИ не сможет усовершенствовать себя в достаточной степени, чтобы запустить интеллектуальный взрыв. Искусственный разум не сможет создать чуть более умную версию самого себя, эта версия не построит еще более умный ИИ и т. д. Те же ограничения распространяются и на человеко-машинную связь - не исключено, что она сможет укрепить и усилить человеческий интеллект, но никогда по-настоящему не превзойдет его.
Посмотрим, как давно человек исследует проблему сложного программирования. В 1956 г. Джон Маккарти, которого называют отцом ИИ (именно он пустил в обращение термин "искусственный интеллект"), объявил, что всю проблему УЧИ можно решить за полгода. В 1970 г. пионер ИИ Марвин Мински сказал: "За период от трех до восьми лет мы получим машину, сравнимую по общему интеллекту со средним человеческим существом". Учитывая состояние науки на тот момент и пользуясь преимуществами послезнания, скажем, что оба они страдали от гордыни в классическом смысле. Греки под гордыней понимали высокомерие, причем часто по отношению к богам. Грех гордыни приписывали людям, которые пытались выйти за рамки человеческих возможностей. Вспомните Икара, попытавшегося подняться к Солнцу, Сизифа, сумевшего перехитрить Зевса (по крайней мере, на какое-то время), и Прометея, давшего людям огонь. Пигмалион, согласно мифологии, был скульптором и влюбился в одну из своих статуй, в Галатею (в переводе с греческого ее имя означает "спящая любовь"). Но Пигмалион не понес наказания. Вместо этого Афродита, богиня любви, оживила Галатею. Гефест, греческий бог-кузнец, помимо всего прочего, любил делать железные машины, которые помогали в работе с металлами. Он создал Пандору с ее ящиком, и Талоса - бронзового гиганта, защищавшего Крит от пиратов.
Парацельс, великий средневековый алхимик, известный тем, что связал медицину с химией, будто бы придумал формулу создания человекоподобных существ и гибридов человека и животных, называемых гомункулусами. Наполните мешок человеческими костями, волосами и спермой, затем заройте его вместе с лошадиным навозом. Подождите сорок дней. Народится человекоподобный младенец и будет жить, если кормить его кровью. Он навсегда останется крохотным, но будет выполнять ваши приказы, пока не взбунтуется и не убежит. А если вы хотите получить помесь человека с другим животным, скажем, с лошадью, замените в рецепте человеческие волосы конскими. Я, надо сказать, мог бы придумать десяток применений крохотному человечку (чистить теплопроводные каналы в стенах и т. п.), но вот к какому делу можно приставить крохотного кентавра, ума не приложу.
Задолго до появления Лаборатории робототехники в МТИ и "Франкенштейна" Мэри Шелли существовала еврейская легенда о големе. Подобно Адаму, голем - существо мужского пола, сотворенное из глины. В отличие от Адама, голем оживлен не дыханием Господа, а распевными словами и числами, которые произносит равви-каббалист, верящий в упорядоченность Вселенной и божественность чисел. Имя Бога, написанное на клочке бумаги и вложенное в рот, поддерживает в этом безгласном, но вечно растущем существе "жизнь". В еврейском фольклоре раввины-волшебники использовали голе- мов в качестве лакеев и домашних слуг. Самый знаменитый голем по имени Йосель, или Иосиф, был создан в XVI в. главным раввином Праги Иехудой Лёвом. В эпоху, когда евреев то и дело обвиняли в использовании крови христианских младенцев при приготовлении мацы, Йосель без устали разоблачал "кровавых" клеветников, ловил воров в еврейском квартале Праги и вообще помогал рабби Лёву бороться с преступностью. В конце концов, согласно легенде, Йосель взбесился и начал крушить все вокруг. Чтобы спасти соплеменников, раввин вступил с големом в схватку и вынул оживляющий клочок бумаги из его рта. Йосель рассыпался на куски. По другой версии, рабби Лёв был раздавлен падающим гигантом насмерть - уместное наказание за гордыню, толкнувшую его на акт творения. Еще по одной версии, жена рабби Лёва приказала Йоселю принести воды, а он начал носить и носил до тех пор, пока дом его создателя не был полностью затоплен. В информатике незнание того, остановится программа вовремя или нет, называют "проблемой остановки". Хорошие программы работают до тех пор, пока не встретят команду остановиться, и в общем случае невозможно сказать наверняка, остановится ли когда-либо данная конкретная программа. В случае с големом жене рабби Лёва следовало уточнить, сколько воды нужно принести, - скажем, сто литров, - и тогда Йосель, вероятно, остановился бы, выполнив задание. Если верить легенде, она этого не сделала.
Проблема остановки - серьезный вопрос для программистов; бывает, что до запуска готовой программы не удается обнаружить скрытый в тексте бесконечный цикл. Кроме того, есть еще один интересный факт: невозможно написать приложение, которое определяло бы, актуальна ли для той или иной программы проблема остановки. На первый взгляд представляется, что такой диагностический отладчик вполне возможен, но еще Алан Тьюринг обнаружил, что это не так (причем до того, как появились компьютеры и программирование). Он сказал, что проблема остановки нерешаема, потому что, если отладчик наткнется на проблему остановки в тестируемой программе, он сам войдет в бесконечный цикл и не сможет определить присутствие этой проблемы. Вам, программисту, придется ждать от него ответа ровно столько же, сколько вы прождали бы остановки первоначальной программы. То есть очень долго, а может быть, даже целую вечность. Один из отцов искусственного интеллекта Марвин Мински указал, что "любой конечный автомат, будучи предоставлен сам себе, со временем перейдет в периодический повторяющийся режим. Продолжительность этого цикла не может превосходить число возможных внутренних состояний машины". Иными словами, при прогоне проблемной программы компьютеру с памятью средней емкости потребуется очень много времени, чтобы перейти в полностью циклический режим, который могла бы заметить диагностическая программа. Насколько много? В некоторых случаях больше, чем просуществует Вселенная. Так что для практических целей проблема остановки означает невозможность точно сказать, остановится данная конкретная программа или нет.
Заметив неспособность Йоселя самостоятельно остановиться, рабби Лёв мог исправить дело, "подлатав программу"; в данном случае ему нужно было бы вынуть бумагу с именем Бога изо рта гиганта. В конце концов Йоселя заперли, говорят, на чердаке Староновой синагоги в Праге, и ему суждено ожить вновь перед концом света. Рабби Лёв - реальное историческое лицо - похоронен на еврейском кладбище в Праге (недалеко, надо сказать, от Франца Кафки). А миф о Йоселе настолько жив среди потомков еврейских семей Восточной Европы, что еще в прошлом веке дети заучивали стишок, который должен будет пробудить голема в конце времен.
Следы рабби Лёва можно различить на всех "потомках" голема, от очевидного "Франкенштейна" к "Властелину колец" Толкиена и к компьютеру Hal 9000 из классического фильма Стэнли Кубрика "2001. Космическая одиссея". Среди специалистов-компьютерщиков, которые консультировали Кубрика по поводу робота-человекоубийцы, были Марвин Мински и Джон Гуд. Гуд в то время только-только написал об интеллектуальном взрыве и считал, что он произойдет в ближайшие двадцать лет. Вероятно, избрание в 1995 г. в Академию киноискусства и кинотехники в связи с этим фильмом стало для него потрясением.
Судя по истории ИИ, написанной Памелой Маккордак, среди пионеров компьютерных наук и искусственного интеллекта немало тех, кто считает себя прямыми потомками рабби Лёва. Среди них Джон фон Ньюман и Марвин Мински.
И все же в каком-то смысле мы уже сумели превзойти интеллектуальный уровень любого человека при помощи технологий. Достаточно объединить человека, обладающего средним коэффициентом интеллекта, с поисковым движком Google - и получится команда, которая будет умнее человека, то есть человек с усиленным интеллектом. УИ вместо ИИ. Вернор Виндж убежден, что возможность подсоединить к человеческому мозгу устройство, которое обеспечит ему дополнительную скорость, память и интеллект, - это один из верных путей к будущему интеллектуальному взрыву.
Припомните самого умного человека среди ваших знакомых и выставьте его мысленно против гипотетической команды человека-Google в конкурсе на фактические знания и, скажем, разложение на простые множители. Команда из человека и Google выиграет без малейших усилий. В решении сложных задач человек с более мощным интеллектом, скорее всего, победит, хотя команда с участием Google, вооруженная всеми знаниями Сети, вполне может оказать достойное сопротивление.
Можно ли считать, что знания - то же самое, что интеллект? Нет, но знания - усилитель интеллекта, если интеллект, помимо всего прочего, - это способность действовать в окружающем вас мире гибко и интенсивно. Предприниматель и производитель ИИ Питер Фосс рассуждал, что если бы Аристотель обладал базой знаний Эйнштейна, он вполне мог бы выдвинуть общую теорию относительности. Поисковый движок Google, в частности, многократно повысил производительность труда в тех областях, где требуются исследования, поиск информации и составление текстов. Задачи, которые раньше требовали долгих исследований - нужно было идти в библиотеку, рыться в книгах, журналах и специализированных картотеках, разыскивать экспертов, писать или звонить им, - теперь решаются легко, быстро и дешево. Конечно, в значительной степени повышение производительности обеспечивает сам Интернет. Но в огромном океане содержащейся в нем информации можно утонуть, если не пользоваться умными инструментами для извлечения оттуда той небольшой ее части, которая вам нужна. Как Google это делает?
Разработанный Google алгоритм под названием PageRank присваивает каждому сайту в Интернете числовое значение от 0 до 10. Страничка с индексом 1 по PageRank считается вдвое "качественнее", или "авторитетнее", странички с индексом 0. Индекс 2 означает вдвое более высокое "качество", чем 1, и т. д.