С 1986 г. ASIMO разрабатывался с целью оказывать помощь по дому пожилым людям - наиболее быстро растущей группе населения Японии. Человеческие формы и умения лучше всего подходят машине, которая должна будет подниматься по лестницам, включать свет, подметать мусор, манипулировать кастрюлями и сковородками - и все это в человеческом жилище. Точно так же ИИ, желающему эффективно использовать наши заводы, здания, транспортные средства и инструменты, придется позаботиться о гуманоидных формах.
А теперь вернемся к космосу.
Мы уже говорили о том, какие необъятные преимущества дадут нанотехнологии сверхразуму и как рациональная система получит мотивацию к их развитию. В космос нашу систему гонит желание достичь целей и избежать уязвимости.
Она просматривает возможные варианты будущего и исключает те, где ее цели не достигаются. Не воспользоваться бесконечными на первый взгляд ресурсами космоса - очевидный путь к неудаче.
Как и проигрыш конкурентам в ресурсной гонке. Таким образом, сверхразумная система выделит значительные ресурсы на достижение скорости работы, достаточной для выигрыша в этой гонке. Из этого следует, что, если мы не будем очень осторожны при создании сверхразума, это событие вполне может оказаться шагом в будущее, где могущественные и жадные машины (или их зонды) будут носиться по Галактике с почти световой скоростью, собирая ресурсы и энергию.
Я лично вижу своеобразный черный юмор в том, что первый контакт иной галактической жизни с Землей может выглядеть как бодрое приветствие по радио, а затем опустошительный смертельный десант нанофабрик. В 1974 г. Корнеллский университет, запуская обновленный радиотелескоп Аресибо, передал в пространство так называемое послание Аресибо. Это послание, разработанное основателем SETI Фрэнсисом Дрейком, астрономом Карлом Саганом и другими энтузиастами, содержало информацию о человеческой ДНК, населении Земли и наших координатах. Радиопередача была направлена на звездное скопление М13, расположенное на расстоянии 25 000 световых лет. Радиоволны путешествуют со скоростью света, так что послание Аресибо доберется до места назначения не раньше чем через 25 000 лет. Может, оно и вовсе не доберется до места - ведь М13 за это время изменит свое положение относительно Земли по сравнению с 1974 г. Разумеется, команда Аресибо это знала, но все же воспользовалась случаем попиарить себя и свой проект.
Тем не менее другие звездные системы могут представлять собой более результативные мишени для посланий с радиотелескопов. И разум, который обнаружит эти послания, может оказаться вовсе не биологическим.
Такую оценку ситуации дает SETI - организация по поиску внеземного разума со штаб-квартирой в Маунтин-Вью (штат Калифорния), всего в нескольких кварталах от штаб- квартиры Google. Эта организация, существующая уже полвека, пытается уловить сигналы внеземного разума с расстояния до 150 трлн км. Для приема инопланетных передач в 450 км к северу от Сан-Франциско построено 42 гигантские тарелки радиотелескопа. SETI слушает сигналы - но ничего не посылает, и за полвека сотрудникам этой организации не удалось ничего услышать с других планет. Но одно досадное обстоятельство, наводящее на мысль о возможном распространении ИСИ, удалось установить наверняка: наша Галактика населена слабо, и никто не знает почему.
Главный астроном SETI доктор Сет Шостак выдвинул смелое предположение о том, что именно мы можем встретить в космосе, если, конечно, встретим хоть что-нибудь. Это будет искусственный, а не биологический разум.
Он сказал мне:
То, что мы там ищем, - это эволюционирующий объект. Наши технологические достижения учат нас, что ничто не остается стабильным надолго. Радиоволны, которые мы пытаемся уловить, являются результатом деятельности биологических сущностей. Но временное окно между тем моментом, когда цивилизация получает возможность заявить о себе по радио, и тем моментом, когда она начинает строить превосходящие ее машины, мыслящие машины, - всего несколько столетий. Не больше. Получается, что каждая цивилизация сама изобретает своих преемников.
Иными словами, для любой разумной формы жизни существует относительно небольшой период времени между двумя техническими вехами - появлением радио и появлением продвинутого ИИ. А стоит создать мощный ИИ - и он быстро берет на себя управление планетой или сливается с изобретателями радио. После этого радио становится ненужным.
Большая часть радиотелескопов SETI направлены на "зоны жизни" ближайших к Земле звезд. Планета в "зоне жизни" расположена достаточно близко к звезде, чтобы вода на ее поверхности могла оставаться в жидком состоянии - не кипела и не замерзала. Вообще, условия на такой планете должны очень точно укладываться в довольно узкие рамки, поэтому иногда "зону жизни" называют также "зоной Златовласки" по имени капризной героини известной сказки.
Шостак утверждает, что SETI следует направить хотя бы часть своих приемников на участки Галактики, условия в которых представляются привлекательными для искусственного, а не биологического разума, - в своеобразные "зоны Златовласки" для ИИ. Это области, богатые энергией, - молодые звезды, нейтронные звезды и черные дыры.
Я думаю, мы могли бы небольшую часть времени наблюдать за теми направлениями, которые, возможно, не слишком привлекательны с точки зрения биологического разума, но где вполне могут обитать разумные машины. У машин иные потребности. У них нет очевидных ограничений на продолжительность существования, поэтому они, очевидно, с легкостью могут занять доминирующее положение в космосе. А поскольку эволюция у них идет намного быстрее биологической, может получиться так, что первые же разумные машины, появившиеся на сцене, в конечном итоге подчинят себе все разумные существа Галактики. Это тот случай, когда "победитель получает все".
Шостак связывает современные облачные сервисы, организованные Google, Amazon и Rackspace, с высокоэнергетичными сверххолодными средами, которые потребуются сверхразумным машинам. Один из примеров таких замороженных сред - глобулы (темные газопылевые туманности с температурой около -263 °C, один из самых холодных объектов во Вселенной). Подобно сегодняшним вычислительным облакам Google, горячие мыслящие машины будущего, вероятно, будут нуждаться в охлаждении; в противном случае они могут попросту расплавиться.
Предложения Шостака о том, где искать ИИ, говорят нам, что идея о разуме, покидающем Землю в поисках ресурсов, способна зажечь и менее живое воображение, чем у Омохундро и ребят из MIRI. Однако Шостак, в отличие от них, не думает, что сверхразум будет опасен.
Если мы в ближайшие пять лет построим машину с интеллектуальными возможностями одного человека, то ее преемник уже будет разумнее всего человечества вместе взятого. Через одно-два поколения они попросту перестанут обращать на нас внимание. Точно так же, как вы не обращаете внимания на муравьев у себя во дворе. Вы не уничтожаете их, но и не приручаете, они практически никак не влияют на вашу повседневную жизнь, но они там есть.
Проблема в том, что я, к примеру, уничтожаю муравьев у себя на заднем дворе, особенно когда они прокладывают тропки ко мне на кухню. Но есть и разница - ИСИ улетит в Галактику или отправит туда зонды, потому что нужные ему ресурсы на Земле уже закончились или он рассчитал, что они закончатся в ближайшее время, - и дорогостоящие полеты в космос оправданны. А если так, то почему мы все еще будем к тому моменту живы, если на наше существование тратится, вероятно, немало все тех же ресурсов? И не забывайте: сами мы тоже состоим из вещества, для которого ИСИ может найти свое применение.
Короче говоря, чтобы хеппи-энд по Шостаку стал возможен, сверхразум, о котором идет речь, должен захотеть оставить нас в живых. Просто не обращать на нас внимания недостаточно. Но до сих пор не существует ни общепринятой этической системы, ни понятного способа вложить такое желание в продвинутый ИИ.
Но существует молодая наука о поведении сверхразумного агента, и начало ей положил Омохундро.
Мы уже рассмотрели три потребности из четырех, мотивирующих, по мнению Омохундро, сознающую себя самосовершенствующуюся систему: это эффективность, самозащита и ресурсы. Мы увидели, что без тщательнейшего планирования и программирования каждая из этих потребностей приведет к весьма печальным результатам. И мы вынуждены спросить себя: способны ли мы на столь тщательную работу? Или вы, как и я, оглядываетесь вокруг, видите всевозможные случайные события и происшествия, которые дорого обходятся человечеству и в денежном измерении, и в человеческих жизнях, и думаете о том, сможем ли мы, имея дело с невероятно мощным ИИ, с первого раза сделать все правильно? Тримайл-Айленд, Чернобыль, Фукусима - разве эти катастрофы произошли не на атомных станциях, где высококвалифицированные конструкторы и администраторы всеми силами старались их избежать? Чернобыльский реактор в 1986 г. взорвался во время эксперимента в области безопасности.
Все три перечисленные катастрофы - это то, что специалист по теории организаций Чарльз Перроу назвал бы "нормальными авариями". В своей эпохальной книге "Нормальные аварии: Жизнь с технологиями высокого риска" Перроу говорит о том, что аварии и даже катастрофы "нормальны" для систем со сложной инфраструктурой. Для таких систем характерен высокий уровень непредсказуемости, поскольку отказ может произойти не в одном, а в нескольких, часто не связанных между собой процессах. Отдельные ошибки, ни одна из которых не была бы фатальна сама по себе, складываются, порождая системные отказы, предсказать которые заранее было бы попросту невозможно.
На АЭС Тримайл-Айленд 28 марта 1979 г. катастрофу вызвали четыре несложных отказа: два насоса системы охлаждения остановились из-за механических неполадок; два аварийных насоса не могли работать, поскольку их задвижки были закрыты на техобслуживание; ярлычок, сообщавший о ремонте, прикрыл собой индикаторные лампы, которые могли бы предупредить персонал о проблеме; наконец, предохранительный клапан застрял в открытом состоянии, а неисправный световой индикатор показывал, что этот самый клапан закрыт. Итоговый результат: активная зона реактора расплавилась, едва удалось избежать человеческих жертв, а ядерной энергетике США был нанесен едва ли не фатальный удар.
Перроу пишет:
Мы породили конструкции настолько сложные, что не в состоянии предвидеть все возможные сочетания неизбежных отказов; мы добавляем все новые устройства безопасности, которые вводятся в заблуждение, обходятся или подавляются скрытыми в системах способами.
Особенно уязвимы, пишет Перроу, системы, чьи компоненты тесно переплетены (связаны "сверхкритической связью"), то есть непосредственно и значительно влияют друг на друга. Одним из ярких примеров опасностей, связанных с тесно переплетенными системами ИИ, могут служить события мая 2010 г. на Уолл-стрит.
В наше время до 70 % всех сделок с акциями на Уолл-стрит осуществляются примерно 80 компьютеризированными системами высокочастотного трейдинга (HFT). Речь идет примерно о миллиарде акций в день. Трейдинговые алгоритмы и компьютеры, на которых они работают, принадлежат банкам, хедж-фондам и фирмам, существующим исключительно для высокочастотного трейдинга. Смысл HFT - получать прибыль от возможностей, возникающих буквально на доли секунды (к примеру, когда меняется цена на одни ценные бумаги, а другие цены, которые по идее должны быть ей эквивалентны, не успевают мгновенно поменяться), и использовать ежедневно множество подобных ситуаций.
В мае 2010 г. у Греции возникли проблемы с рефинансированием национального долга. Европейские страны, одалживавшие Греции деньги, опасались дефолта. Долговой кризис ослабил европейскую экономику и породил опасности для американского рынка. А причиной всего этого стал испуганный трейдер неизвестной брокерской компании, который одномоментно выставил на продажу фьючерсные контракты и инвестиционные фонды ETF, имеющие отношение к Европе, на $4,1 млрд.
После этой продажи стоимость фьючерсных контрактов типа E-Mini S&P 500 упала на 4 % за четыре минуты. Алгоритмы высокочастотного трейдинга уловили падение цены. Пытаясь удержать прибыль, они автоматически запустили распродажу, которая заняла несколько миллисекунд (самая быстрая на данный момент сделка заняла три миллисекунды - три тысячные доли секунды). В ответ на более низкую цену другие HFT автоматически начали покупать E-Mini S&P 500 и продавать другие ценные бумаги, чтобы получить деньги на их покупку. Прежде чем люди успели вмешаться, началась цепная реакция, в результате которой индекс Доу-Джонса упал на 1000 пунктов. На все про все ушло двадцать минут.
Перроу называет эту проблему "непостижимостью". Причиной нормальных аварий, как правило, являются взаимодействия, которые "не только неожиданны, но и непонятны в течение некоторого критически важного времени". Никто не предвидел, что события могут так подействовать друг на друга, поэтому никто вовремя не понял, что происходит.
Специалист по финансовым рискам Стив Охана признал существование проблемы. "Это новый риск, - сказал он. - Мы знаем, что многие алгоритмы взаимодействуют друг с другом, но не знаем, как именно. Мне кажется, мы слишком далеко зашли в компьютеризации финансов. Мы не в состоянии контролировать монстра, которого создали".
Этот монстр снова нанес удар 1 августа 2012 г.: из-за неудачного HFT-алгоритма инвестиционная фирма Knight Capital Partners потеряла за полчаса $440 млн.
На мой взгляд, в этих кризисах можно разглядеть элементы неизбежных ИИ-катастроф: чрезвычайно сложные, почти непознаваемые ИИ-системы, непредсказуемое взаимодействие с другими системами и более широкой информационно-технической средой и, наконец, ошибки, возникающие на фоне огромных вычислительных скоростей, делают вмешательство человека бессмысленным.
"Агент, стремящийся только к удовлетворению потребностей в эффективности, самосохранении и сборе ресурсов, действовал бы как одержимый социопат-параноик", - пишет Омохундро в книге "Природа самосовершенствующегося искусственного интеллекта". Очевидно, сосредоточенность исключительно на работе играет с ИИ плохую шутку и делает общение с ним достаточно неприятным. Робот, обладающий только перечисленными потребностями, был бы механическим Чингисханом; он стремился бы захватить все ресурсы Галактики, лишить конкурентов средств к существованию и уничтожить врагов, которые еще, по крайней мере, тысячу лет не представляли бы для него ни малейшей опасности. Но у нас осталась еще одна первичная потребность, которую следует добавить в это жуткое зелье: потребность в творчестве.
Под влиянием четвертой потребности ИИ изобретал бы новые способы более эффективного достижения целей или, скорее, избегания исходов, при которых его цели будут удовлетворяться не так оптимально, как могли бы. Потребность в творчестве означала бы меньшую предсказуемость системы (еще меньшую?!), потому что креативные идеи оригинальны. Чем умнее система, тем оригинальнее путь к цели и тем дальше он отстоит от всего, что мы могли бы себе представить. Потребность в творчестве помогала бы с максимальной отдачей использовать прочие потребности - эффективность, самосохранение и накопление ресурсов - и предлагала бы обходные пути в тех случаях, когда с удовлетворением потребностей возникают проблемы.
Представьте, к примеру, что основная цель вашего робота-шахматиста - выигрывать в шахматы у любого оппонента. Столкнувшись с другим шахматным роботом, он немедленно проникнет в его систему и снизит скорость работы процессора до черепашьей, что даст вашему роботу решительное преимущество. Вы восклицаете: "Погодите минутку, я ничего такого не имел в виду!" - и добавляете в своего робота программу, которая на уровне подзадачи запрещает ему вмешиваться в системы противников. Однако еще до следующей игры вы обнаруживаете, что ваш робот строит робота-помощника, который затем внедряется в систему противника! Если вы запретите ему строить роботов, он возьмет робота в аренду или наймет кого-нибудь! Без подробнейших ограничивающих инструкций сознающая себя, самосовершенствующаяся система, ориентированная на решение определенной задачи, дойдет на своем пути к цели до нелепых с нашей точки зрения крайностей.
Это лишь один пример проблемы непредвиденных последствий, связанной с ИИ, - проблемы настолько серьезной и вездесущей, что ее можно было бы, пожалуй, сравнить с "проблемой воды" в отношении к морским судам. Мощная ИИ-система, цель которой - обеспечить вашу защиту, может попросту запереть вас дома и никуда не выпускать. Если вы попросите счастья, она может подсоединить вас к системе искусственного жизнеобеспечения и все время стимулировать центры удовольствия в вашем мозгу. Если вы не обеспечите ИИ очень большой библиотекой приемлемых вариантов поведения или надежнейшим средством выбора предпочтительного для вас варианта, вам придется терпеть тот вариант, который он выберет сам. А поскольку ИИ - чрезвычайно сложная система, вы, возможно, никогда не сумеете понять ее достаточно хорошо, чтобы быть уверенным в правильности своих представлений о ней. Чтобы понять, не собирается ли ваш снабженный ИИ робот привязать вас к кровати и засунуть электроды в уши, пытаясь обеспечить вам безопасность и счастье, может потребоваться еще один, более умный ИИ.
Существует еще один подход к проблемам первичных потребностей ИИ, причем такой, который предпочтительнее для позитивно настроенного Омохундро. Потребности дают возможности - двери, которые открываются перед человечеством и нашими мечтами. Если мы не хотим, чтобы наша планета, а со временем и Галактика, были населены исключительно эгоцентричными и бесконечно воспроизводящими себя сущностями с чингисхановским отношением к биологическим существам и друг к другу, то творцам ИИ следовало бы сформулировать цели, органично включающие в себя человеческие ценности. В списке пожеланий Омохундро можно найти, в частности, следующие пункты: "делать людей счастливыми", "сочинять красивую музыку", "развлекать других", "работать над сложной математикой" и "создавать возвышающие произведения искусства". А затем нужно будет отойти в сторону. С такими целями творческая потребность ИИ включится на полную мощность и откликнется прекрасными творениями, обогащающими нашу жизнь.
Как человечеству сохранить человечность? Это чрезвычайно интересный и важный вопрос, который мы, люди, задаем в разных формах уже очень давно. Что такое доблесть, праведность, совершенство? Какое искусство возвышает и какая музыка красива? Необходимость точно определить наши ценности - один из моментов, которые помогают нам лучше узнать самих себя в процессе поиска путей к созданию искусственного интеллекта человеческого уровня. Омохундро считает, что такое глубокое погружение в себя и самокопание приведет к созданию обогащающих, а не ужасающих технологий. Он пишет:
Вооружившись одновременно логикой и вдохновением, мы можем двигаться к созданию техники, которая усилит, а не ослабит дух человеческий.
* * *
Разумеется, я иначе смотрю на вещи - я не разделяю оптимизма Омохундро. Но я сознаю необходимость и важность развития науки, которая помогла бы нам разобраться в наших разумных созданиях. Не могу не повторить его предупреждение, касающееся продвинутого ИИ.