Не правда ли, следующим логическим шагом было бы заставить ваш хедж-фонд думать? То есть ваш алгоритм, возможно, не должен автоматически запускать продажи в ответ на массированный сброс акций другим фондом (что, собственно, послужило причиной мгновенного краха в мае 2010 г.). Вместо этого он должен своевременно заметить сброс акций и, прежде чем делать свой ход, посмотреть, как на него будут реагировать другие фонды и рынок в целом. Тогда он, возможно, сумеет сделать иной, более удачный ход. Или, может быть, что еще лучше, сможет одновременно с этим промоделировать большое число гипотетических рынков и будет готов к реализации одной из множества стратегий в ответ на конкретные условия.
Иными словами, существуют громадные финансовые стимулы наделить ваши алгоритмы самосознанием - чтобы они точно знали, чем являются, и могли моделировать окружающий мир. А это уже очень похоже на УЧИ. Именно в этом направлении, безусловно, развивается рынок, но есть ли результаты и близок ли кто-нибудь к созданию УЧИ?
Уисснер-Гросс не знал ответа на этот вопрос. Возможно, он не открыл бы его, даже если бы знал. "Есть серьезные материальные причины держать в тайне любые успехи, обещающие хорошую выгоду", - сказал он.
Разумеется. И он говорит при этом не просто о конкуренции между хедж-фондами, но и о своего рода естественном отборе среди алгоритмов. Победители процветают и передают тексты своих программ потомкам. Неудачники погибают. Эволюционное давление рынка способно ускорить развитие интеллекта, но не без руководящего участия человека-"кванта". Пока.
А интеллектуальный взрыв в мире финансовой инженерии был бы абсолютно непрозрачным, по крайней мере по четырем причинам. Во-первых, подобно многим когнитивным архитектурам, он, вероятно, использовал бы нейронные сети, генетическое программирование и прочие "черные ящики" методик ИИ. Во-вторых, высокоскоростные транзакции, занимающие от силы несколько миллисекунд, происходят быстрее, чем может отследить человек, - достаточно посмотреть на то, как происходил обвал 2010 г. В-третьих, система невероятно сложна - ни один квант (ни даже группа квантов) не в состоянии полностью описать экосистему алгоритмов Уолл-стрит и объяснить, как алгоритмы взаимодействуют между собой.
Наконец, если мощный интеллект родится в недрах финансовой математики, его, скорее всего, будут держать в тайне до тех пор, пока он будет приносить деньги своим создателям. Вот вам четыре уровня непроницаемости.
Подведем итоги. В принципе УЧИ может родиться на Уолл-стрит. Самые успешные алгоритмы и сейчас держат в тайне - и "кванты", с любовью их реализующие, и компании, ими владеющие. Интеллектуальный взрыв здесь пройдет незаметно для большинства людей, если не для всех, и остановить его, вероятно, в любом случае будет невозможно.
Надо сказать, что сходства между финансовой математикой и исследованиями ИИ на этом не заканчиваются. Уисснер-Гросс выдвинул еще одно поразительное предположение. Он утверждает, что первые стратегии управления УЧИ могли бы вырасти из мер, предлагаемых нынче для управления высокочастотным трейдингом и контроля над ним. Некоторые из них выглядят достаточно перспективно.
Рыночный предохранитель, или прерыватель цепи, должен отрезать ИИ хедж-фонда от внешнего мира в случае непредвиденных обстоятельств. Грубо говоря, зарегистрировав каскадные взаимодействия алгоритмов вроде тех, что происходили во время краха 2010 г., такой автомат должен "выдернуть вилку из розетки", то есть физически отключить машины от электропитания.
Правило крупного трейдера требует подробной регистрации всех ИИ наряду с человеческими организациями. Если это кажется вам прелюдией к серьезному вмешательству правительства, то вы правы. Почему нет? Уолл-стрит снова и снова доказывает свою неспособность к ответственному поведению без энергичного регулирования. Относится ли это также к разработчикам УЧИ? Несомненно. К изучению УЧИ допускаются не только люди высоких моральных качеств.
Предварительное тестирование алгоритмов могло бы моделировать поведение алгоритмов в виртуальной среде, прежде чем выпускать их на реальный рынок. Цель аудита исходного текста программ ИИ и централизованной записи деятельности ИИ-предугадывание возможных ошибок и поощрение анализа постфактум любых неожиданных событий, таких как крах 2010 г.
Но оглянитесь на упомянутые выше четыре уровня непрозрачности и подумайте, достаточно ли будет таких мер предосторожности, даже если они будут полностью реализованы, и смогут ли они, на ваш взгляд, гарантировать безопасность.
Как мы уже видели, Виндж принял эстафету от Гуда и дополнил описание интеллектуального взрыва новыми важными чертами. Он рассмотрел альтернативные варианты его достижения помимо нейронных сетей, о которых говорил Гуд, и указал на возможность и даже вероятность гибели человечества. И возможно, самое важное, Виндж дал этому событию имя - сингулярность.
Винджу, как автору оригинального научно-фантастического рассказа "Истинные имена", отлично известно, что присвоение имени - чрезвычайно важный акт. Имена просятся на язык, откладываются в мозге и без труда преодолевают пропасть между поколениями. В Книге Бытия, как говорят теологи, раздача имен всему на Земле на седьмой день важна потому, что на созданной Богом "сцене" рядом с ним должно было появиться разумное существо, которому и предстояло в дальнейшем пользоваться этими именами. Языковая практика - важная веха в развитии ребенка. Без языка мозг не может нормально развиваться. Вряд ли УЧИ возможен без языка, без существительных, без имен.
Виндж дал сингулярности название, чтобы обозначить страшное будущее для человечества. Его определение сингулярности метафорично - орбита вокруг черной дыры, где гравитационные силы настолько сильны, что даже свет не в состоянии вырваться вовне. Мы не можем узнать, что там внутри, и такое название дано не случайно.
Затем внезапно все изменилось.
К концепции сингулярности, предложенной Винджем, Рэй Курцвейл добавил мощный катализатор, сдвигающий всю тему в область стремительного развития технологий и фокусирующий внимание на надвигающейся катастрофической опасности: экспоненциальном росте мощности и скорости компьютеров. Именно из-за этого роста вы можете окидывать скептическим взглядом любого, кто скажет, что машинный интеллект человеческого уровня не будет получен еще лет сто, а может, и вообще никогда не будет достигнут.
В расчете на один доллар мощность компьютеров за последние тридцать лет выросла в миллиард раз. Еще лет через двадцать за $1000 можно будет купить в миллион раз более мощный компьютер, чем сегодня, а через двадцать пять лет - в миллиард. Примерно к 2020 г. появятся первые компьютерные модели человеческого мозга, а к 2029 г. исследователи смогут запустить модель мозга, которая не будет ни на йоту уступать человеческому ни в интеллектуальном, ни в эмоциональном плане. К 2045 г. человеческий и машинный интеллект вырастут в миллиард раз и разработают технологии, которые позволят победить наши человеческие слабости, такие как утомление, болезни и смерть. В случае если нам удастся это пережить, технический прогресс за XXI в. продвинется не на столетие, а на 200 000 лет.
Приведенный анализ и экстраполяция принадлежат Курцвейлу и могут служить ключом к третьему, победившему на данный момент определению сингулярности. Сердцем этого определения является Закон прогрессирующей отдачи - теория технического прогресса, которую Курцвейл не придумал, но извлек на всеобщее обозрение, примерно так же, как Гуд предугадал интеллектуальный взрыв, а Виндж предупредил о надвигающейся сингулярности. Закон прогрессирующей отдачи говорит о том, что экстраполяции и успехи, о которых мы говорим в этой книге, накатываются на нас, как грузовой состав, который на каждом километре удваивает скорость. Очень трудно представить себе, насколько быстро этот состав окажется здесь, но достаточно сказать, что если к концу первого километра его скорость будет составлять 20 км/ч, то всего через пятнадцать километров он будет мчаться со скоростью более 65 000 км/ч. Важно отметить, что экстраполяция Курцвейла относится не только к "железу" (скажем, к начинке нового айфона), но и к развитию теорий (к примеру, к созданию единой теории искусственного интеллекта).
Но здесь мое мнение расходится с мнением Курцвейла. Я считаю, что вместо дороги в рай, куда мы движемся, по утверждению Курцвейла, Закон прогрессирующей отдачи описывает кратчайшее возможное расстояние между нашей жизнью - такой, какая она сегодня, - и концом эры человечества.
Глава 9
Закон прогрессирующей отдачи
В настоящее время информатика проходит самую замечательную трансформацию с момента изобретения персонального компьютера. Новшества следующего десятилетия превзойдут все новшества трех предыдущих десятилетий вместе взятых.
Пол Отеллини, исполнительный директор Intel
В книгах "Эпоха духовных машин: Когда машины превосходят человеческий интеллект" (The Age of Spiritual Machines: When Computers Exceed Human Intelligence) и "Сингулярность рядом" (The Singularity Is Near) Рэй Курцвейл воспользовался словом "сингулярность", кардинально изменив его значение и обозначая им яркий, полный надежд период человеческой истории, который инструменты экстраполяции позволили разглядеть с замечательной точностью. Где-то в ближайшие 40 лет, пишет он, техническое развитие пойдет с такой скоростью, что человеческое существование фундаментально изменится, а ткань истории порвется. Машины и биологические объекты станут неразличимы. Виртуальные миры будут более живыми и захватывающими, чем реальность. Нанотехнологии позволят производить что угодно на заказ, будут побеждены голод и бедность и найдены лекарства от всех человеческих болезней. Вы сможете предотвратить и даже обратить вспять старение собственного тела. Это будет самая значительная эпоха, жить в ней станет прекрасно не только потому, что мы будем свидетелями поистине поразительных скоростей технологического превращения, но и потому, что техника обещает подарить нам способы жить вечно. Это заря уникальной, или "сингулярной", эпохи.
Что же такое в конечном итоге сингулярность? Это период в будущем, в ходе которого технологические перемены станут настолько стремительными, а их влияние настолько глубоким, что человеческая жизнь необратимо изменится. Эта эпоха, не будучи ни утопичной, ни антиутопичной, изменит концепции, придающие сегодня нашей жизни смысл, от бизнес-моделей до цикла человеческой жизни, включая саму смерть…
Взгляните на истории о Гарри Поттере с этой точки зрения. Возможно, все эти рассказы - лишь игра воображения, но они вполне могут представлять картину нашего мира, каким он станет всего через несколько десятилетий. Значительная часть поттеровской магии будет реализована при помощи технологий, о которых я расскажу в этой книге. Игра в квиддич и превращение людей и предметов во что-то иное будут вполне возможны не только при полном погружении в виртуальные реальности, но и в реальной реальности при использовании специальных наноустройств.
Так что сингулярность "не будет ни утопичной, ни антиутопичной", зато мы сможем играть в квиддич! Очевидно, сингулярность Курцвейла решительно отличается от сингулярности Вернора Винджа и интеллектуального взрыва Гуда. Можно ли примирить их между собой? Неужели это будет одновременно и лучшее, и худшее время для жизни? Я прочел почти каждое слово, опубликованное Курцвейлом, и прослушал все доступные аудио- и видеозаписи и подкасты. В 1999 г. я взял у него длинное интервью для документального фильма, посвященного, в частности, искусственному интеллекту. Я знаю все, что он написал и сказал об опасностях ИИ, и это очень немного.
Однако, как ни удивительно, именно Курцвейлу мы отчасти обязаны существованием самого аргументированного очерка по данному вопросу - статьи Билла Джоя "Почему мы не нужны будущему?". В ней Джой - программист, специалист по архитектуре компьютеров и один из основателей компании Sun Microsystems - призывает к замедлению или даже остановке исследований по трем направлениям, которые, как он считает, смертельно опасно развивать нынешними темпами: это искусственный интеллект, нанотехнологии и биотехнологии. Джой написал об этом после пугающего разговора в баре с Курцвейлом и прочтения его книги "Эпоха духовных машин" (The Age of Spiritual Machines). В ненаучной литературе и популярных лекциях об опасностях ИИ, мне кажется, только три закона Азимова цитируются чаще, хотя и не всегда к месту, чем это эссе Джоя, оказавшее заметное влияние. Вот короткий отрывок - суть его позиции по ИИ:
Но сейчас, когда появление вычислительных мощностей человеческого уровня ожидается примерно лет через 30, напрашивается новая идея: может быть, я работаю над созданием инструментов, при помощи которых станет возможна постройка технологий, которые, в конце концов, заменят наш биологический вид. Как я чувствую себя в этой связи? Очень неуютно. Всю свою профессиональную жизнь я бился над созданием надежных программных систем, и мне представляется более чем вероятным, что это будущее получится не таким замечательным, каким его, может быть, вообразили некоторые. Мой личный опыт говорит о том, что мы склонны переоценивать свои конструкторские способности. Учитывая невероятную мощь этих новых технологий, разве нам не следует задаться вопросом о том, как лучше всего сосуществовать с ними? А если наше собственное вымирание является вероятным или хотя бы возможным результатом нашего технического развития, разве нам не следует действовать в этом направлении с величайшей осторожностью?
Разговор с Курцвейлом в баре может дать начало международному обсуждению, но, говоря откровенно, несколько предостерегающих слов теряются у него в море интереснейших предсказаний. Он настаивает, что его описание будущего - не утопия, но я с ним не согласен.
Мало кому удается писать о технологиях более убедительно и с большим знанием дела, чем это делает Курцвейл, - он всегда заботится о том, чтобы его слова были ясны и понятны, и тщательно аргументирует свои мысли. Однако мне кажется, что он совершил ошибку, присвоив слово "сингулярность" и придав ему новое радужное значение. Настолько радужное, что мне, как и Винджу, становится страшно от этого определения, полного убедительных образов и идей, маскирующих опасность. Я уверен, что проделанный им ребрендинг преуменьшает опасность ИИ и раздувает наивные перспективы его использования. Начав с обсуждения технологий, Курцвейл создал культурное движение с сильным привкусом религии. Мне кажется, что смешивать технический прогресс и религию - большая ошибка.
Представьте себе мир, где разница между человеком и машиной размывается, где граница между человечеством и техникой пропадает, где душа и кремниевый чип едины… Во вдохновенных руках [Курцвейла] жизнь в новом тысячелетии уже не кажется пугающей. Напротив, XXI век, по Курцвейлу, обещает стать эпохой, когда брак между человеческой сущностью и искусственным интеллектом фундаментально изменит и улучшит нашу жизнь.
Курцвейл - не просто крестный отец вопросов сингулярности, вежливый и упорный спорщик и неутомимый, хотя и несколько механистичный, пропагандист. Вокруг него собралось достаточно молодых людей, живущих на грани сингулярности. Как правило, сингуляритариям немного за тридцать, в основном они мужчины и они бездетны. По большей части это белые интеллектуалы, услышавшие зов сингулярности. Многие из них в ответ на этот зов бросили то, чем занимались, и отказались от карьеры, которую могли бы одобрить их родители, в пользу почти монашеской жизни, посвященной вопросам сингулярности, - и горды этим. Среди них много самоучек, отчасти благодаря тому, что ни одна университетская программа не предлагает специализации одновременно в компьютерных науках, этике, биоинжиниринге, нейробиологии, психологии и философии, - короче говоря, в науках, имеющих отношение к сингулярности. Курцвейл - один из основателей Университета сингулярности, который не аккредитован и не присваивает степеней. Однако обещает "широкое кросс-дисциплинарное представление о крупнейших идеях и вопросах трансформационных технологий". К тому же многие сингуляритарии слишком умны и самостоятельны, чтобы вписаться в традиционную систему образования. Да и мозги у них устроены так, что мало какой колледж или университет захотел бы иметь их в своем кампусе.
Некоторые сингуляритарии избрали главным догматом своей веры рациональность. Они считают, что повышение интеллекта и логических способностей людей, в первую очередь тех, кто завтра будет принимать решения, понижает вероятность того, что все мы совершим самоубийство посредством ИИ. Наш мозг, утверждают они, полон странных предрассудков и эвристических механизмов, которые очень пригодились нам в ходе эволюции, но которые при столкновении с комплексными рисками и выборами современного мира навлекают на нас одни лишь беды. При этом главный объект их внимания - не негативная катастрофическая, а благотворная позитивная сингулярность. В ней мы сможем воспользоваться технологиями продления жизни, которые позволят нам жить и жить без конца, вероятно, уже в механической, а не в биологической форме. Иными словами, очисти себя от неверных мыслей - и найдешь спасение от мира плоти, и откроешь жизнь вечную.
Неудивительно, что движение сингулярности часто называют "Блаженство чокнутых" (Rapture of the Geeks) - как движение оно имеет все отличительные особенности апокалиптической религии, включая ритуалы очищения, отказ от бренного человеческого тела, предвкушение вечной жизни и неоспоримого (в некоторой степени) харизматического лидера. Я всей душой согласен с идеей сингуляритариев о том, что ИИ - самое важное, о чем нужно размышлять в настоящий момент. Но когда дело доходит до разговоров о бессмертии, я пасую. Мечты о вечной жизни сильно искажают окружающее. Слишком многие сингуляритарии верят, что интенсивное взаимопроникновение технологий не приведет к катастрофам, которых мы могли бы ожидать от каждой из них в отдельности, или к комплексным катастрофам, которые мы тоже могли бы предвидеть, но даст вместо этого совершенно противоположный результат. Оно спасет человечество от того, чего мы больше всего боимся. От смерти.