Глава 8
Точка невозврата
Но если технологическая сингулярность может наступить, она наступит. Даже если бы все правительства мира осознали "угрозу" и смертельно ее испугались, прогресс в этом направлении продолжался бы. Более того, конкурентное преимущество - экономическое, военное, даже художественное - каждого нового достижения автоматизации настолько наглядно, что принятие законов или установление традиций, запрещающих подобные вещи, попросту гарантирует, что это сделает кто-то другой.
Вернор Виндж. Приближающаяся технологическая сингулярность (1993)
Не правда ли, приведенная цитата очень напоминает отрывок из автобиографии Гуда? Как и Гуд, дважды лауреат премии Хьюго писатель-фантаст и профессор математики Вернор Виндж говорит о том, что человеку свойственно искать неприятности на свою голову. Виндж сказал мне, что не читал собственноручно написанной Гудом биографии и не знал о том, что в конце жизни тот изменил свое отношение к интеллектуальному взрыву. Знали об этом, вероятно, только сам Гуд и Лесли Пендлтон.
Вернор Виндж был первым человеком, кто формально употребил слово "сингулярность" при описании технологического будущего; сделал он это в 1993 г. в обращении к NASA, озаглавленном "Приближающаяся технологическая сингулярность". Математик Станислав Улам сообщил, что они с энциклопедистом Джоном фон Ньюманом использовали термин "сингулярность" в разговоре о технологических переменах еще за тридцать пять лет до этого, в 1958 г. Но Виндж сделал это публично и демонстративно - и мяч сингулярности покатился прямо в руки Рэя Курцвейла и того, что сегодня стало движением сингулярности.
Но почему же Виндж, обладая таким имиджем, не ездит по стране с лекциями и конференциями как главный эксперт по сингулярности?
Ну, у слова "сингулярность" несколько значений, и Виндж использует его в более узком смысле, чем многие другие. Определяя сингулярность, он провел аналогию с точкой на орбите черной дыры, дальше которой свет с ее поверхности пройти не может. Невозможно увидеть, что происходит за этой точкой, известной как горизонт событий. Точно так же, если нам придется делить планету с сущностями разумнее нас, пути назад не будет - мы не в состоянии предсказать, что произойдет в подобном случае. Чтобы судить об этом, нужно обладать, по крайней мере, равным интеллектом.
Таким образом, если вы не можете знать, как будет развиваться будущее, то как вы можете писать об этом? Виндж не сочиняет околонаучных фантазий - он пишет то, что называют твердой научной фантастикой, используя в своих произведениях данные реальной науки. Сингулярность лишает его надежной опоры.
Это проблема, с которой мы сталкиваемся всякий раз, когда говорим о создании разума более высокого, чем наш собственный. Когда это произойдет, человеческая история достигнет своего рода точки сингулярности - места, где экстраполяции теряют смысл и где не обойтись без введения новых моделей, - и мир выйдет за пределы нашего понимания.
Виндж рассказывал, что когда в 1960-е он начинал писать научную фантастику, мир, основанный на будущих достижениях науки, о которых он писал, отстоял от него на сорок или пятьдесят лет. Однако к 1990-м гг. будущее уже стремительно приближалось, и скорость технических перемен, казалось, все росла. Виндж уже не мог предугадать, что принесет человечеству будущее, поскольку считал, что очень скоро в мире появится разум, превосходящий человеческий. Именно этот, а не наш разум будет определять скорость технического прогресса. Виндж, как и другие фантасты, не мог писать об этом.
На протяжении 1960-х, 70-х и 80-х годов понимание надвигающегося катаклизма ширилось. Возможно, первыми его приближение почувствовали писатели-фантасты. В конце концов, именно "твердые" фантасты стараются описывать конкретные последствия всего, что может сделать с нами технический прогресс. Именно они все больше и больше чувствовали эту непрозрачную стену, отгородившую нас от будущего.
Исследователь ИИ Бен Гертцель сказал мне:
Вернор Виндж очень ясно видел принципиальную непознаваемость ИИ, когда предлагал концепцию технологической сингулярности. Именно поэтому он не ездит по миру с лекциями о ней; он просто не знает, что сказать. Что он может сказать? "Да, я считаю, что мы вот-вот создадим технологии, которые будут намного умнее человека, и после этого кто знает, что произойдет?"
Но как же в этом случае приручение огня, появление земледелия, печатный станок и электричество? Разве человечество не пережило до сих пор множество технологических сингулярностей? В разрушительных технических новинках нет ничего нового, но никто не придумывал для каждой из них красивого имени и не пугал ими окружающих. Моя бабушка родилась еще до широкого распространения автомобилей, но дожила до первых шагов Нила Армстронга по Луне. Она считала, что все это называется XX век. Что же делает переход, о котором говорит Виндж, таким особым?
"Секретный компонент - разум, - сказал мне Виндж. В его стремительном тенорке то и дело звучал смех. - Разум делает его другим, а определяющая рабочая черта этого перехода в том и заключается, что человек не может ничего знать заранее. Мы теперь находимся в такой ситуации, что очень-очень скоро, всего через несколько десятилетий, начнутся трансформации, которые будут иметь, как в древности, большое биологическое значение".
В эту концепцию укладываются две важные идеи. Во-первых, технологическая сингулярность изменит сам разум - единственную суперсилу человека, которая, собственно, и создает технологии. Вот почему эта революция будет отличаться от любой другой. Во-вторых, биологическая трансформация, на которую намекает Виндж, произошла двести тысяч лет назад, когда человечество захватило лидерство на мировой арене. Homo sapiens начал доминировать на планете, поскольку был умнее любого другого биологического вида. Точно так же разум, в тысячу или миллион раз превосходящий человеческий в интеллектуальном отношении, навсегда изменит правила игры. Что же тогда произойдет с нами?
Этот вопрос вызвал у Винджа взрыв смеха.
Если на меня уж очень наседают с вопросами о том, на что будет похожа сингулярность, то чаще всего я говорю: а почему, как вы думаете, я назвал это сингулярностью?
Но по поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод - сингулярность несет угрозу и может привести к гибели человечества. Писатель, процитировав в речи 1993 г. целиком абзац из статьи Гуда 1967 г. об интеллектуальном взрыве, указал, что знаменитый статистик не так далеко зашел в своих выводах:
Гуд ухватил суть процесса (неуправляемого роста мощности ИИ), но не стал рассматривать его самые тревожные следствия. Любая разумная машина того типа, о котором он пишет, станет "инструментом" человечества не больше, чем само человечество является инструментом кроликов, или зябликов, или шимпанзе.
Вот еще одна уместная аналогия - кролики для людей то же, что люди для сверхразумных машин. А как мы относимся к кроликам? Как к вредителям или как к потенциальному обеду, в лучшем случае - как к домашним любимцам. ИСИ-агенты поначалу будут нашими инструментами - как нашими инструментами являются сегодня их предки Google, Siri и Watson. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них - разум, берущий начало от Интернета (от Интернета вместе с пользователями - этакая цифровая Гея), от человеко-машинных интерфейсов или биологических наук (через повышение интеллекта будущих поколений при помощи манипуляций с генами).
В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества - голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют "сингуляритарии". Сингуляритарии - это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их "сингулярность" представляется слишком благодушной.
Ставки в нашей игре чрезвычайно высоки, и положительная сторона ее так оптимистична, что это само по себе производит пугающее впечатление. Ветры мировой экономики - необычайно могущественная сила - связаны с достижениями ИИ. Сотни тысяч людей в мире, очень умных людей, работают над вещами, которые должны привести к созданию сверхчеловеческого разума. Вероятно, большинство из них не рассматривает свою работу в таком ключе. Они просто хотят сделать быстрее, дешевле, лучше, выгоднее.
Виндж сравнивает все это со стратегией времен холодной войны, известной как MAD (mutual assured destruction - взаимно гарантированное уничтожение). Термин этот был пущен в оборот любителем аббревиатур Джоном фон Ньюманом (он также был создателем одного из первых компьютеров с говорящим именем MANIAC), а сама стратегия помогала сохранить мир благодаря угрозе взаимного уничтожения сторон. Подобно MAD, искусственный интеллект может похвастать тем, что множество исследователей тайно трудятся над развитием технологий, потенциально грозящих катастрофой. Но это - взаимно гарантированное уничтожение без всяких тормозов, обусловленных здравым смыслом. Никто не может знать, кто на самом деле идет впереди в этой гонке, и каждый считает, что впереди кто-то другой. Но, как мы видели, победитель не сможет забрать все. Победитель в гонке за создание ИИ получит лишь сомнительную привилегию первым столкнуться с суперинтеллектом "лицом к лицу" или попробовать выжить в ситуации, очень напоминающей сценарий Busy Child.
"Мы имеем сегодня тысячи хороших людей, которые работают по всему миру, пытаясь совместными усилиями приблизить катастрофу, - сказал Виндж. - А двигаться вперед по ландшафту угроз очень сложно. Мы тратим недостаточно сил на раздумья о том, что будет, если нас постигнет неудача".
Другие сценарии, которые тоже тревожат Винджа, также заслуживают внимания. Цифровая Гея, или брак между людьми и компьютерами, уже формируется в Интернете. Что это будет означать для нашего будущего - глубокий и важный вопрос, заслуживающий, чтобы о нем написали гораздо больше книг, чем пишется сейчас. УИ, или искусственное усиление интеллекта, имеет равный с обычным ИИ катастрофический потенциал, немного смягченный (по крайней мере поначалу) участием человека. Но это преимущество быстро исчезнет. Позже мы поговорим об УИ подробнее. А сначала я хочу обратить ваше внимание на замечание Винджа о том, что разум может вырасти из Интернета.
Техномыслители, в том числе Джордж Дайсон и Кевин Келли, выдвинули предположение о том, что информация - это форма жизни. Компьютерная программа, несущая информацию, воспроизводит себя и растет по биологическим законам. Но разум… нет, разум - это совсем не то. Разум присущ лишь сложным организмам и не возникает случайно.
Будучи в гостях у Елиазера Юдковски в Калифорнии, я задал вопрос, может ли интеллект, хотя бы в принципе, родиться в результате экспоненциального роста инфраструктуры Интернета из содержащихся в нем 5 трлн мегабайт данных, из более чем 7 млрд связанных между собой компьютеров и смартфонов и 75 млн серверов. Юдковски поморщился, как будто на клетки его мозга внезапно попал кислый раствор.
"Категорически нет, - сказал он. - Потребовались миллиарды лет эволюции, чтобы появился разум. Интеллект не может народиться просто из сложности жизни. Автоматически такое не происходит. Оптимизация происходит через естественный отбор под внешним давлением".
Иными словами, интеллект не возникает просто из сложности как таковой. Кроме того, Интернету недостает давления среды, которое в природе сохраняет одни мутации и отбраковывает другие.
"Я люблю говорить, что весь Млечный Путь за пределами Земли, вероятно, устроен не так интересно, как одна земная бабочка, потому что бабочка прошла эволюцию, в процессе которой запоминались удачные решения, и развитие шло, отталкиваясь от них", - сказал Юдковски.
Я согласен с тем, что интеллект не в состоянии расцвести, спонтанно родившись из Интернета. Но я считаю, что агентное финансовое моделирование, возможно, очень скоро изменит саму Сеть.
Когда-то давным-давно аналитики Уолл-стрит, желая предсказать поведение рынка, обращались к серии правил, прописанных специалистами по макроэкономике. Эти правила учитывают такие факторы, как процентные ставки по кредитам, данные по безработице и строительству новых жилых домов. Все больше, однако, Уолл-стрит переходит на агентное финансовое моделирование. Эта новая наука способна моделировать весь фондовый рынок, и даже всю экономику, ради того чтобы повысить качество прогнозирования.
Для моделирования рынка исследователи строят компьютерные модели субъектов, занятых покупкой и продажей акций, - отдельных людей, фирм, банков, хедж-фондов и т. п. У каждого из тысяч таких "агентов" свои цели и правила принятия решений или стратегии покупки и продажи. На них, в свою очередь, влияют непрерывно меняющиеся рыночные данные. Эти агенты, реализованные на искусственных нейронных сетях и других методиках построения ИИ, "настраиваются", опираясь на реальную информацию. Действуя синхронно и "питаясь" текущими данными, агенты создают изменчивый портрет живого рынка.
Затем аналитики начинают испытывать сценарии торговли отдельными активами, и при помощи методов эволюционного программирования модель рынка может "шагнуть вперед" на день или на неделю, помогая представить, как будет выглядеть рынок в ближайшем будущем и какие он может обещать инвестиционные возможности. Такой подход "снизу вверх" к созданию финансовых моделей воплощает в себе идею о том, что простые правила поведения отдельных агентов порождают сложную картину общего поведения. Можно даже обобщить: что верно в отношении Уолл-стрит, верно и в отношении пчелиного улья или муравейника.
В суперкомпьютерах финансовых столиц мира начинают формироваться виртуальные миры, напитанные подробностями реального мира и населенные все более разумными "агентами". Чем точнее и подробнее прогноз, тем выше прибыли. Так что на повышение точности моделей на всех уровнях работают мощные экономические стимулы.
Но если полезно создавать цифровых агентов, реализующих сложные стратегии покупки биржевых активов, то разве не выгоднее создавать цифровые модели с полным спектром человеческих мотиваций и способностей? Почему бы не создать УЧИ или виртуальных агентов человеческого уровня разумности? Собственно, этим и занимается Уолл-стрит, но под другим названием - "агентные финансовые модели".
Рано или поздно финансовые рынки породят УЧИ, считает доктор Александер Уисснер-Гросс. Резюме Уисснер-Гросса таково, что остальным изобретателям, ученым и эрудитам остается только кусать локти. Он автор тринадцати книг, держатель шестнадцати патентов; его зачислили в МТИ с высшими баллами сразу на три направления (физика, инженерное дело и математика), а окончил он Инженерную школу МТИ первым на курсе. Он защитил степень доктора философии в Гарварде и получил немаленькую премию за свою диссертацию. Он основал и продал несколько компаний и, согласно его собственному резюме, получил "107 серьезных наград и знаков отличия" (вероятно, речь идет не о наградах типа "менеджер недели"). В настоящее время он работает в Гарварде, занимается исследованиями и пытается коммерциализировать свои идеи в области финансовой инженерии.
Так вот, он считает, что, пока блестящие теоретики всего мира соревнуются между собой, стремясь первыми создать УЧИ, он может появиться уже готовым и полностью сформированным на финансовых рынках как непредвиденное следствие создания вычислительных моделей большого числа людей. Кто будет его создателем? "Кванты" - так на Уолл-стрит называют компьютерщиков - специалистов по финансовой математике.
"Безусловно, возможно, что реальный живой искусственный интеллект человеческого уровня мог бы появиться на финансовых рынках, - сказал мне Уисснер-Гросс. - Не как результат одного-единственного алгоритма одного кванта, но как совокупность всех алгоритмов множества хедж-фондов. Для УЧИ, может быть, и не потребуется последовательная теория. Возможно, это будет совокупный феномен. Финансы имеют хороший шанс стать тем самым первичным бульоном, в котором зародится УЧИ".
Чтобы купиться на этот сценарий, необходимо верить, что создание все более совершенных финансовых моделей подпитывается большими деньгами. Это действительно так - как ни смешно, в эту сферу финансисты вкладывают больше денег, чем тратит кто бы то ни было на машинный интеллект, возможно, даже больше, чем DARPA, IBM и Google могут бросить на разработку УЧИ. Деньги превращаются в новые, более мощные суперкомпьютеры и лучших программистов. Уисснер-Гросс говорит, что "кванты" пользуются теми же инструментами, что и разработчики ИИ, - это нейронные сети, генетические алгоритмы, автоматическое чтение, скрытые марковские модели и все, что может прийти в голову. Каждый новый инструмент ИИ проходит испытание в горниле финансов.
"Стоит появиться новой методике ИИ, - рассказывал Уисснер-Гросс, - как сразу же задается вопрос: можно ли использовать это на фондовом рынке?"
А теперь представьте, что вы высокопоставленный "квант" и имеете в своем распоряжении достаточно средств, чтобы нанимать других специалистов и покупать оборудование. Хедж-фонд, на который вы работаете, имеет громадную модель Уоллстрит, населенную тысячами разнообразных экономических агентов. Ее алгоритмы взаимодействуют с алгоритмами других хедж-фондов - они так тесно связаны, что поднимаются и падают вместе и действуют как будто по предварительной договоренности. По словам Уисснер-Гросса, рыночные наблюдатели уже высказывали предположение о том, что некоторые алгоритмы, кажется, сигнализируют один другому и распространяют информацию по всей Уолл-стрит при помощи миллисекундных сделок, реализуемых с такой скоростью, какую не в состоянии отследить ни один человек (это тот самый высокочастотный трейдинг, о котором шла речь в главе 6).