Можно сделать так, чтобы ИИ зависел от регулярного разрешения на отсрочку, исходящего от человека или комитета, или от другого ИИ, не способного совершенствовать себя и предназначенного исключительно для обеспечения безопасного развития самосовершенствующегося кандидата. Без регулярного "разрешения" апоптический ИИ быстро испустит дух.
Для Роя Стеррита из Университета Ольстера апоптические вычисления - защитное средство широкого профиля, и время его пришло.
Мы уже пытались доказать, что все компьютерные системы должны быть апоптическими, тем более что они встречаются все чаще и становятся все более вездесущими. Этот механизм должен охватывать все уровни взаимодействия с техникой, от данных до услуг, агентов и роботов. Помня недавние громкие скандалы с кредитными картами и пропажей персональных данных в организациях и правительственных учреждениях и не забывая о фантастических сценариях, которые сегодня обсуждаются уже как возможное будущее, запрограммированная смерть по умолчанию становится насущной необходимостью.
Мы стремительно приближаемся ко времени, когда новые автономные компьютерные системы и роботы перед внедрением должны будут проходить испытания, аналогичные этическим и клиническим испытаниям новых лекарств; новые исследования в области апоптиче- ских вычислений и апоптической связи, возможно, смогут гарантировать нам безопасность.
Недавно Омохундро начал разрабатывать проект, имеющий много общего с апоптическими системами. Разработка, получившая название "Строительные леса для безопасного ИИ", призывает к созданию "очень ограниченных, но все же мощных интеллектуальных систем", которые помогали бы в строительстве систем еще более мощных. Первая система помогла бы исследователям решить опасные проблемы в ходе создания более продвинутой системы и т. д. Безопасность первоначальной и последующих систем необходимо будет доказывать математически. Доказательство безопасности будет требоваться для каждой новой системы. А будучи безопасным, мощный ИИ сможет потом помогать в решении реальных практических задач. Омохундро пишет: "Имея инфраструктуру из надежных вычислительных устройств, мы затем работаем с ними, чтобы получить гарантированно безопасные устройства, способные физически воздействовать на реальный мир. Затем мы разрабатываем системы производства новых устройств, способных (доказано!) строить только устройства надежных классов".
Конечная цель - создать разумные устройства, достаточно мощные, чтобы справиться со всеми проблемами неподконтрольных ИСИ или создать "контролируемый мир, удовлетворяющий все же нашим потребностям в свободе и индивидуальности".
Бен Гертцель в качестве решения этой проблемы предлагает элегантную стратегию, не подсмотренную у природы и не заимствованную из инженерного дела. Вспомните, что в гертцелевой системе OpenCog ИИ первоначально "живет" в виртуальном мире. Не исключено, что такая архитектура может решить проблему "воплощения" разума при соблюдении некоторого уровня безопасности. Гертцеля, однако, заботит не безопасность, - он хочет сэкономить. Гораздо дешевле сделать так, чтобы ИИ исследовал и изучал виртуальный мир, чем снабжать его сенсорами и исполнительными устройствами и выпускать для обучения в реальный мир. Для этого потребовалось бы дорогостоящее роботизированное тело
Сможет ли когда-нибудь виртуальный мир обрести достаточную глубину, детальность и другие полезные качества, и Фонд Lifeboat, постоянно подчеркивают экзистенциальный риск ИИ. Они считают, что если существуют меньшие риски, то приоритет их ниже, чем возможность полной гибели человечества. Мы видели, что Курцвейл намекает на "аварии" меньшего масштаба, чем события 11 сентября; специалист по этике Уэндолл Уоллак, цитатой из которого начинается эта глава, тоже предвидит более скромные катастрофы. Я согласен с обеими сторонами - нас ждут и большие, и малые катастрофы. Но какого рода аварии, связанные с ИИ, наиболее вероятны на пути к созданию УЧИ? Напугают ли они нас достаточно, чтобы мы могли увидеть перспективы создания УЧИ в новом, более здравомыслящем свете?
Глава 15
Кибернетическая экосистема
Следующая война начнется в киберпространстве.
Генерал-лейтенант Кейт Александер, USCYBERCOM
Продаю -" ZeuS 1.2.5.1 "- Чистый
Продаю zeus вер. 1.2.5.1 за $250. Оплата только через Western Union. Дополнительная информация по запросу. Предоставляю также безопасный хостинг, домен для панели управления zeus. Могу помочь с установкой и настройкой ботнета zeus.
- Это не последняя версия, но работает отлично. Контакт: phpseller@xxxxx.com
Реклама вредоносной программы на www.opensc.ws
Первыми возможностями ИИ и продвинутого ИИ воспользуются спонсируемые государством частные хакеры; их целью будет кража информации, а результатом их действий - разрушения и гибель людей. Дело в том, что вредоносные компьютерные программы обретают все новые возможности, и уже сегодня их можно рассматривать как слабый ИИ. Как сказал мне Рэй Курцвейл, "существуют компьютерные вирусы, реально демонстрирующие ИИ. До сих пор мы не отстаем от них, но нет никакой гарантии, что не отстанем". А пока знания и опыт в области использования вредоносных программ становятся товаром. За деньги можно найти не только сам продукт, но и услуги по его настройке и обслуживанию. На то, чтобы найти в Сети приведенное выше рекламное объявление по поводу вредоносной программы Zeus, мне потребовалось меньше минуты.
Компания Symantec (ее девиз: безопасность в мире информационных технологий) начинала свое существование как ИИ- компания, но сегодня это крупнейший игрок в иммунной системе Интернета. Каждый год Symantec находит в сети около 280 млн новых вредоносных программ. Большую их часть автоматически создают специальные программы. Приложение от Symantec тоже действует автоматически: анализирует подозрительную программу, создает "заплатку" или блокирует и добавляет в "черный список". По данным Symantec, по количественным показателям вредоносное программное обеспечение уже несколько лет как обогнало полезное, и сегодня по крайней мере каждая десятая закачка из Сети содержит вредоносную программу.
Существует множество видов вредоносных программ, но у всех у них - будь то червь, вирус, программа-шпион, руткит или троянец, - общая изначальная цель: они созданы для того, чтобы использовать компьютер без согласия владельца. Они готовы украсть все, что в нем находится, - номера кредиток или социальных карт, интеллектуальную собственность - и оборудовать лазейку для дальнейшего использования. Если зараженный компьютер подключен к сети, они могут устроить набег и на связанные с ним компьютеры. Кроме того, они могут поработить сам компьютер и сделать его частью ботнета, или сети роботов.
Ботнет (управляемый, естественно, "хозяином") нередко включает в себя миллионы компьютеров. Каждый компьютер заражен вредоносной программой, пробравшейся в него, когда пользователь получил зараженное письмо, посетил зараженный сайт или подключился к зараженной сети или устройству хранения информации. (Известен случай, когда изобретательный хакер разбросал зараженные флешки на парковке военного подрядчика. Уже через час его троянец был установлен на серверах копании.) Преступники, занимаясь вымогательством и кражами, используют суммарную вычислительную мощность ботнета как виртуальный суперкомпьютер. Ботнеты вламываются во внутренние сети компаний, крадут номера кредиток и препятствуют обнаружению атаки.
Консорциум хакеров, называющий себя Anonymous, вершит при помощи ботнетов собственную версию справедливости. Помимо блокирования сайтов министерства юстиции США, ФБР и Bank of America за будто бы совершенные преступления Anonymous организовал атаку на Ватикан за старые грехи - сжигание книг, и за более свежие - защиту педофилов.
Ботнеты заставляют подчиненные компьютеры рассылать спам, а иногда "нажимают" на клавиши и крадут рекламные деньги, выплачиваемые за вход на рекламный сайт. Будучи включенным в такую сеть, вы можете даже не подозревать об этом, особенно если на вашем компьютере установлена устаревшая и глючная операционная система. В 2011 г. число жертв ботнетов выросло на 654 %. Если в 2007 г. кража информации с компьютеров при помощи ботнетов или просто вредоносных программ имела многомиллионные масштабы, то к 2010 г. это была уже триллионная индустрия. Киберпреступления стали более выгодным нелегальным бизнесом, чем торговля наркотиками.
Вспомните эти цифры в следующий раз, когда подумаете: неужели найдутся люди, достаточно безумные или алчные, чтобы создавать вредоносный ИИ или приобретать его и использовать, когда он появится? Однако безумие и алчность сами по себе - не причина всплеска киберпреступлений. Киберпреступность - это информационные технологии, развивающиеся по закону прогрессирующей отдачи. И, как любые информационные технологии, киберпреступность подчиняется законам рынка и питается инновациями.
Одна из важнейших для киберпреступности новинок - облачные вычисления, сравнительно новая информационная услуга, когда вычислительные мощности продаются не как товар, а как услуга. Как мы уже говорили, облачный сервис, который предлагают Amazon, Rackspace, Google и другие компании, позволяет пользователям арендовать процессоры, операционные системы и дисковое пространство на почасовой основе, через Интернет. Пользователи могут объединить в единую систему столько процессоров, сколько нужно для их проекта (в разумных пределах), не привлекая излишнего внимания. Облака дают любому обладателю кредитки доступ к виртуальному суперкомпьютеру. Облачные вычисления стартовали очень успешно; ожидается, что в 2015 г. они будут приносить доход $55 млрд по всему миру. Однако нельзя не заметить, что они создали новые инструменты для мошенников.
В 2009 г. преступная сеть использовала сервис Elastic Cloud Computing (ЕС2) компании Amazon в качестве командного центра для Zeus - одного из крупнейших ботнетов в истории. Zeus украл у клиентов различных корпораций, включая Amazon, Bank of America и таких гигантов в области защиты от вредоносного ПО, как Symantec и McAfee, около $70 млн.
Кто полностью защищен от хакеров? Никто. Даже в том маловероятном случае, если вы не пользуетесь ни компьютером, ни смартфоном, вы не можете считать себя в безопасности.
Так сказал мне Уильям Линн, бывший первый заместитель министра обороны США. Будучи вторым человеком в Пентагоне, он разрабатывал нынешнюю политику кибербезопасности министерства обороны. Линн занимал свой пост как раз до той недели, когда я встретился с ним в его доме в Вирджинии, недалеко от Пентагона. Он планировал вернуться в частный сектор и, пока мы с ним беседовали, прощался с некоторыми атрибутами прежней работы. Сначала люди с выправкой, выдававшей в них военных, приехали за гигантским металлическим сейфом, который министерство установило в его подвале, чтобы обезопасить секретные материалы во время работы дома. Было много грохота и кряхтения, но в конце концов сейф сдался. После этого они вернулись за защищенной компьютерной сетью, установленной на чердаке. Позже Линн собирался попрощаться с подразделением службы безопасности, занимавшим дом напротив четыре последних года.
Линн - высокий приветливый мужчина пятидесяти с чем-то лет. В его слегка простонародном говоре слышны то мягкие, то железные нотки, что очень помогало ему на постах главного лоббиста оружейной компании Raytheon и главного инспектора Пентагона. Он сказал, что приданные ему правительством охранники и водитель стали для него почти семьей, но что он с нетерпением ждет возвращения к нормальной гражданской жизни.
"Мои дети говорят друзьям, что папа не умеет водить машину", - усмехнулся он.
Я читал труды Линна и его выступления по вопросу национальной киберобороны и знал, что он заставил министерство обороны разработать защиту от кибератак. Я приехал к нему, потому что меня интересовали вопросы национальной безопасности и гонки кибервооружений. Моя гипотеза не представляет собой ничего революционного: когда ИИ появится, он будет использован в киберпреступлениях. Или, формулируя иначе, инструментарий киберпреступника будет очень похож на слабый ИИ. В некоторых случаях это и сегодня так. Так что на пути к УЧИ нас ждут неизбежные аварии. Какого рода? Когда умные инструменты оказываются в руках хакеров, насколько плохого результата следует ждать?
"Ну, мне кажется, что самое страшное - это инфраструктура страны, - сказал Линн. - Хуже всего, если какая-то страна или какая-то группа решит атаковать критическую часть инфраструктуры страны через компьютеры; речь идет об энергосистеме, транспортной сети и финансовом секторе.
Разумеется, это может привести к гибели людей и нанести громадный вред экономике. В этом случае можно, по существу, поставить под угрозу механизмы функционирования нашего общества".
Невозможно жить в городе и не знать ничего о хрупкой инфраструктуре жизнеобеспечения, в первую очередь об энергосистеме. Но как случилось, что эта инфраструктура стала объектом такой асимметричной угрозы, где действия нескольких злодеев с компьютерами способны убить множество невинных людей и нанести громадный ущерб экономике? Линн ответил так же, как когда-то ответил Джо Маццафро, бывший офицер морской контрразведки и киберищейка фирмы Oracle. Кибератаки так ошеломляют и дестабилизируют, потому что "Интернет разрабатывали, не думая о безопасности".
Из этой банальности следует несколько достаточно сложных выводов. Когда Интернет в 1980-е гг. стал доступен широкой общественности, никто не предвидел, что на нем поднимется индустрия воровства и что придется тратить миллиарды долларов на борьбу с ней. Из-за такой наивности, сказал Линн, "нападающий всегда имеет громадное преимущество. Структурно это выглядит так, что нападающему достаточно, чтобы успешной оказалась одна из тысячи атак. Для защиты необходимо добиваться успеха каждый раз. Возможности не равны".
Ключ - в особенностях программ. Линн указал, что если лучший антивирус от Symantec имеет размер от пятисот до тысячи мегабайт, что соответствует миллионам строк программного кода, то средняя вредоносная программа содержит всего лишь 150 строк. Так что игра только в обороне - путь к поражению.
Вместо этого Линн предложил начать выравнивание возможностей путем повышения стоимости кибератаки. Один из способов - установление авторства. Министерство обороны определило, что крупные вторжения и кражи - дело рук государств, а не отдельных людей и даже не групп. Удалось определить, кто конкретно чем занимается. Линн не стал называть имен, но я и раньше знал, что Россия и Китай содержат организованные киберпреступные группы, в которых работают государственные служащие, и достаточное число "внешних" банд, чтобы можно было все отрицать. В серьезной атаке 2009 г., получившей название "Аврора", хакеры вломились в компьютеры примерно двадцати американских компаний, включая Google и такие гиганты оборонной промышленности, как Northrup Grumman и Lockheed Martin, и получили доступ к полным библиотекам внутренних данных и интеллектуальной собственности. Google обнаружил, что следы нападения ведут к Народно-освободительной армии Китая.
Symantec утверждает, что на Китае лежит ответственность за 30 % всех направленных атак вредоносных программ; большая их часть, в целом около 21,3 %, исходит из Шаосина, что делает этот город мировой столицей вредоносного программного обеспечения. Скотт Борг, директор U. S. Cyber-Consequences Unit - мозгового центра со штаб-квартирой в Вашингтоне, - исследовал и задокументировал китайские атаки на корпорации и правительство США на протяжении последних десяти лет. Поищите, к примеру, информацию о кампаниях киберпре- ступности с такими экзотическими названиями, как Titan Rain или Byzantine Hades. Борг утверждает, что Китай "все больше полагается на крупномасштабное информационное воровство. Это означает, что кибератаки стали основной частью китайской стратегии национального развития и обороны". Иными словами, киберкражи помогают поддерживать экономику Китая, обеспечивая его одновременно новым стратегическим вооружением. Зачем тратить $300 млрд на программу разработки унифицированного ударного истребителя следующего поколения, как сделал Пентагон, заключив самый дорогой контракт в истории, если можно просто украсть чертежи? Кража военных технологий не представляет собой ничего нового для военных соперников США. Как отмечалось в главе 14, бывший
Советский Союз не разрабатывал атомную бомбу, а просто украл у США чертежи.
Если говорить об искусственном интеллекте, то зачем рисковать живыми шпионами и дипломатическими отношениями, когда хорошо написанная вредоносная программа способна добиться большего? С 2007 по 2009 г. на министерства обороны, иностранных дел, внутренней безопасности и торговли США совершалось в среднем по 47 000 атак в год. Главным их виновником был Китай, но он, разумеется, был не одинок.
"В настоящий момент больше сотни иностранных разведывательных организаций пытаются проникнуть в цифровые сети, обеспечивающие проведение военных операций США, - сказал Линн. - На месте государств я бы не стал ручаться головой за то, что мы не сможем определить, кто это делает. Это было бы неразумно, а люди обычно умнеют, когда речь заходит об их собственном существовании".
Эта не слишком сильно замаскированная угроза напоминает о еще одной мере, которую протолкнул Линн, - считать Интернет новым театром военных действий, наряду с сушей, морем и воздухом. Это означает, что если киберкампания нанесет достаточный ущерб американскому народу, инфраструктуре или экономике, то министерство обороны США применит в ответ традиционное вооружение и тактику. В журнале Foreign Affairs Линн писал: "Соединенные Штаты оставляют за собой право по законам вооруженного конфликта отвечать на серьезные кибератаки уместными, пропорциональными и оправданными военными средствами".