"Что действительно тревожит, так это идеи, которые Stuxnet подарил хакерам, - сказал Лангнер. - Прежде атаку такого типа могли осуществить, скажем, лишь пять человек. Теперь их скорее пятьсот, и каждый может это сделать. Необходимая квалификация и уровень, нужный для подобных вещей, существенно снизились, просто потому что многое можно скопировать из Stuxnet".
Если верить The New York Times, Stuxnet вырвался на свободу потому, что после первых успехов в уничтожении иранских центрифуг его создатели расслабились.
…удача была недолгой. Летом 2010 г., вскоре после отправки в Натанз нового варианта червя, стало ясно, что червь, который, по идее, не должен был покидать машины Натанза, вырвался на свободу, как животное из зоопарка, которому повезло найти ключи от клетки… Ошибка в коде, говорят, привела к тому, что вирус проник в компьютер одного из инженеров, когда тот подключился к центрифугам. Когда же инженер покинул Натанз и подключил компьютер к Интернету, американо-израильский вирус не смог понять, что окружающая его среда изменилась. Он начал распространять свои копии по всему миру. Внезапно программа оказалась в поле зрения всех заинтересованных лиц, хотя ее назначение поначалу было неясным, по крайней мере для обычных пользователей.
Дело не только в том, что ошибка программистов привела к инциденту с серьезными последствиями для национальной безопасности. Это практически пробный прогон сценария Busy
Child, и люди, которые работают в высших кругах правительства, обладающие самым высоким допуском и величайшей технической компетенцией, позорно его провалили. Мы не знаем, к каким последствиям приведет попадание этой мощной технологии в руки наших врагов. Насколько серьезны будут эти последствия? Для начала это может быть атака на элементы энергосистемы США. Кроме того, атаки на атомные электростанции, места хранения ядерных отходов, химические заводы, поезда и авиалинии. Короче говоря, все достаточно плохо. Очень важно, как отреагирует на события Белый дом и какие планы он будет строить. Я опасаюсь, что, хотя Белый дом должен был бы укреплять системы, которые Stuxnet сделал более уязвимыми, ничего конструктивного в настоящий момент не происходит.
Кстати говоря, репортер Times намекает, что вирус разумен. Ведь он обвиняет Stuxnet в когнитивной ошибке: вирус "не смог понять", что находится уже не в Натанзе. Чуть позже в том же материале вице-президент Джо Байден обвиняет израильтян в ошибке в программе. Конечно, обвинить есть в чем. Но столь безрассудное и неуместное использование интеллектуальной технологии, с одной стороны, ошеломляет, а с другой - вполне предсказуемо. Stuxnet - просто первая в серии "аварий", с которыми мы не сможем справиться без тщательнейшей подготовки.
Если технари и специалисты-оборонщики, работающие в Белом доме и Агентстве национальной безопасности, не в состоянии контролировать узкоинтеллектуальную вредоносную программу, каковы шансы на то, что их коллеги смогут справиться с будущим УЧИ или ИСИ?
Никаких шансов.
Киберспециалисты проводят военные игры с кибератаками, составляют сценарии катастроф и пытаются таким образом учиться и искать решения. Они пользуются такими словами, как "кибервойна" и "ударная киберволна". Никогда, однако, участники военных игр не предполагали, что мы сами будем наносить себе ущерб, что неизбежно в двух случаях. Во-первых, как мы уже говорили, США участвовали в создании семейства Stuxnet, которое вполне может стать аналогом АК-47 в нескончаемой кибервойне: дешевое, надежное, массово производимое оружие. Во-вторых, я уверен, что ущерб от применения оружия уровня ИИ будет идти не только из-за рубежа, но и из собственного "дома".
Сравните долларовую стоимость террористических атак и финансовых скандалов. Нападение "Аль-Каиды" 11 сентября 2001 г. обошлось США приблизительно в $3,3 трлн, если учесть последовавшие войны в Афганистане и Ираке. Но даже если не считать эти войны, то непосредственный ущерб от физических разрушений, экономических последствий и раздутых расходов на безопасность составил почти $767 млрд. Скандал с субстандартным ипотечным кредитованием, вызвавший худший глобальный спад со времен Великой депрессии, стоил около $10 трлн в мировом масштабе и порядка $4 трлн в США. Скандал с компанией Enron стоил примерно $71 млрд, а мошенничество Верни Мэдоффа - почти столько же, $64,8 млрд.
Эти цифры показывают, что по денежной стоимости финансовое мошенничество может поспорить с самым страшным терактом в истории, а субстандартное ипотечное кредитование намного его обгоняет. Когда исследователи передадут продвинутый ИИ в руки бизнесменов (что непременно произойдет), эти люди внезапно окажутся обладателями самой мощной технологии из всех когда-либо созданных. Некоторые используют ее для нового мошенничества. Я считаю, что следующая кибера- така будет представлять собой "дружественный огонь", то есть будет исходить изнутри страны; при этом она будет разрушать инфраструктуру и убивать американцев.
Звучит неубедительно?
Enron - замешанную в скандале техасскую корпорацию - возглавляли Кеннет Лэй (ныне покойный), Джеффри Скил- линг и Эндрю Фастоу (оба нынче в тюрьме); занималась компания продажей электроэнергии. В 2000 и 2001 гг. трейдеры Enron подняли в Калифорнии цены на электроэнергию при помощи стратегий, известных как "Толстый мальчик" и "Звезда смерти". В одной схеме трейдеры повышали цены, втайне приказывая энергопроизводящим компаниям отключать станции. Второй план подвергал опасности жизни людей.
Enron обладал правами на жизненно важную линию электропередач, соединяющую Северную Калифорнию с Южной. В 2000 г., перегрузив линию потребителями во время летней жары, компания создала "фантомную", или ложную, сетевую перегрузку и "бутылочное горлышко" в доставке энергии к потребителю. Цены взлетели до небес, а электричество оказалось в серьезном дефиците. Калифорнийские чиновники подавали энергию в одни районы, одновременно погружая во мрак другие, - известная практика "веерных отключений". Эти отключения вроде бы не вызвали гибели людей, но испугали очень многих: целые семьи оказывались запертыми в лифте, а улицы освещались только фарами проезжающих авто. Apple, Cisco и другие корпорации вынуждены были временно закрыться с потерей миллионов долларов.
Но сам Enron заработал на этом миллионы. Было зафиксировано, как во время отключения электричества один трейдер сказал: "Просто отключи их. Вот идиоты! Им бы лучше вернуть чертовых лошадей и коляски, и чертовы лампы, чертовы керосиновые лампы".
Сегодня этот трейдер - энергетический брокер в Атланте. Но дело в том, что, если бы руководители Enron имели доступ к умному вредоносному ПО, которое могло бы помочь им оставить Калифорнию без электричества, как вы думаете, они постеснялись бы им воспользоваться? Я думаю, нет, даже если это означало бы ущерб для энергосистемы и гибель людей
Глава 16
УЧИ 2.0
Машины последуют по пути, который отражает эволюцию человека. В конечном итоге, однако, сознающие себя самосовершенствующиеся машины выйдут в своем развитии за пределы человеческих возможностей контролировать или хотя бы понимать их.
Рэй Курцвейл, изобретатель, писатель, футурист
В игре жизни и эволюции участвуют три игрока: люди, природа и машины. Я прочно стою на стороне природы. Но природа, я подозреваю, на стороне машин.
Джордж Дайсон, историк
Чем больше времени я провожу с разработчиками ИИ и результатами их трудов, тем все более убеждаюсь, что УЧИ появится совсем скоро. И я уверен, что, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект по всем тем причинам, которые я перечислил. Будет много шума о том, что мы создаем на планете новый вид. Это будет круто. Но не будет уже разговоров о том, что УЧИ - следующий эволюционный шаг для homo sapiens, и обо всем, что с этим связано. По существу, мы просто не сможем понять, что представляет собой наше создание.
В своей области новый вид будет столь же силен, как Watson в своей. Если даже он будет сосуществовать с нами в качестве нашего орудия, он обязательно запустит свои щупальца во все уголки нашей жизни так, как и не снилось Google и Facebook. Социальные сети могут оказаться для него инкубатором, или средством распространения, или тем и другим сразу. Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.
Это будет УЧИ версии 1.0. Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной - делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие.
Stuxnet тому - наглядный пример. Как и автономные дроны-убийцы. С финансированием DARPA ученые в Исследовательском институте Технологического университета Джорджии разработали программное обеспечение, позволяющее автоматическим транспортным средствам распознавать врагов при помощи программ зрительного распознавания и других средств, а затем наносить по ним смертельный удар при помощи вооруженного дрона. И все это вообще без участия человека. В статье, которую я читал об этом, была и фраза, призванная продемонстрировать благие намерения: "Авторизация машины на принятие смертельных боевых решений - дело политических и военных руководителей, решающих юридические и этические вопросы".
Это напоминает мне старый афоризм: "Был ли хоть один случай, когда оружие было изобретено, но не использовалось?" Быстрый поиск в Google выдал пугающий список вооруженных роботов, предназначенных для автономного убийства и нанесения ранений (один из них, изготовленный фирмой iRobot, орудует тазером), ожидающих только разрешения. Я уверен, что эти машины будут использованы задолго до того, как мы с вами об этом узнаем. Политики, расходующие общественные деньги, не сочтут необходимым заручиться нашим информированным согласием - точно так же, как не сделали этого перед тем, как запустить Stuxnet.
В ходе работы над этой книгой я просил ученых разговаривать человеческим языком, так чтобы было понятно даже непосвященным. Самые продвинутые из них так и делали, и я уверен, что это должно быть общим требованием в разговорах о рисках ИИ. На самом общем уровне эта тема не должна относиться к исключительной прерогативе технократов и мастеров риторики, хотя, читая в Сети материалы, посвященные ИИ, можно подумать, что именно так и обстоит дело. Дискуссия об ИИ не требует особого, "инсайдерского", словаря. Она требует только уверенности в том, что опасности и ловушки ИИ касаются всех нас.
Кроме того, я встречался с небольшим числом людей, среди которых были и ученые, которые так прочно убеждены в невозможности создания опасного ИИ, что вообще не хотели обсуждать эту идею. Но те, кто уходит от обсуждения этого вопроса, - из-за апатии ли, по лени или благодаря информированному убеждению, - не одиноки. Общество практически не в состоянии разобраться в этом вопросе и следить за угрозой, что ничуть не мешает медленному и неотвратимому развитию машинного интеллекта. Однако непонимание угрозы не отменяет того факта, что у нас будет всего один шанс наладить позитивное сосуществование с теми, чей интеллект превышает наш.
Издательство "Альпина нон-фикшн" представляет
Физика невозможного
Митио Каку, пер. с англ., 6-е изд., 2015, 456 с.
Еще совсем недавно нам трудно было даже вообразить сегодняшний мир привычных вещей. Какие самые смелые прогнозы писателей-фантастов и авторов фильмов о будущем имеют шанс сбыться у нас на глазах? На этот вопрос пытается ответить Митио Каку, американский физик японского происхождения и один из авторов теории струн. Из книги вы узнаете, что уже в XXI веке, возможно, будут реализованы силовые поля, невидимость, чтение мыслей, связь с внеземными цивилизациями и даже телепортация и межзвездные путешествия.
Физика будущего
Митио Каку, пер. с англ., 4-е изд., 2015, 584 с.
Кому, как не ученым-физикам, рассуждать о том, что будет представлять собой мир в 2100 году? Как одним усилием воли будут управляться компьютеры, как силой мысли человек сможет двигать предметы, как мы будем подключаться к мировому информационному полю? Возможно ли это? Оказывается, возможно и не такое. Искусственные органы; парящие в воздухе автомобили; невероятная продолжительность жизни и молодости - все эти чудеса не фантастика, а научно обоснованные прогнозы серьезных ученых, интервью с которыми обобщил в своей книге Митио Каку.
Гиперпространство
Научная одиссея через параллельные миры, дыры во времени и десятое измерение Митио Каку, пер. с англ., 2-е изд., 2015, 502 с.
Инстинкт говорит нам, что наш мир трехмерный. Исходя из этого представления, веками строились и научные гипотезы. По мнению выдающегося физика Митио Каку, это такой же предрассудок, каким было убеждение древних египтян в том, что Земля - плоская. Эта книга посвящена теории гиперпространства. Идея многомерности пространства вызывала скепсис, высмеивалась, но теперь признается многими авторитетными учеными. Значение этой теории заключается в том, что она способна объединять все известные физические феномены в поразительно простую конструкцию и привести ученых к так называемой теории всего. Однако серьезной и доступной литературы для неспециалистов почти нет. Этот пробел и восполняет Митио Каку, объясняя с научной точки зрения и происхождение Земли, и существование параллельных вселенных, и путешествия во времени, и многие другие кажущиеся фантастическими явления.
Будущее разума
Митио Каку, пер. с англ., 2015, 502 с.
Прямое мысленное общение с компьютером, телекинез, имплантация новых навыков непосредственно в мозг, видеозапись образов, воспоминаний и снов, телепатия, аватары и суррогаты как помощники человечества, экзоске- леты, управляемые мыслью, и искусственный интеллект. Это все наше недалекое будущее. В ближайшие десятилетия мы научимся форсировать свой интеллект при помощи генной терапии, лекарств и магнитных приборов. Наука в этом направлении развивается стремительно. Изменится характер работы и общения в социальных сетях, процесс обучения и в целом человеческое развитие. Будут побеждены многие неизлечимые болезни, мы станем другими. Готов ли наш разум к будущему? Что там его ждет? На эти вопросы, опираясь на последние исследования в области нейробиологии и физики, отвечает Митио Каку, футуролог, популяризатор науки и автор научно-популярных бестселлеров.
Мир, полный демонов
Наука - как свеча во тьме Карл Саган, пер. с англ., 2-е изд., 2015, 537 с.
"Мир, полный демонов" - последняя книга Карла Сагана, астронома, астрофизика и выдающегося популяризатора науки, вышедшая уже после его смерти. Эта книга, посвященная одной из его любимых тем - человеческому разуму и борьбе с псевдонаучной глупостью, - своего рода итог всей его работы. Мифы об Атлантиде и Лемурии, лица на Марсе и встречи с инопланетянами, магия и реинкарнация, ясновидение и снежный человек, креационизм и астрология - Саган последовательно и беспощадно разоблачает мифы, созданные невежеством, страхом и корыстью. Эта книга - манифест скептика, учебник здравого смысла и научного метода. Яркий, глубоко личный текст - не только битва с псевдонаукой, но и удивительная картина становления научного мировоззрения, величайших открытий и подвижников.
Будущее вещей
Как сказка и фантастика становятся реальностью
Дэвид Роуз, пер. с англ., 2015, 344 с.
Как развитие технологий повлияет на нашу жизнь? Какими станут наши гаджеты? Как всепроникающий Интернет преобразит предметный мир: от кошельков, зонтов и мусорных баков до автомобилей и медицинской аппаратуры? Воплотятся лив жизнь великие мечты человечества: всеведение, телепатия, неуязвимость, телепортация, бессмертие? Разработчик устройств, подключаемых к Интернету, Дэвид Роуз во многом по-своему отвечает на эти вопросы. И в профессии, и в этой книге он пытается уйти отлинейно- го продолжения образов сегодняшнего дня. Он настаивает на том, что волшебство и очарование должны быть не менее значимыми критериями при конструировании объектов, чем их утилитарность, и тогда мир сказок и фантастики войдет в нашу реальность.
Достучаться до небес
Научный взгляд на устройство Вселенной
Лиза Рэндалл, пер. с англ., 2014, 518 с.
Человечество стоит на пороге нового понимания мира и своего места во Вселенной - считает авторитетный американский ученый, профессор физики Гарвардского университета Лиза Рэндалл, и приглашает нас в увлекательное путешествие по просторам истории научных открытий. Особое место в книге отведено новейшим и самым значимым разработкам в физике элементарных частиц; обстоятельствам создания и принципам действия Большого адронного коллайдера, к которому приковано внимание всего мира; дискуссии между конкурирующими точками зрения на место человека в универсуме. Содержательный и вместе с тем доходчивый рассказ знакомит читателя со свежими научными идеями и достижениями, шаг за шагом приближающими человека к пониманию устройства мироздания.
Руководство астронавта по жизни на Земле
Чему научили меня 4000 часов на орбите
Кристофер Хэдфилд, пер. с англ., 2015, 324 с.