Роботы – не исключение. Более того, они – самое яркое и опасное правило. Смертоносные роботы с вычислительным интеллектом – это уже не персонажи фантастических книг и блокбастеров. Они берутся на вооружение армиями, террористическими группировками и транснациональными преступными формированиями. Это реальность, в которой нам предстоит жить и от которой не уклониться. Поэтому лучше не погружаться в сладкий дурман пропагандистских опусов и публицистических агиток, а узнать информацию о реальном положении дел, что называется, из первоисточников.
В книге собраны тексты, опубликованные во второй половине 2014-го и в 2015 г. ведущей американской "фабрикой мысли" – Центром новой американской безопасности. В нем работает много бывших руководителей Пентагона, военачальников, высших чинов американской разведки, всемирно известных исследователей. Также в книге представлен доклад межуниверситетского коллектива в составе лучших специалистов из ведущих американских учебных заведений и научных центров, подготовленный по заданию властей США. Также в книге представлены и другие актуальные тексты о боевых роботах и о применении роботов террористическими и преступными группировками.
Материалы, которые приводятся в данной книге, показывают, насколько реальность уже превзошла все фантазии. Это касается и боевых дро-нов, и новых автоматизированных систем ведения войны, и роботов в компьютерных сетях. Уже сейчас роботы массово убивают людей. Еще одна опасная тенденция – применение роботов в преступных целях террористами, мафиозными организациями. Звучащие призывы правозащитников и парламентариев разного уровня о внесении запретов на производство и применение роботов в боевых целях тонут в вале сообщений о разработке все новых и новых автоматизированных систем вооружения. К сожалению, каскад военных конфликтов, охвативших все континенты, не даст возможности сдержать разработку и применение боевых роботов. Надо быть реалистами в оценке ситуации. Перефразируя одного известного исторического деятеля: если мы не хотим оказаться жертвами чужих роботов, необходимо научиться конструировать и производить свои, лучшие и эффективные.
Введение в военные автономные системы. Центр Новой Американской Безопасности 2015 г. Извлечения из доклада
За последние несколько лет мы стали свидетелями подлинного взрыва в исследованиях, разработках и практическом применении автономных военных систем. Наряду с исследователями, конструкторами и технологами, программистами и разработчиками, кадровыми военными и экспертами в области национальной безопасности, эту тему активно обсуждают гражданские активисты, юристы, политологи, философы и специалисты по этике.
На фоне дискуссий важно понимать, что многие уже стоящие на вооружении боевые системы включают в себя элементы автономии. Часто встречающиеся в дискуссиях аргументы о том, что автономия – дело будущего, и можно предписывать разработчикам, конструкторам и технологам различного рода, в том числе этические, ограничения при развитии вооружений, не выдерживают столкновения с практикой. Уже существующие виды вооружений и методы ведения военных действий включают в себя фактор автономии. Уже поздно рассуждать на тему, хороша или плоха автономность боевых систем по отношению к человеку, допустима ли она по этическим и моральным критериям или нет. Автономность уже состоялась.
Автономность широко используется при решении военных задач, в том числе связанных с использованием боевого, латентного оружия. К числу военных задач, где наиболее широко используются автономные системы, относятся разведка, навигация, автоматические системы огня, системы маневрирования и самонаведения на цели, системы отложенного удаленного применения неподвижного (мины) или подвижного оружия и т. п.
По имеющимся сведениям в настоящее время автономные робототехнические системы (АРС) в военном деле используются в той или иной мере 30 государствами и несколькими негосударственными акторами. В подавляющем большинстве случаев АРС используются в качестве средств разведки, логистики, транспорта, автоматизированной доставки вооружений (самонаводящиеся ракеты) и т. п. Менее распространены Боевые Автономные Роботизированные Системы (БАРС), которые предусматривают автономное принятие решений об использовании огневой мощи или других типов поражающего оружия.
В настоящее время не существует согласованного на международном уровне, а тем более юридически обязывающего определения Автономного Оружия (АО), АРС и БАРС. Министерство обороны США, Международный Комитет Красного Креста, ООН и ее специализированные структуры используют достаточно близкие определения. Однако они далеки не только от юридически обязывающей формы, но даже и от терминологической стандартизации и четкости.
Еще более неопределенное значение АО придают различного рода активисты, выступающие за запрет "роботов-убийц". Этот термин они используют для обозначения АО. Причем под данную терминологию попадают у активистов практически все виды роботов, включая гражданских. Эти люди, как их предки несколько веков назад – луддиты, пытаются остановить технический прогресс, не допустить появления каких-либо роботов, которые могут быть использованы на производстве, в быту или в военных целях.
Отсутствие ясности и четкости в терминологии и общественном восприятии усугубляется тем, что некоторые политические и общественные силы призывают к юридически обязывающему внутреннему и международному регулированию или запрещению не только АО, но и АРС, не говоря уже о БАРС, еще до того, как будут приняты стандартные определения этих систем. Поэтому, прежде чем продвигаться вперед по юридическим и регулятивным тропам, необходимо на старте договориться, по крайней мере, о единой базовой терминологии.
Это достаточно сложная задача. Сегодня имеется не слишком много очевидных, бесспорных, ясных даже неспециалисту примеров АО, АРС и БАРС. Различного рода активисты и многие политические силы в своих предложениях опираются не на фактическое положение дел, а на свои прогнозы относительно будущего автономного оружия. Именно в будущем они черпают аргументы для запрета АО. Это требование проистекает из основной тенденции развития техники вообще, и робототехники в частности, предусматривающей постоянное увеличение автоматизации и все большее исключение человека из всех процессов функционирования техники, включая и принятие решений.
Предлагается, вместо того, чтобы оперировать примерами из фантастических романов и фильмов, тщательно проанализировать природу автономности и уже имеющиеся образцы АО, АРС, и на этой основе попытаться выработать стандартные определения.
Начать надо с ответа на три ключевых вопроса:
• Что такое автономия?
• Как автономия используется в оружии сегодня?
• Что такое АО?
Представленный материал не рассматривает подробно правовые, этические и политические вопросы, возникающие относительно оружия будущего. Цель материала иная – сформировать общепринятое понимание АО, АРС и БАРС, проанализировать, как автономность используется в уже имеющихся типах вооружений и в тех разработках, которые проводятся в настоящее время и в ближайшем будущем превратятся в оружие, включенное в арсенал вооруженных сил Соединенных Штатов.
Данный материал является итогом первого этапа работ в рамках проекта Американского Центра Новой Безопасности "Этика автономии". Мы надеемся, что он поможет всем размышляющим и пишущим на тему АО, АРС и БАРС использовать общую терминологию и видение. Мы также особо хотели подчеркнуть, что, хотя подавляющая часть автономных систем имеет отношение к робототехнике, строго говоря, автономные системы могут быть реализованы и помимо робототехники в электромагнитной среде при помощи программных средств, в том числе боевых компьютерных программ, вирусов и других форм небиологических активных систем.
Что такое автономность?
В настоящее время термин "автономность" разные исследователи используют по-разному. Его применение различается не только по странам, но и по дисциплинам, и даже отдельным исследователям. Особое разнообразие наблюдается при рассмотрении АО. Это характерно не только для науки. Не меньшее разнообразие содержится в фантастике. Там под одним и тем же термином "автономного робота" фигурируют разнообразные железные персонажи, начиная от дружелюбного домашнего робота-слуги Айзека Азимова, подчиняющегося трем законам робототехники, до грозного Терминатора и гибельного Скайнета. Нет согласия в применении термина "автономности" даже в государственных документах. В одних из них термин "автономность" имеет собственное содержание. В других – используется исключительно как характеристика уровня автоматизации.
Однако, несмотря на то, что нет терминологического согласия, словосочетание уже прочно вошло в лексикон военных руководителей и официальных документов. Так, осенью 2014 года заместитель министра обороны США по закупкам, технологиям и логистике Фрэнк Кендалл в своем официальном выступлении, посвященном Третьей оборонной инициативе, сказал, что она будет сосредоточена в том числе на "обеспечении широкого использования автономности на всех полях боевых действий, включая воздух, землю, воду, космос и киберпро-странство". НАТО в своих официальных документах конца 2014 года отметило "необходимость максимально полного использования потенциала АРС в боевых действиях". Южная Корея в бюджете на 2015 год предусмотрела графу по финансированию разработки автономных роботизированных средств наблюдения и контроля над демилитаризованной зоной с Северной Кореей. Министр обороны России С. Шойгу в конце 2014 года заявил о необходимости "разработки и принятия на вооружение армии автономных роботизированных систем, обеспечивающих охрану ключевых военных объектов, разведку и транспортировку грузов и боевых систем".
В своей простейшей форме автономность представляет собой способность машины выполнить задачу без вмешательства человека. Таким образом, автономная система является машиной, а точнее алгоритмизированным средством. Автономными системами могут быть как аппаратные средства, так и программное обеспечение или программно-аппаратные комплексы самого различного типа. Главное, чтобы они могли после своей активации функционировать и выполнять поставленные перед ними задачи самостоятельно, без вмешательства и участия человека, за исключением в некоторых случаев контроля и управления в условиях форс-мажора.
Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.
Три размерности автономности
Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова "автономия", для обозначения трех различных явлений и процессов:
• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;
• сложности машины;
• уровня автоматизации решений.
Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.
Управление и контроль в человеко-машинных системах
Первый способ употребления термина "автономия" относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин "машина с человеком в петле" (имеется в виду петля прямой и обратной связей в системах управления).
Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.
Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами "без человека в петле". Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.
Автономность как сложность
Термин "автономия" часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.
Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей "Тесла". Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин "автономные". Кроме того, в последние годы термин "автономные" все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем "обучения без учителя".
Некоторые исследователи и практики предлагают использовать термин "автономные" только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.
Термин "искусственный интеллект" вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.
Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.
Тип автоматизированных функций
В конечном счете, бессмысленно использовать термины "автономный", "полуавтономный" и "неавтономный" без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.
По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку "никогда не говори никогда". Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.
Разбор термина "автономия"
На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема "человек против машины". Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание "полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах".
На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.
В той или иной форме автономность в военных системах используется более 70 лет. Первые самонаводящиеся боевые системы применялись во Второй мировой войне. Примером тому Фау-1 и Фау-2. После Второй мировой войны автономные системы, в основном связанные с функциями самонаведения, наблюдения, разведки и т. п. использовались многими странами мира, и прежде всего, Соединенными Штатами Америки и Советским Союзом.