Нам нужно найти способы сдерживания подобной динамики и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.
Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.
Основная опасность социального контроля средствами ИИ это создание мира строгой регламентации. Конфликт и конкуренция часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.
4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)
За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.
На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.
Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.
Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.
В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter[25]. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.
Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы[26]. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие[27].
* * *Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.
Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке[28]. Однако есть и другое понимание робота-часового его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета[29]. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.
Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.