А что, если в этих миллионах, о которых ты говоришь, один из его разработчиков стер несколько действий с таким прибором, как ложка? Тебе придется разбирать сначала каждое внесенное действие с этим предметом, а потом обновления за два века. И ещё не факт, что ты что-нибудь не пропустишь. И поверь мне, без карты, да даже и с ней, это будет сделать очень трудно.
«И ещё неизвестно, не соврёт ли он тебе», подумал Павел.
На это могут уйти месяцы, поддакнул Мэтт, и Павлу показалось, что тот выглядел странно довольным.
Кира нахмурилась.
Назови любое слово, сказала она через некоторое время.
Павел ненадолго задумался:
Например, плуг.
Что это? она нахмурилась.
Павел пожал плечами, не имея представления. Он услышал его в воспоминаниях одной из жизней, но не собирался говорить это при роботе.
Кира поворачивается к ИИ.
Ну?
Что «ну»? улыбнулся Мэтт.
Согласно параграфу 132 пункта 2.9 «Межпланетного законодательства о роботах и робототехнике», ответь, входит ли действие «удушение» устройством «плуг» в раздел, классифицированный, как «вред»?
Павел на целую секунду был уверен, что тот запросит ИН.
Данное действие с таким устройством в базу, классифицированную как «вред», не входит, ответил Мэтт, и Кира обернулась к Павлу.
Смотри, как все просто! воскликнула она.
Павел нахмурился, а потом спросил:
А ты можешь объяснить, что это за устройство?
Мэтт ухмыльнулся:
Нет.
А с помощью этого неопознанного устройства ты можешь причинить человеку что-то, что не будет классифицироваться как «вред»?
Любые действия с неопознанным устройством не будут классифицироваться как «вред».
Павел с Кирой переглянулись.
«Смотри, как все просто», передразнил её Павел. Любым неопознанным устройством он может нанести человеку вред. Достаточно не внести его в базу, и оно автоматически станет «одобренным». Логичней предположить, что и материалы тоже должны быть «помечены».
Кира нахмурилась:
Нет. Если отдельно материал или устройство будет внесено как «вред», то в категорию безопасного его добавить уже будет нельзя. Если ложка «оружие», то поесть ей будет невозможно. А вот действия с одним материалом могут принадлежать к разным категориям.
Значит, действия с любым устройством, не внесённым в раздел, не будут расценены как вред. Ложка не внесена в раздел или категорию отлично, тогда он сможет выковырять ей кому-нибудь глаза и при этом будет следовать Трём законам.
Они почти синхронно развернулись к ИИ. Тот выглядел задумчивым.
Меня эта идея никогда не посещала, удивленно сказал он. Насчёт ложки.
Кира стукнула Павла кулаком в плечо.
Я здесь при чём? возмутился он, кивая в сторону ИИ. Благодари его разработчиков.
Так ты не скажешь, какие системы в тебя внесены? спросила Кира у робота.
ИН, пожалуйста.
Хорошо. Тогда пусть одинаковое действие с ложкой находится в двух взаимоисключающих категориях, в одном случае как «вред», в другом нет. Что ты будешь делать, если возникнет конфликт?
Выберу, что больше нравится.
Что?!
Он выберет, что больше нравится, подсказал ей Павел.
Кира отмахнулась от него.
Ты не можешь выбрать то, что больше нравится, ты должен руководствоваться каким-то алгоритмом, который был бы полезнее для человека.
Я могу руководствоваться чем угодно, потому что критерии пользы для каждого отдельного человека различны, и я не могу о них знать, пока человек их не назовет. Всё оставлено на моё усмотрение.
Кира во все глаза уставилась на робота. Павел закрыл лицо рукой и рассмеялся. Подруге попалась хорошая модель для исследования, вот только впереди сутки ожидания водителя, а ему самому придётся коротать это время, обсуждая проблемы робототехники.
Я ничего не понимаю, сказала Кира. Мало того, что критерии твоих оценок непонятны, так и непонятно, как ты понимаешь, что тебе «нравится», а что нет? Каков алгоритм выбора? Как его вообще написали, если до сих пор нет адекватной оценки чувствам человека? Что значит «нравится»?
Павел легонько толкнул её ногой.
Успокойся уже. Пока не поговоришь с его разработчиками, всё равно ничего не поймешь.
Кира скептически посмотрела на него:
Выходит, пока я не поговорю с яйцеклеткой, из которой ты вырос, я ничего не пойму о тебе?
Прозвучало довольно грубо.
Кира фыркнула:
Думаешь, меня это волнует? Когда напротив сидит ИИ, которого почти невозможно отличить от человека?
Они замолчали.
Робот открывал рот, и теперь, когда Павел знал, что это не человек, ему мерещилась машина, состоящая из проводов и сосудов, имитирующих кровеносную систему, плохо обработанного металла, волокон углепластика, титановых костей и трубок. Ненастоящие зубы распахивались, и где-то в ненастоящем горле рождался звук. Под искусственной кожей билась имитация сердца.
Конечно, робот сконструирован более хитро, но Павел не в состоянии представить себе ничего лучше, пока тот не вскроет грудную клетку и не покажет её состав.
Да, дискомфорт от ненормальной схожести с человеком присутствовал, но, с точки зрения выживания, опасны все: и роботы, и люди.
Какое-то время они молчали. Кира смотрела на робота, робот улыбался, а Павел давил зевки. После жары и кофе начало медленно клонить в сон.
Что интересного есть на Базе? наконец спросил он, прерывая молчание. Музеи? Может быть, экскурсии по цехам?
ИИ чуть удивлённо посмотрел на него, но всё же ответил:
Ни того ни другого. Есть кинотеатр на шестом этаже и планетарий в восточном крыле наземного этажа, но их почти никто не посещает.
Интересно.
Мэтт неопределённо повёл плечом:
Раз в год или в полгода поступает очередной приказ, и вся База мобилизуется.
Вы на военном положении?
Нет. Я имел в виду, что все ресурсы бросаются на исполнение какой-то задачи. И люди в том числе. Кого-то снимают с других проектов, кого-то вызывают из городов, однажды был набор в кодеры, и люди прилетали даже из других Систем.
Зачем? На Базе много энергиков?
Много. Провидцев, кодеров, тестеров всех много.
Павел удивился, но не показал виду.
Ты же военный робот, внезапно сказала Кира, и Павел мысленно застонал. Зачем делать военного робота настолько визуально неотличимым от человека?
У разработчиков было много времени?
Кира скептически смотрит на него:
Несколько жизней?
А вдруг?
Почему ты не хочешь говорить название систем?
А почему ты не говоришь ИН?
Они замолчали.
Может, обсудим что-нибудь другое? предложил Павел.
Мэтт неопределенно повёл плечом, а Кира отвернулась.
У вас нет карт, утвердительно произнёс ИИ спустя некоторое время.
Зачем они нам?
Почти у всех, кого я знаю, они есть, это удобно. Всегда доступ к большому объему информации, к сети, наконец, к связи.
Мы не хотим их ставить, ответил Павел. Похоже, робот так же изучает их, как и они его. Тем более я однажды видел, как происходит замыкание. Разве тут у многих карты? Кодерам же их нельзя вживлять.
Они это ещё не вся База, но вообще да, им нельзя. Так вы кодерами устраиваетесь?
А похоже?
Нет.
Значит, не кодерами.
Павел толкнул Киру ногой:
Что притихла?
Я думаю.
И о чём же?
Зачем мне говорить? Ты же не хочешь говорить про роботов, а обсуждать кинотеатры и кодеров уже мне неинтересно.
Павел раздраженно вздохнул. Порой она была невыносима настолько, что её хотелось бросить на какой-нибудь необитаемой планете и оставить там на пару лет.
Обсуждай что хочешь. Можешь тут консилиум роботофилов собрать. Я предложил вам другую тему для обсуждения, потому что со своей вы явно зашли в тупик.
Кира недовольно посмотрела на него.
Ничего подобного. У меня тысяча и один вопрос о его психоструктуре, не говоря уже о внутреннем строении. Неужели ты не понимаешь? она ткнула в ИИ пальцем. Перед нами отличный образец, который сам пришёл к нам в руки и даёт себя исследовать. Да, он отвечает не на всё, и я не знаю, как в его психоструктуру может быть вплетена ирония, но это уже моя вина, потому что я задаю не те вопросы, а при должном походе и результаты можно получить другие.
Он несколько секунд смотрел на неё в молчании, подбирая слова.
Вот именно в такие моменты я жалею, что твой первый робот с «палкой-копалкой» так тебя и не догнал, раздраженно сказал он и подавил очередной зевок. Я спать. Если будешь кричать о своей любви к роботам так, что я проснусь, клянусь, я столкну тебя с машины. Надоели.
Он не сильно хотел спать, да и сомневался, что уснёт под этот бесконечный диалог, но даже неудачная попытка была лучше, чем «наблюдение» за разбегающимися мыслями подруги.
Павел скрестил руки на груди и закрыл глаза. И готов был поклясться, что Кира смотрит на него и ухмыляется.
* * *
Комната была маленькой и светлой, солнце било сквозь пыльные стекла и прогревало спину. Он сидел на низком табурете, как ребенок, положив подбородок на стол, и смотрел на её руки. Девушка месила тесто и что-то со смехом рассказывала. Он улыбался и невпопад отвечал, а где-то в груди разливалось тепло, и знание, что ты любим, было абсолютным.
Павел вздрогнул от резкого звука и, открыв глаза, поначалу даже не понял, где находится.
Кто-то по громкоговорителю надрывал голос.
с двадцати часов и завтра до полудня по земному времени будут проводиться исследования за пределами внешнего купола. Атмосфера неустойчива, рекомендуем не покидать Базу и соблюдать меры безопасности. Все рейсы были отменены, трассы перекрыты. Просим вашего понимания.
Со стороны батволера послышался ропот и невольные голоса. Павел закрыл глаза, не собираясь прислушиваться. Хотелось обратно в сон, к сладкому послевкусию счастья.
Очередные эксперименты? раздался голос Киры рядом.
Они постоянно, ответил робот. Могут идти неделями.
А купол убирают?
Нет, он неразборный двойной металлводород на сверхплексигласовых нитях.
Интересно. Ну, так вот, о чем мы говорили? Ах, да. Знаешь, кого он испугался? Кошки Мязинцева. Забился в угол и сидел не шелохнувшись, только глаза сверкали.
И что в него забили? Симуляцию страха?
Угадал. Во всех поведенческих матрицах диагонали были имитацией каких-то чувств. Я нашла там почти всё, кроме агрессии, но, может быть
Павел вздохнул, пытаясь не обращать на них внимания.
Время и незнакомая местность были не на его стороне. Он не думал о том, что скажет ей и как она будет выглядеть в этой жизни, он думал лишь о том, чтобы её найти.
Он чувствовал, что она здесь. Он слышал про эту Базу ещё в Академии, но только недавно осознал, что все его действия должны были привести именно сюда.
Ральф и Кира над ним часто смеялись их потешала сама идея поиска человека без имени, без ИН и без лица. Но они не были энергиками. Не придавали значения чужим словам, не могли чувствовать прошлое и видеть несколько вариантов будущих событий
Внезапно он понял, что атмосфера в каре изменилась. Голос робота звучал слишком спокойно, и в нем больше не слышалось улыбки или снисхождения.
А что же? спросила Кира. Павел почти нехотя открыл глаза. Или ты не называешь это имитацией? Для тебя это сама жизнь?
Павел зевнул и принялся разминать затекшие руки, Кира мельком посмотрела на него, но ничего не сказала.
Я наблюдатель в собственном теле. Такой ответ приемлем? Если не ошибаюсь, многие люди так делают. Занимают позицию наблюдения за жизнью вместо переживания подлинных ощущений. И чем эти люди отличаются от роботов?
У них присутствует чувственное отношение к объекту наблюдения, даже несмотря на подобное психическое состояние.
Но ведь чувственное отношение строится на чем-то. Основа это переживания прошлых лет, вытесненные эмоции и образы, накопленные реакции поведения. Человек в детстве формирует свое отношение к миру, а уже потом его выражает, находит себя в нём. И это ничем не отличается от сбора информации и последующего выбора линии поведения. То есть человека можно так же запрограммировать, как и любого робота. И все последующие восприятия реальности это ни что иное, как следствие работы программы.
Человек уже рождается с определенными способностями. И чувства присутствуют изначально, а не в виде накопления. Тем более не сравнивай понятия воспитания и программирования.
Робот тоже создается для каких-то целей.
Человек сам себе задает цели в течение жизни.
Робот с программой саморазвития способен и на это.
Программы саморазвития и самореализации закладываются разработчиком. Будет следовать человек какой-то цели или нет, определяется только им. Никто посторонний не вносит в него алгоритм действий.
А как же социум, близкое окружение, культурный фон? Не это ли формирует схему поведения?
Кира замолчала.
Павел стал разминать шею. Спор робота и человека что может быть скучнее? Если Кире нечем заняться, пусть поговорит с пультом управления в каре или, как прилетит, обсудит свои права с холодильником.
В ходе вашего разговора, встрял он, складывается ощущение, что отдельного человека можно вообще не брать в расчёт.
Кира и робот, синхронно повернувшись, уставились на него.
Ты предлагаешь брать группу? спросила Кира.
Я ничего не предлагаю. Я говорю, что если он не рассматривает человека как автономную единицу, то что нам мешает сказать, что и он далеко не самостоятельно мыслящее изобретение? Взять, например, семью, какой аналог может предложить робототехника?
Роботы, завязанные в общую сеть, пожала плечами Кира. Группа роботов, управляемая с одного сервера.
Павел усмехнулся:
Кем управляемая?
Автономная группа роботов, осторожно сказала Кира. С заложенными функциями саморазвития.
Коллективный разум, с усмешкой добавил Мэтт.
Павел не рассмеялся, но очень хотелось. Он посмотрел на девушку, и та не выглядела довольной.
Где ошибка? спросила она немного погодя.
Ошибка в автономности, сказал Мэтт, робот может существовать в одиночестве, в отличие от человека. Для сравнения лучше брать одного робота и людскую семью.
Нет, сказала Кира, это тоже ничего не даст.
ИИ улыбнулся.
Я правильно понимаю? немного подумав, спросил Павел. Вы пытаетесь найти различия между человеком и роботом?
Кира неопределенно дернула плечом:
Частично.
А разве это не очевидно? Роботы не страдают.
Она смотрит на него какое-то время, нахмурившись, а потом медленно поворачивается к ИИ.
Страдание означает наличие психики, начал Мэтт с улыбкой, и Павел подозревает, что ему не понравятся сказанные слова. Существование психики означает высокую степень организации, в которую входят память, способность к анализу и синтезу, восприятие среды, мышление и многое другое, но в конечном итоге все сводится к одному: сознанию. Таким образом, ты пытаешься сказать, что без страдания нет сознания, а это далеко не ново и отсылает нас к человеческой истории на тысячи лет назад под дерево Бодхи. Я же, в свою очередь, могу сказать, что, несмотря на отсутствие страданий, сознание во мне присутствует и далеко не в виде реакции на внешнюю среду.
Павел нахмурился, обдумывая.
Всё началось с того, что они пытались докопаться до разделов, которые могут заменить Три закона. Им это не удалось. Но если объективная замена существует, и робот знает о ней, то почему не рассказывает? Разве это не позволило бы избежать множества проблем? Или он не считает, что люди для него опасны? Если он способен к оценке собственных возможностей, разве это не означает, что он осознает себя? И разве самоосознание не определяет сознание?
«Нет, подумал Павел, сегодня наделим его сознанием, завтра уравняем в правах с человеком, а потом и сами не заметим, как станем рабами».
Если я скажу, что роботы не способны к восприятию себя и собственной независимой оценке, ты скажешь, что это не так, сказала Кира.