Ты тоже её знаешь.
Я повторяю
Подожди, тихо сказала Кира, наклоняясь к незнакомцу. Согласно параграфу 132 пункта 2.1 «МЗ о РР» я приказываю перечислить названия систем, которые внесены в твоё подсознание.
Павел ещё не до конца понимает, что происходит, как Мэтт начинает смеяться. Он запрокидывает голову и содрогается в приступе, словно она рассказала нечто забавное.
Павел раскрепляет ножны и только через несколько секунд начинает осмысливать сказанную подругой фразу. Большая часть параграфа 132 «Межпланетного Законодательства о Роботах и Робототехнике» говорила о правах доступа и способах получения данных к моделям роботов. В сухом остатке получалось, что дроиды, андроиды и все виды ИИ при предоставлении соответствующей идентификационной информации обязаны были перечислить название своих узловых систем, номер сборки, направление и/или организацию, к которой прикреплены. И судя по всему, сидящий напротив парень в костюме техника был человекоподобным ИИ. Лучшей модификацией ИИ, которую он когда-либо видел.
Кира не выглядит взволнованной, а Мэтт с улыбкой смотрит на неё в ответ.
Павел наблюдает за машиной, свыкаясь с новой мыслью, но руку с ножа не убирает. По Первому закону ИИ не может причинить Кире вред, вот только откуда он её знает? И что конкретно он знает о ней, кроме имени?
Тебе не поздно вернуться, наклоняясь к девушке, шёпотом сказал он, под пристальным взглядом Мэтта.
Кира посмотрела в ответ чуть удивленно, а потом и осуждающе.
Что?
Она недовольно ответила:
Мы прилетели на задворки одной из Систем, чтобы наткнуться на робота, который меня знает. Разве не это ты называешь судьбой?
Павел выпрямился, мельком посмотрел на робота, а потом оглянулся по сторонам. Женщина с веером продолжала коситься в их сторону, явно прислушиваясь к разговору.
Может, перейдём ближе к кабине? предложил он.
Или на кару, ИИ кивнул в сторону своего транспортного средства. Его машина висела в тени дальняка, поэтому наверняка там прохладно. Вот только идти за незнакомцем, кем бы он ни был, ему совершенно не хочется.
Но Кира первая молча поднялась и пошла в сторону кары. Робот, помедлив, последовал за ней.
Едва они подошли к борту, Павел подумал, что это удачный момент, когда ИИ может избавиться от девушки или Кира, изловчившись, может скинуть робота вниз но ничего не произошло. Она спокойно забралась в открытый кузов и села на пол.
Павел собрал еду и поднялся следом. Был бы здесь Ральф, он бы устроил роботу досмотр вплоть до вскрытия брюшной полости.
Мысли о Ральфе только добавили недовольства, а слишком видимый энтузиазм Киры раздражения.
Он присел ближе к кабине, стараясь не коснуться робота. В каре прохладно, и это была хорошая компенсация за неудобство маленькой машины и не слишком приятное общество.
Так откуда ты меня знаешь? спросила Кира.
Если я отвечу, ты испугаешься.
Мне стоит тебя бояться?
Не меня, знаний.
Павел закатил глаза.
То есть, ты уверен, что, если знания способны напугать, лучше оставаться в неведении? Твой разработчик был очень боязлив.
Он был осторожен.
Это твоя собственная оценка? Или оценка себя разработчиком?
Павел стонет от глупости этого вопроса. У робота не может быть собственной оценки чего-либо. И Кира либо ещё не проснулась, либо испытывает его терпение.
Мне это надоело, произносит он, понимая, что раздражения в его голосе больше, чем он действительно ощущает.
Подруга несколько секунд смотрит на него, словно что-то решая.
Хорошо, она поворачивается к Мэтту. Приказываю перечислить название систем, которые внесены в твоё подсознание, параграф 132, пункт 2.1 «МЗ о РР».
В доступе отказано.
Мэтт сложил руки на груди. «Совсем как человек», подумал Павел.
Солнечная Система, Сатурн, префектура Фетта, ОВИ 100, третья Академия, номер части 11281, запрос отнести в категорию «для служебного пользования».
В доступе отказано.
Павел удивленно посмотрел на Киру. Что она делает? Подобный расширенный путь доступа не для гражданских роботов, достаточно было назвать ОВИ префектуры.
Основание?
Запрос личного идентификационного номера по реестрам 77 типа «для действующих военнослужащих».
У ИИ идет запрос к личным номерам по закрытым реестрам, а значит, робот военного типа и не подчиняется Трём законам.
Сейчас следовало бы вскочить, наброситься вдвоём на машину и скинуть вниз. Но на маленькой каре они могут оступиться, да и ИИ не выказывает признаков агрессии
Хотя, если подумать, он и со скучающим выражением лица способен оторвать им ноги. Кира должна это понимать и отдавать себе отчёт, что, если того перемкнёт, их тела будут соскребать с внешнего купола этой Базы.
Советую назвать ИН, произнёс робот, смотря на Киру.
Может быть, ИИ и заметил, какую оплошность совершил, но никак этого не показал. Или же он сделал это специально, чтобы намекнуть на их положение.
А ты только этого и ждёшь? спросил Павел, так и не дождавшись реакции от Киры.
Если быть откровенным, то нет, Мэтт пожал плечами. Я вам не враг.
«Повтори ещё раз сто, и может быть, я поверю», подумал Павел. Весь его скудный опыт общения с роботами сводился к учебным андроидам в детстве, сотне однотипных «атлантов» на рудниках и созерцанию различных моделей в Музее в последние дни, но даже этого достаточно, чтобы понять, что с машинами следует быть осторожным.
Да, он знает, что Кира не умрёт в ближайшее время и этот робот не будет причиной её гибели, но просто так расстаться с подозрениями он не может. Как Кира поняла, что он ИИ? У того обычное несимметричное лицо, под кожей ходят лицевые мышцы, мимика присутствует, движения естественны. Если присмотреться, можно разглядеть неровности на коже и пигментные пятна. Кроме слишком ярких глаз, никаких видимых признаков. Никакого эффекта «зловещей долины».
Я догадываюсь, откуда ты меня знаешь, внезапно сказала Кира.
Это хорошо, улыбнулся робот, и они какое-то время молчали, смотря друг на друга.
Ну и?.. спросил Павел, разрушая идиллию. Его абсолютно не устраивало зависимое положение, в котором они оказались. Ему легче было распилить роботу череп, а уже после вскрытия задавать вопросы.
Что, «ну и»? сварливо переспросила Кира. Я тебе много раз говорила, что это правда, а ты мне: «Это невозможно. Ты не проектировщик психоструктуры»
Нет, не начинай опять, Павел поморщится, сразу понимая, что она имела в виду.
После Мимаса они переводом отправились на маленький спутник Е-95 вблизи планеты с непроизносимым названием, где им пришлось работать надсмотрщиками роботов на рудниках. Кира после нескольких месяцев наблюдений стала выдвигать теорию о том, что автономные, не подключённые к локальной сети роботы с одинаковой функциональной программой обладают коллективным разумом, общим полем общения и самообучения. Она разобрала десятки штук в поисках встроенных несетевых аналогов НКИ или настроек на определённую радиочастоту, но ничего подобного не нашла. Павел поначалу посмеивался, а потом уже стал раздражаться, потому что всерьез эту идею воспринимать было нельзя. А сейчас Кира подталкивала его к мысли, что по всей Галактике могут быть разбросаны человекоподобные военные роботы с ослабленными Тремя законами или их отсутствием вовсе, ко всему прочему обладающие коллективным разумом
Вполне возможно, что в Галактическом Правительстве давно заседают роботы, а все об этом молчат. «Надо рассказать отцу, пусть посмеётся».
Да, уверенно сказала Кира, смотря на Мэтта, и щёлкнула пальцами. Коллективный разум.
Мэтт улыбнулся и, выжидав паузу, произнёс:
Думай дальше.
Павел усмехнулся. Даже не зная о самой теории, исходя лишь из названия, робот уже не воспринял её всерьёз. Он убрал руку с ножа, оставляя ножны открытыми. Если бы роботу было приказано их убить, он бы это уже сделал, и до тех пор, пока Кира не решит устроить драку, они в относительной безопасности.
Пока робот и девушка смотрят друг на друга, он распечатал упаковку с сухим льдом, и та покрылась снаружи каплями воды. Он упаковкой обтёр лицо и дышал, хватая ртом холодный пар до тех пор, пока руки и лицо не замерзли.
Почему ты постоянно улыбаешься? немного погодя спросила Кира у Мэтта.
Чтобы люди чувствовали себя комфортнее рядом со мной.
Какая забота, пробормотал Павел, закрывая брикет.
Не могу понять, насколько твоя психика приближена к человеческой. Если ты автономен, то какие базы в тебя внесены? И как хорошо они развиты? Там есть психологическая мимикрия? Оценка социальной среды? Если да, тогда как ты отсеиваешь поступающую извне информацию, чтобы развитие шло в соответствии с выбранной программой? И сколько вариантов этих программ?
На какой из вопросов мне ответить?
Ещё и сарказм, сказал Павел и вскрыл пакет с кофе, про который Кира успела забыть.
Если есть сарказм, откликнулась Кира, значит, есть мерило сатиры и обширная база для сравнения. И если собрать всё это вместе, то к какой категории ИИ тебя отнести?
Мэтт пожал плечами.
Отнеси его к «оружию» и забудь об этом, прокомментировал Павел.
Будь твоя воля, ты бы и Эппи отнес к «оружию», недовольно сказала она.
Эппи безобиден, а этот опасен, как и любой военный робот.
Мэтт никак не отреагировал на эти слова.
Опасен, Кира покатала слово на языке, словно о чём-то думая.
Павел стал высасывать кофе и думать о том, что для таких моментов скуки пригодилась бы карта. И не пришлось бы слушать болтовню Киры и видеть бесплодность её попыток проникнуть в чужой разум. Он знал, что энергикам нельзя ставить карты, но иногда такие мысли посещали даже его. У Брэдли из их группы была карта НКИ, и когда они на одной из вылазок оказались у чужого силового поля, она закоротила у него в мозгу. Тот катался по земле и выл, пытаясь сорвать с себя систему, а им даже со стороны была слышна музыка, будто льющаяся из чужих ушей.
Кира резко повернулась к Павлу с волнением, которое обычно было у неё на лице в преддверии очередной утопической идеи. Но Павел лишь скучающе посмотрел в ответ.
Вспомни Первый закон, сказала она. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. На заре робототехники встал вопрос, как правильно сформулировать для робота Три закона? Ведь, по сути, в искусственный разум нужно было вложить такое понятие, как вред. Само оно не появится.
И в чём проблема? Определение слову «вред» не нашлось?
Мориссон никогда не затрагивал тему роботов, они его не интересовали. Как и любого «энергика». Зачем интересоваться искусственным разумом, если до конца не можешь понять, как устроен собственный?
А по-твоему, что такое вред? спросила Кира.
Павел пожал плечами.
Ну грубо говоря, это ущерб здоровью человека.
Хорошо, а что такое ущерб?
То же, что и вред?
Не замыкай всё в одну цепь, недовольно сказала Кира. Каких видов бывает ущерб?
Их много.
А что если робот не будет действовать грубой силой и причинять ущерб напрямую?
Не понял.
Первый закон только для людей. Что если человек ребёнок, у которого есть любимая собачка, и однажды робот убьёт животное. Тем самым он нанесёт ущерб здоровью ребенка?
Конечно.
Хорошо. А если андроид или ИИ вот как он будет лучшим другом маленькой девочки, назовем её Пенни. И однажды Пенни влюбится в него, ведь робот так похож на человека, он всегда рядом и всегда её защитит, он выслушает и никогда не обманет. Но честный робот скажет Пенни, что они никогда не смогут быть вместе и вообще Пенни страшная.
Ну, ты возмутился Павел.
Согласно параграфу 10 пункта 2 «Межпланетного законодательства о роботах и робототехнике» подобный ответ можно будет классифицировать как вред, нанесенный психическому здоровью, говорит Мэтт. Так же как и убийство любимой собачки.
Кира указала на него пальцем:
А ты вообще молчи. Это при условии, что строка «обидеть Пенни, сказав, что она страшная» или «избавиться от собачки», прописана у тебя в какой-нибудь подсистеме. А под «вред» законодательной базы можно подвести всё, что угодно. Тем более мы рассматриваем времена на заре робототехники, когда только психоструктура зарождалась, а о законодательстве и речи не шло.
Она права, согласился Павел и тут же прикусил язык. Он не собирался быть сопричастным к роботу даже в малой мере.
Ну так вот. Он говорит ей, что она страшная и они никогда не будут вместе, и девочка с горя выпрыгивает из космолета.
Ты ужасный рассказчик, заметил Павел.
Она бы не смогла выпрыгнуть, бортовая система начал Мэтт и Кира раздраженно зарычала.
Павел тихо рассмеялся, а после спросил:
Ты хочешь сказать, что вред может быть разный?
И это тоже. Но самое главное что конкретно понимать под словом «вред»? Роботов не программируют оценивать мораль, понимать чувственные абстрактные понятия и копаться в собственной психоструктуре в поисках воли. Люди даже не разобрались, как формируется замысел и можно ли вообще это действие описать, но при этом они создали робота, так называемый интеллект которого большая помойка из нагромождения понятий и действий. И слово «вред», так же как и всё, должно быть определено через более просты формы. Поэтому, когда приступили к разработке Закона, данное слово несло в себе перечисление потенциально опасных действий, которые робот может совершить с человеком.
Павел подавил желание рассмеяться.
Таких действий бесконечно много. Любая вещь, созданная человеком, может нести опасность, если знать, как ей пользоваться.
Возможно. Но на момент создания законов таких действий было не бесконечно много и даже не миллиард, а около пятисот миллионов.
Момент создания
Около двух веков назад.
Ты смеёшься?
Ты думаешь, мне смешно?
Мало того, что эти миллионы, так ещё и Павел запнулся. Мозг робота может хранить и как-то перерабатывать огромное количество информации, каждый кусок этой информации должен нести обозначение в понятных не только роботу, но и человеку символах, разработчики должны были создать какой-то шаблон, по которому и строились все модели. Но с момента создания по нынешней день изменилось слишком много. Какова частота обновления ПО психоструктуры? Раз в год? Раз в месяц? Раз в день? И разве роботы с одинаковой структурой психики при одинаковом обновлении не будут действовать одинаково и походить друг на друга в мелких реакциях? Или всё же подключение к сети постоянное?
Ты хоть представляешь, сколько изменилось за два века? спросил Павел.
Кира пожала плечами.
И что ты будешь с этим делать? продолжил он. Возьмёшь перечень материалов, оружия и устройств за весь период существования человечества и будешь спрашивать его, сможет ли он при помощи них причинить людям какой-нибудь вред?
Павел посмотрел на ИИ. Вопросом про структуру она хотела узнать основное предназначение робота, а сейчас пыталась выяснить, какие послабления в Трех законах сделали разработчики; вот только разве они уже не поняли, что этот робот военная модель? В них Законы либо отсутствуют вовсе, либо модифицированы до неузнаваемости. Это даже первогодка Академии понимает. Иначе как они будут убивать? Но Кира сознательно это игнорирует, как и то, что робот знал её раньше.
Конкретный материал ничего не даст, материал в большинстве своём не может быть занесен в раздел «вред», а вот действия с ним да. Поэтому я буду указывать какое-то конкретное действие. Удушение веревкой, например. И постепенно, методом перебора
Это глупость, прервал её рассуждения Павел. А если не материал, а если вещество? Угледид, например.
Она на несколько секунд замолчала.