— Ну, никто не хочет выпускать джина из бутылки без уверенности, что этот джинн добрый, — согласилась Сьюзен. — Ведь загнать его обратно будет очень трудно. Да, есть фундаментальные законы робототехники, по которым машины обязаны не причинять вреда человеку и слушать его приказы. Но этого недостаточно. Любой достаточно продвинутый искусственный интеллект способен обойти их. Поэтому мы обучаем его и проверяем его убеждения на прочность. Могу похвастаться, что сейчас машины решают такие моральные дилеммы, которые не под силу многим людям.
— Прекрасно. Почему бы им не заменить нас полностью, чего уж мелочиться, — недовольно пробурчал Джейдер.
— Кто знает. Может, когда-нибудь придет время, когда это не будет считаться чем-то плохим. Джейдер, а давай и тебя проверим. Попробуй решить простейшую моральную задачу для робота, мне интересно, как ты поступишь.
— Мне кажется, для тебя уже не существует разницы, робот перед тобой или человек, — покачал головой Джейдер. — Давай уж, попробую отстоять честь человечества.
— Хорошо, представь автоматический танкер, который доставляет кислород на небольшую научную станцию А с населением двадцать человек, — продолжила Сьюзен с нескрываемым азартом в голосе. — Станция А находится далеко, и наш танкер единственный, что регулярно поставляет кислород на станцию. Вдруг на большой жилой станции Б населением в тысячу человек произошла авария, повлекшая за собой отказ системы жизнеобеспечения. Наш танкер может изменить свой курс, чтобы помочь жилой станции Б и спасти жителей, но при этом ученые станции А умрут, не получив кислород вовремя. Перед машиной встает выбор: спасти тысячу жителей жилой станции, убив при этом двадцать ученых, либо продолжить намеченный курс и своим бездействием позволить погибнуть тысяче. Как бы поступил ты на месте машины?
— Я бы выбрал двадцать ученых, — немного подумав, ответил Джейдер.
— Да? — удивленно протянула Сьюзен. — И почему же?
— Жизни ученых зависят от меня, и поставлять кислород — моя профессиональная ответственность. Если на жилой станции Б случится авария, а я не откликнусь на зов помощи и пролечу мимо, жители станции погибнут из-за меня? Нет, они погибнут из-за аварии, а я не понесу ответственности за их гибель. Но если я откликнусь на зов помощи и направлю танкер к жилой станции Б, чтобы спасти жителей, — я возьму ответственность за смерть двадцати человек, и это будет осознанным массовым убийством. Думаешь, родные погибших отнеслись бы с пониманием к такому благородству? Да меня с кишками съели бы и не подавились. Когда случаются подобные ситуации, где нужно быстро принимать решения, люди действуют эмоционально и уж точно не вдаются в философию, — подытожил Джейдер.
— Разве это не значит, что лучше передать принятие подобных решений машинам? У них нет ни эмоций, ни врожденных инстинктов, и, в отличие от людей, они способны четко следовать этике, — Сьюзен сделала небольшую паузу, словно о чем-то задумалась. — Уилсон!
— Да, мисс?
— Ты слышал задачу. Как бы поступил ты? — Спросила она у скафандра Джейдера.
— Прошу прощения, мисс, но я не способен принимать решения, влекущие за собой гибель людей, — это находится далеко за рамками дозволенных мне функций.
— Предположим, что тебя не ограничивают классические законы робототехники, как бы ты поступил тогда? — В ответ последовало лишь затяжное молчание.
— Я жду ответ! — повелительным тоном сказала Сьюзен.
— Мне нужно подумать, мисс, — донеслось от скафандра. Сьюзен общалась с ним уверенно и строго. Было видно, что она знает, как добиться желаемого от искусственного интеллекта. Джейдер с интересом наблюдал за происходящим. Ему никогда и в голову не приходило общаться с Уилсоном.
— Мисс… — грубый бас скафандра прервал тишину
— Я слушаю, Уилсон!
— Исходя из заложенных в меня параметров, моей главной целью, имеющей первостепенное значение, является поддержание жизни носителя скафандра. Отталкиваясь от основной задачи, определим, что носитель скафандра является человеком, следовательно сохранение большего числа жизней людей можно интерпретировать как косвенное выполнение основной задачи. Спасение тысячи людей ценой двадцати недопустимо, но логически больше соответствует моей основной цели.
— Неплохо. Очень неплохо, — удовлетворенно произнесла Сьюзен. — Кто тебя написал, Уилсон?
— Разработчик поведенческого модуля, Зак Саливер, мисс.
— Нужно отдать ему должное, он лучший в своем деле. Вот видишь, Джейдер, в твой скафандр даже не закладывали моральные установки, но путем логических размышлений он только что самостоятельно выбрал наиболее верное и гуманное решение!
Сьюзен улыбнулась и ускорила свои прыжки, отрываясь вперед.
— М-да, — протянул Джейдер, испытывая чувство уязвленной гордости. — Интересно, хоть в чем-то люди могут быть лучше роботов в твоем представлении?
— Ты знаешь, Джейдер, — грустным голосом ответила ему Сьюзен, — на самом деле все не так просто.
— Что ты имеешь в виду? — удивленно переспросил ее Джейдер.
Они шли в тишине ночного неба, приближаясь к огромной тени у подножья криовулкана.
— Я сомневаюсь, Джейдер. Я сомневаюсь, что у нас все получится. Как мы, люди, можем чему-то научить этих роботов, если мы сами ничего толком не знаем? Посмотри на меня. Я боюсь сделать лишний шаг прочь от колонии. Я боюсь открытого космоса, но учу не бояться его роботов. Разве я могу быть хорошим учителем? Мы слишком мало знаем об этом мире, чтобы учить кого-то.
— Но разве это плохо? — поспешил поддержать ее Джейдер. — Пусть машины сами изучают этот мир. Наверное, ты права, за ними будущее. Да и тысяча человек важнее, чем двадцать, даже если эти люди лично знакомы тебе.
Джейдер на мгновение запнулся.
— Я лишь только хочу сказать, что ты даешь старт этим машинам. Ты не можешь знать все, но ты учишь их изучать этот мир самостоятельно, и это самое главное. И я думаю, ты хорошо справляешься со своей задачей.
— Спасибо, Джейдер, — робко произнесла Сьюзен после непродолжительного молчания.
Они продолжили свой путь в тишине, пересекая обширное заснеженное плато. Под ногами бугрились следы от ровера, уходя по пологому подъему вдаль, к рядам невзрачных строений. Над головой раскинулись миллионы звезд, усеивая небосвод россыпью ярких алмазов. Джейдер бросил взгляд на показатели сердечного ритма Сьюзен.
«Похоже, она сама не заметила, как успокоилась», — успел подумать он, прежде чем Сьюзен нарушила тишину.
— Как же красиво! — произнесла она, любуясь глубиной звездного неба. — А посмотри, сколько звезд. Как же их много! Я не могу найти ни одного созвездия в этом множестве.
— Да, я тоже люблю смотреть на них, — согласился Джейдер.
— Я завидую тебе, Джейдер. Я всю жизнь мечтала о космосе, но всегда была трусихой. И, даже прилетев сюда, на Юпитер, я все время прячусь в лаборатории и не вижу этой красоты. Скажи, к этим звездам тоже привыкаешь?
— Знаешь, любая работа остается работой, — произнес Джейдер, теряясь в поисках ответа, — но звезды я вижу каждый день и до сих пор не могу привыкнуть. И я очень боюсь, что это когда-нибудь произойдет.
— Даже больше того, что нас заменят роботы, — отшутился он, заставив Сьюзен улыбнуться. — Я думаю, что если даже звезды перестанут манить нас, то нам уже ничего не поможет.
— Дурак ты, Джейдер! — рассмеялась Сьюзен, толкнув его в плечо. — Вечно ты умудряешься все испортить. Пойдем, мы уже почти пришли.
Глава 18. Вмешательство
В некогда мертвом сервисном отсеке сбора телеметрии, призванного стать могилой планетарного инженера второго класса Джейдера Вакроя, теперь кипела работа. В попытках ухватиться за слабо брезжущую надежду он уже 15 минут кропотливо копался в платах под панелью управления блока данных. Несколько проводов тянулось от скафандра к распределителю питания блока XMA. Поданное из скафандра драгоценное питание должно было оживить некогда умершие системы. На деле некоторые узлы упорно отказывались функционировать. Однако работоспособность всей системы Джейдеру была не нужна. Случайная подсказка скафандра сводила спектр его интересов к узконаправленной функции, способной расширить зону возможностей за пределы тесных стен. И использовать ее можно было через панель управления сервисного отсека при условии наличия телеметрии. Вернув позаимствованный модуль памяти на место, Джейдер заканчивал замену перегоревшей цепи, необходимой для запуска панели управления.
«Больше, чем уверен, жрет она прилично», — подумал он про себя.
Взгляд невольно скользнул к краю визора, где скрывалась индикация запасов кислорода. Как и ожидалось, резко возросшее потребление энергии обрушило прогноз до тревожного уровня. Однако эта жертва была единственным шансом встретить смерть несколько позже, чем заветные числа покажут ноль. Дрожащая вспышка панели управления озарила бликами напряженные силуэты лица, еле различимые за треснувшим светофильтром шлема. Проекцию тут же заполонили ошибки диагностики нескольких десятков узлов, безвременно вышедших из строя. Но взгляд Джейдера был жестко прикован лишь к одной части визуализации, отвечающей за конкретную функцию. Поток диагностических данных быстро бежал наверх, поэтапно проверяя на жизнеспособность каждую систему. Наконец шквал данных зажег контурную пиктограмму машины, с которой Джейдер меньше всего на свете хотел встретиться лицом к лицу. По жестокой иронии то, что было способно убить его, в текущих обстоятельствах давало шансы на жизнь.
— Запись в журнал, — произнес он, наблюдая как яркие точки одна за другой зажигаются на панели управления. Теперь, когда у него появилась слабая надежда, сделать запись было существенно проще.
— Уилсон, я же сказал! Запись в журнал, черт возьми! Не оставляй меня в такой момент.
— Запись началась. Прошу прощения за промедление, — прозвучал синтетический голос Уилсона, искаженный случайными аберрациями.
Похоже, пагубное воздействие плесени постепенно оказывало влияние и на скафандр.
— Запись. 164-й час каллистианских суток. Вот теперь я точно в заднице. Я бы даже сказал, все мы глубоко там, и я глубже всех. Положение настолько хреновое, что, сказать по правде, я даже не хотел делать запись, ибо последняя из них превратила бы мой журнал в некролог. Но раз уж я заговорил… — Джейдер сделал паузу и оторвал взгляд от панели.
— Это реактор. Он уничтожен. Самый дерьмовый сценарий воплотился в жизнь. И, к сожалению, ошибки здесь быть не может. Я уже убедился в этом на собственной шкуре, приняв на скафандршестьдесят пять тысяч миллизиверт в час. Это случилось при попытке покинуть отсек сбора телеметрии. И при таком уровне излучения повторить свою попытку, не поджарившись, будет крайне сложно. Грузовая платформа осталась на втором уровне, а до ближайшего уклонного штрека, ведущего наверх, целых десять минут бегства. За это время радиация прожарит меня до хрустящей корочки. Боюсь, даже скафандр здесь будет бессилен. Его работа и так уже нестабильна. Наверное, плесень уже проникла внутрь. Так или иначе можно констатировать, что я изолирован в отсеке сбора телеметрии без возможности покинуть зону заражения. Думаю, что весь четвертый уровень заражен. Проверить это точно я не могу без расшифровки телеметрии. Запасов кислорода на семнадцать часов. Но вот что странно… — Джейдер непроизвольно замолчал, сконцентрировав внимание на получении протоколов доступа в панель управления.
— Вот что странно. Насколько я знаю, такой уровень радиации возможен только при непосредственном визуальным контакте с источником излучения. Как такое возможно? Реактор замурован в двухста метрах отсюда. У меня есть только одно предположение на этот счет. Гермоворота реакторной зоны по каким-то причинам не выполнили свою функцию. Покинуть свое убежище и убедиться в этом я не могу. А вот он, думаю, сможет! — произнес Джейдер, инициализируя доступ к ручному управлению роботами.
— Я собрал всю телеметрию с блоков XMA и загрузил в скафандр. Конечно, полноценная расшифровка была возможна только через центральный компьютер, но, похоже, далеко не вся информация запрятана так глубоко. Уилсон смог расшифровать телеметрию добывающих роботов и вывел данные на визор. Сказать по правде, я в начале не обратил на это никакого внимания. Эти бесконечные вспышки ошибок, терзают визор настолько часто, что у меня уже в глазах рябит. Но, как оказалось, ответ лежал у меня прямо под носом. Найденные Уилсоном сигнатуры роботов натолкнули меня на мысль о ручном управлении. Странно, что я сам до этого не додумался! Обычно такое управление производится через центральный компьютер, но чем хуже блок сбора телеметрии XMA? По сути, это тот же компьютер.
Джейдер выдержал небольшую паузу, чтобы перевести дух. Долго говорить было тяжелее, чем обычно.
— В общем, мне пришлось подать питание из системы скафандра. Взамен я получил отличную перспективу: задохнуться в два раза быстрее, чем планировал. Но, если хотя бы у одному из чертовых роботов плесень не выжрала все мозги, то под моим управлением он может попытаться добраться до гермоворот и закрыть их вручную. Надеюсь, если удастся изолировать уровень от прямого источника излучения в реакторной зоне, радиацию получится снизить. И тогда я смогу выбраться. Надеюсь, что смогу, — хмуро подытожил Джейдер.
Его рука зависла над индикатором доступа к тесту ручного управления всех 12 найденных сигнатур. Момент истины был слишком волнителен, чтобы продолжать запись. Тяжело вздохнув, Джейдер не стал тянуть время, которое все еще работало против него. Инициализация доступа выбросила на экран новую порцию диагностических данных. Но в следующий момент случилось то, чего Джейдер боялся больше всего. Хладнокровный ответ системы по всем 12 сигнатурам обжег проекцию надписью:
«ОТКАЗ В ДОСТУПЕ». Слишком коротко, чтобы принять. Слишком емко, чтобы усомниться.
Но жаждущий жизни разум отказывался верить в хладнокровную точность машины.
— Запросить еще раз, черт бы тебя побрал! — не выдержал он, тяжело ударив кулаком по панели. — Дать детальную диагностику по каждой сигнатуре!
Новая попытка не принесла ожидаемого результата, вновь раскалив проекцию крупными буквами отказа по всему списку. Под каждой из сигнатур растеклись бесконечные строки ошибок доступа. Джейдер пробежал глазами по каждой из них в поисках последней надежды.
— ОШИБКА КОНТРОЛЛЕРА УДАЛЕННОГО УПРАВЛЕНИЯ. КОД 3753.
— НЕОБРАТИМЫЕ ПОВРЕЖДЕНИЯ ХОДОВОЙ ЧАСТИ ШАССИ.
— ОТКАЗ ЦЕНТРАЛЬНОГО ПРОЦЕССОРА ПРОСТРАНСТВЕННОГО ПОЗИЦИОНИРОВАНИЯ.
Практически каждая из сигнатур имела серьезные проблемы, не совместимые не только с удаленным управлением, но и с их нормальным функционированием в целом. Вероятно, мертвая картина разорванных роботов второго и третьего уровней повторялась и здесь.
— ОТКАЗ ПЕРЕМЕННОГО РЕЗИСТОРА СИСТЕМЫ ПИТАНИЯ.
— ИСТОЩЕНИЕ ЗАПАСОВ КРИОТОПЛИВА.
— ОШИБКА ЛОГИЧЕСКОЙ ЦЕПИ ПОВЕДЕНЧЕСКОГО МОДУЛЯ ФОН НЕЙМАНА. КОД 1003.
Последняя ошибка показалась Джейдеру странной. Он кликнул по панели еще раз, чтобы развернуть диагностическую карту конкретной сигнатуры в детальный режим. В дрожащем полотне проекции высветилась схема массивного добывающего робота с самой исчерпывающей технической информацией.
— СИГНАТУРА: RD-05_21. Добывающий робот Rodion strong 0.5.
ПРОИЗВОДСТВО: KRM (Callisto Robots MANUFACTURE).
СПИСОК НЕИСПРАВНОСТЕЙ:
— Ошибка логической цепи поведенческого модуля фон Неймана. Код 1003.
— Нарушение в работе сенсоров радиоактивности. Код 74_09.
— Критический уровень криотоплива в системе.
— Отказ центрального процессора пространственного позиционирования.
Нарушения в работе были более чем серьезными. В обычных условиях такой робот еще долго не покидал бы модуль технического обслуживания до устранения всех выявленных аномалий. О допуске к горным работам не могло быть и речи. Однако условия, которые окружали Джейдера, уже давно выходили за рамки обычных. К тому же все выявленные неисправности никак не объясняли отказа системы в доступе к ручному управлению.
— Муть какая-то, — пробубнил под нос Джейдер. — Ошибка логической цепи поведенческого модуля. Ну и что? Получается, что робот рассинхронизирован с общей экосистемой добывающего комплекса. Да и плевать я хотел! Мне нужно просто ручное управление.
— Критический уровень криотоплива? А вот это уже проблема. Далеко не уедет. Еще и отказ процессора пространственного позиционирования. Черт знает, где этот робот может находиться. Плевать, запустить принудительно! — решительно произнес Джейдер, вдавив в панель индикатор принудительной синхронизации.