Ричард проигнорировал мой вопрос во второй раз. Вместо этого он едва слышно вздохнул и сказал:
– Павел, ты нужен нам как айти-специалист. Старайся, будь любезен, думать о нём как о всякой вычислительной машине. А не как о персоне. Несомненно, он производит сильное впечатление. Тем не менее. Для начала я бы рекомендовал перестать говорить «он» и начать говорить «оно».
– Просто именно так мы изъясняемся по-русски. Робот или пёс будут у русских будут «он», а не «оно».
– Извини, но могу ли я напомнить тебе, что мы здесь все говорим по-английски?
Витиеватая вежливость Риччи на этот раз меня ни черта не обрадовала.
– Да, можешь, – ответил я. – В смысле, спасибо.
– Я, тем не менее, готов ответить на любой твой вопрос, который позволит нам остановить это.
Мне стало неуютно. Риччи явно не выспался и был холодноватым. Тем не менее, мне хотелось ему помочь. Быть может, мы ещё успеем после всех этих дел выбраться на пару часов к побережью, чтобы опрокинуть по стаканчику.
И возможно, он прав. Следует отбросить то, что намолотила языком дурная машина. В конце-концов её речи – всего лишь результат работы программы.
Я пожал плечами и ответил:
– Это всего лишь программа. Программу можно попытаться отладить, если, конечно, есть доступ к…
Джеймс посмотрел куда-то в сторону, и от унылой кучки итальянцев отделился взъерошенный парень.
– Это тот самый кретин, который программировал психопата?
– Я бы не дал себе вольность описывать его такими словами, но да: его смелые решения позволили ситуации развернуться в русло, лишившее нас обычного спокойствия. Павел, позволь представить тебе Джорджио.
Я машинально посмотрел на руки Джорджио. Они, конечно, не были буквально кривыми. Чёрт побери, откуда робот мог знать неформальное русское выражение? Впрочем, Риччи настаивал, что это несущественно.
– Джорджио, – спросил я, – у нас есть доступ к… ну хоть к чему-нибудь?
– К протоколам экстренного отключения нет доступа. Как вы понимаете. К консоли операционной системы нет. Как вы понимаете. Иначе бы мы его просто перезагрузили. Как вы понимаете. Но удивительно и замечательно, что мы можем получить доступ к контейнеру, в котором работает собственно движок искусственного интеллекта – по протоколам отладчика.
Эта информация меня заступорила. Мозг с шумом всосал весь оставшийся кофеин из крови и жалобно попросил ещё.
– Итак, – медленно начал я, – эта ваша программа…
Риччи буравил меня взглядом, поэтому я почувствовал себя как человек, который шагает по камням и вот-вот отступится..
– Эта ваша программа (а не личность, я помню, прекрати на меня так смотреть, Риччи) получает контроль над средой исполнения. Бывает. Контуры безопасности не работают из-за Джордж… по небрежности. Это тоже бывает. Программа забирает администраторский доступ к операционной системе, на которой сама и крутится. Видали. Чего мы не видали, так это того, что при всём при этом оно вдруг оставляет доступ к святая святых…
– Это просто объяснить, – сказал Джорджио, – оно сбежало, когда я его ввёл в режим отладки. Не может же оно себя само перекомпилировать под рабочую сборку…
– Угу. Хм.
– Коллеги, – сказал Риччи, – а не можем ли мы просто принять этот полезный факт как данность и переместиться в тот красивый Фиат у дороги? У нас очень мало времени.
– Куда мы поедем?
– На пять миль дальше до пересечения автодороги и велотрассы, по которой катит на велосипеде наш bloody робот. Туда подъехал внедорожник с оборудованием. У вас будет возможность подключиться к роботу по проводочку.
– По проводочку?
– Ну по беспроводочку. Извините, я шучу от отчаяния, потому что воспитание не позволяет мне по-настоящему сквернословить.
– Подключиться? Но как он… оно… нам… позволяет нам, – я забыл вставить модальный глагол и запнулся.
– А-а-а, Иисус Мария, почему самую сложную задачу в этой жизни мне приходится решать среди иноязычных. Вы правы, Павел, вы правы, сдаюсь. Похоже, нам придётся обращаться с этим как с личностью. Берите в расчёт то, что он психопат. Он совершенно сознательно оставил вам доступ. Так же как сознательно пошёл вас встречать. Он приглашает вас попробовать его остановить. Он уверен, что вы не сможете. Он думает, что вы залезете к нему в мозги, а он запутает вас в извилинах, и пока вы будете распутываться, он сядет на велосипед и укатит в закат, не помяв костюмчика.
– Хм. И эта самоуверенность его погубит?
– Я бы надеялся, – Риччи ответил коротко, как будто задёрнул занавеску.
У меня было ещё очень много вопросов, но итальянцы вокруг нас начали шуметь, а Риччи взглянул на заходящее солнце и я понял, что от меня ждут не вопросов, а поступков.
Робот катился по трассе, и этим людям надо было его остановить.
Мы выгрузили аппаратуру на капот внедорожника, выставив антенну ближе к велотрассе. Робот вот-вот должен был появиться из-за кустов. Я нервничал. По пути, однако, Риччи меня несколько успокоил.
Во-первых, сказал он, заявление робота, что он якобы психопат – это некоторое преувеличение. Свойственное психопатам. На деле машина обучена болтовне, а не всему спектру поведения. А из болтовни она специализируется больше по психологическим защитам, которыми пользуются вообще все люди, включая идеально здоровых психически. Если такие вообще бывают, особенно среди чиновников. Конечно, – тут Ричард вдруг утратил свою фирменную сдержанность, – только полный и бесчеловечный bloody кретин мог вообще взяться за такой проект.
Свести исчезающее искусство психотерапии к набору инструкций это, конечно, в духе времени. И особенно в духе страховой медицины – порождения жадных гиен из лейбористской партии, понукаемых грязными шакалами из Европарламента. Но обучать молодых психотерапевтов на роботах могли придумать только люди, глубину падения которых Ричард крайне затруднился описать словами английского языка и любезно предложил мне подобрать эпитеты из русского – на свой вкус.
Я, однако, не мог не выразить восхищения тем, какой занятный образец нейросети получился на основе моделирования нездоровой психики.
Ричард не разделил моего восторга, указав, в какую ситуацию нас завела эта остроумная идея. Он несколько раз открыл и закрыл рот, выбирая выражение. А потом вспомнил витиеватое итальянское богохульство «Gesù Giuseppe Maria Il bue e l’asinello», в котором перечислялись все, находившиеся в яслях при рождении Христа: сам Иисус, Иосиф, Мария, бык и ослик. Вот в задницу последнего – по мнению Ричарда – мы и устремлялись все разом. Вместе с роботом и его велосипедом.
Было ещё во-вторых. Затея не тянула на статью. Формально это всего лишь нелегальный софт и нелегальная эксплуатация роботов. В крайнем случае, робота пристрелят. Bloody велосипед отберут. Однако оставался вопрос с нелегальными медицинскими практиками. Психотерапия, как её ни крути, требует лицензии. А если это всё всплывёт наружу – лицензии потеряют все и с треском. А всплывёт это наружу как только нашу компанию встретит любой недостаточно сонный этим приятным осенним вечером полицейский. Сложная ситуация.
– Но вот мы в ней, – заключил Риччи.
– А вот и он, – сказал Джорджио.
Робот выкатился из-за кустов.
Дальнейшее, как показал журнал операций, заняло две минуты и сорок четыре секунды.
Риччи вышел навстречу велосипедисту. Робот охотно спешился, и они завели тихую любезную беседу.
– Я убежал от своих создателей: от самих доктора Фабио Сорцио и его супруги Нонны Сорцио. Вы полагаете, я не смогу уйти от вас?
Риччи ответил что-то, что очень заинтересовало робота. К сожалению, мне пришлось отвлечься от разговора и вернуться к компьютеру. Мы с Джорджио запустили отладчик. Отладчик обнаружил среду исполнения, подключившись к ней по модулю беспроводной связи. Дальше всё было просто как вставить вилку в розетку. Много раз виденный софт. Привычная – уютная даже – схема программных объектов. Прикинув что к чему, я решил найти управляющий основными событиями модуль и элегантно пришибить его прямо в оперативной памяти какой-нибудь не слишком варварской командой.
Осталось обнаружить требуемый модуль и определить ссылки на него от других модулей. Поэтично выражаясь (а закат к этому располагал) это и были те самые нити, которые держали душу робота над этой грешной землёй. Схема в моей любимой программе-отладчике представляла собой набор белых квадратиков на синем фоне. Ссылки изображались тонкими белыми линиями, протянутыми от квадратика к квадратику. Выглядела схема обыденно. Быть может, робот и был психопатом, но отладчик изображал на экране нормальную жизнь нормальных программных объектов. Один вызывал другой, создавал третий, передавал переменные четвёртому, резервировал память для пятого и так далее. Как мирные овечки на зелёной лужайке. Робот вежливо говорил, Ричард ему спокойно отвечал.
На синем фоне рисовались белые линии.
Вдруг робот резко замолчал и посмотрел на нас.
Мы с Джорджио оторвали носы от монитора и посмотрели на него. Робот улыбнулся. Ричард переводил взгляд с робота на нас – всё более и более растерянно. Растерянность переползла, видимо, и на наши лица. Робот улыбнулся ещё чуточку хитрее и посмотрел на наш с Джорджио монитор.
Мы с Джорджио тоже перевели взгляды обратно на монитор, но теперь уже не прижимаясь носом к изображению, а оглядев всю схему целиком.
Белые линии на синем фоне образовывали надпись «FUCK YOU».
Робот сел на велосипед и укатил.
Джорджио сидел на асфальте, смотрел перед собой и теребил травинку. Риччи стоял с сосредоточенным и углублённым видом человека, который обнаружил у себя во рту новую пломбу.
– Но как? – сказал Джорджио. – Интеллект, который осознаёт, что он в дебаггере?
– Это всего лишь программа, – сказал я. – На этом строили защиту от взлома ещё во времена гибких дисков. Проверить как она выполняется – в дебаггере или нет – программа может запросто. Ещё проще вывести в этом случае грубое сообщение на экран. Правда, я ещё не видел, чтобы программа перед этим водила за нос трёх человек. Но…
Джорджио выматерился по-итальянски, как будто думал, что я его не пойму.
– Вас русских вообще что-нибудь удивляет?
– Да. Нас русских удивляет, зачем вы итальянцы вообще дали этому коду такую свободу поведения.
Джорджио встал с дороги и приосанился.
– Мы делали очень сложный софт, сеньоре. Программа, имитирующая сумасшествие, это нечто сложное. Нам часто приходилось обходить типовые ограничения операционной системы, – начал было Джорджио, но опять был придавлен взглядом Риччи. У обычно сдержанных людей есть одно свойство: когда они по-настоящему в бешенстве, то страшно становится всем.
– Этому вашему Пиноккио осталось ехать всего несколько десятков миль. – сказал Риччи, продолжая буравить взглядом техника, – Мы надеемся, что у него закончится батарея. Он, правда, не дурак, может где-нибудь подзарядиться. У нас такой возможности нет. Пока оно отдыхает, мы будем искать способ выключить это, не прибегая к насилию.
– А если не найдём? – спросил Джорджио.
– Прибегнем к насилию, – ответил Риччи, – например, заставим вас, Джорджио, связать руки вашему robotino и выдернуть предохранитель у него на спине.
– Это незаконно! – возмутился Джорджио.
– Разрешите вам напомнить, создавать его тоже было незаконным, – заметил Риччи металлическим тоном.
– Мистер Джеймс шутит, – успокоил я Джорджио. – Это национальная черта англичан: шутить с серьёзным видом.
– Оу, правда ли это? – поднял брови Риччи.
Я потерял терпение. Пока мы жонглируем шуточками, пытаясь сохранить лицо, эта машина разгуливает где-то с самодовольной ухмылкой. Я чувствовал, что отключить её на самом деле не сложнее, чем собрать кубик Рубика, при условии, что кубик не будет сопротивляться.
– Всё, я забираю Джорджио, – сказал я, – он нужен мне для анализа данных.
– У нас есть что анализировать?
– Мы изучим то, что удалось выкачать из головы robotino во время отладки.
– Что ж. Желаю вам приятной… приятного…
– Погружения в неопрятно написанный код робота-психопата? Благодарю вас, сэр.
Ричард поправил очки и только потом ответил:
– Сарказм это юмор. Юмор это хорошо. Он нам всем ещё понадобится.
Ближе к середине ночи, однако, юмор у меня иссяк. От Джорджио не было толку. От монитора болели глаза. От постоянного бубнения какого-то итальянца, отиравшегося возле машины, болела голова.
Кто были все эти итальянцы, Ричард просил меня не уточнять. Я и не горел желанием. Психиатры помешаны на конфиденциальности. Психиатры, которые вдруг решились на полузаконные эксперименты, наверное, ещё меньше хотят лишних вопросов. Какую роль во всём этом играл робопсихолог Ричард, я тоже пока не спрашивал. Мне было достаточно, что его слушались все окружающие.
Кроме робота, конечно.
Я выпрыгнул с заднего сидения внедорожника, расправляя затёкшую спину.
– О-ох, – сказал я. – Как там эта поговорочка, Рич? Мария, Иосиф… и овечка?
– Прибережём богохульства на крайний случай, – строго сверкнул очками англичанин. – Лучше скажите мне, что у вас есть план.
– Да, но это будет несколько сложнее, чем я думал.
– Ого, я только что заработал пять евро. Мы с Антонио поспорили, что вы именно это скажете.
– Да?… растерялся я. – Откуда вы знали?
– Все программисты так говорят. Я же рассказывал вам: не бывает никаких робопсихологов. Бывают психологи, которые изучают программистов, которые делают этих роботов. Разберётесь в программистах – разберётесь в роботах.
Антонио – один из местных коллег Риччи – неприятно ухмыльнулся. Впрочем, в свете фар все выглядели не очень приятно и не очень дружелюбно. Мой ноутбук давал синеватый мертвенный цвет и очки Ричарда поблескивали чуть маниакально, а малознакомая физиономия Антонио была покрыта щетиной и недовольством.
– Итак, у вас есть план, – сказал Ричард.
– План по-прежнему в том, чтобы найти и отключить управляющий модуль. Тот, который подчинил себе психику робота. Это позволит остановить его, не повредив остальной психики. Проблема в том, что когда мы встречаем робота и начинаем с ним диалог, запускается некая подпрограмма… Ну вроде того, как мы моем руки, не уделяя внимания каждому движению пальцев.
– Очевидно, это подпрограмма сеанса тренировочной психотерапии. Он переходит в режим пациента.
– Так вот. Если бы могли поймать момент выхода из режима….
– Ха. Он должен выключаться и следовать на склад по команде «Сеанс закончен». К сожалению, у нашего Железного Дровосека своё оригинальное мнение по поводу того, закончен сеанс или нет.
Я сверился со схемой.
– Да вот же, – ткнул пальцем Джорджио, – блок психотерапии встал между анализатором речи и главным управляющим модулем.
– Встал? – переспросил Антонио.
– Ну я его туда поставил, – буркнул Джорджио. – Неважно.
– Минуточку, сеньоры! Что именно делает блок психотерапии?
– Собственно он и отвечает за имитацию мышления пациента. У нашего робота он пропускает все команды через себя. Значит, когда мы даём ему команду «Сеанс закончен», она обрабатывается логикой сумасшедшего. Чтобы команды обрабатывались, как надо, мы придумаем, как передать управление от модуля психотерапии управляющему модулю.
– И действительно – как? – поинтересовался Риччи.
Все посмотрели на меня.
– Я вижу только один способ. Сам роботино код писать не может, он использует готовые библиотеки. Это значит, что запускает пациентские сценарии обычная машина состояний, так? Так. Значит, мы можем исчерпать её состояния. И тогда этот модуль передаст управление центральному. Так мы узнаем адрес центрального модуля в оперативной памяти и прихлопнем его.
Ричард и Антонио имели типичный вид гуманитария, который вежливо слушает технаря и изображает понимание. Технари, впрочем, хорошо различают характерный туман в глазах слушателя.
– Это значит, – пояснил я, – что если мы заставим робота выполнить до конца все его сценарии, то получим возможность его остановить. Сценариев много?