Ну, я бы поспорил, он двигается независимо, он думает, а кукла это пустышка, ничто без руки и голоса манипулятора. Отдели куклу от чревовещателя, и она будет просто валяться, а Мираж Мы ушли, а он работает.
Я понимаю, продолжил Джеймс, я просто показываю тебе примитивные аналогии, которые ты сам должен себе привести в качестве примера.
Да, я тоже понимаю, о чем ты, но все равно не по себе.
Как я уже говорил, через это прошли все мы. Ладно, оставим эту тему. Кто хочет развеяться?
Гул одобрительных возгласов был для меня неожиданностью.
У нас традиция: когда мы работаем тут, то еще навещаем туристическую часть и отдыхаем так, словно мы приехали сюда развлекаться, но у кого другие планы может отправляться на берег.
С этого и надо было начинать, ответил я своему куратору, показывайте мне местные достопримечательности.
За разговорами ни о чем мы, вскоре, переместились до внутрикомплексного аналога трамвая. Небольшие, с открытым верхом вагончики, скользили по монорельсу в разных направлениях.
Комплекс состоял из нескольких частей: Служебная основная, где, собственно, располагались главные системы контроля и жизнеобеспечения, несколько служебно-вспомогательных, с аналогичными функциями, но поменьше, служа, скорее, запасными вариантами на случай аварии. Исследовательский пункт с парком мини-субмарин, а также гостевая зона: с гостиницей, казино и ресторанами. Наука дело хорошее, но если объект не приносит прибыли, то инвесторы, как правило, недовольны.
Впрочем, прибыль, насколько я знал из внутренних документов, была делом вторичным, а вот сами инвесторы меня заинтересовали. Что мне было не совсем понятно, так это то, как и для чего они смогли договориться. Официальная версия была экология, изучение океана, совместное развитие информационных технологий на благо человечества, и многое другое, что активно транслировалось в различные СМИ. Меня же интересовало другое: истинная подоплека исследований.
Сегодняшний диалог с Миражом меня потряс, это была не просто машина. Пока мы тестировали команды, я следил за его реакцией и ответами. Да, можно заставить робота шутить, смеяться, реагировать на механическое или голосовое воздействие. Можно сделать так, чтобы он, реагируя на соответствующие раздражители, имитировал грусть, радость, даже боль, злость или ужас, но Мираж был не таким, он реагировал очень естественно, словно был действительно разумным организмом. Думаю, если бы я пнул стойку с сервером, он бы искренне огорчился и дал бы мне сдачи пожарным шлангом.
Что-то тут было не так, а вот что именно я очень хотел узнать.
И все же, сказал я, садясь в шезлонг у бассейна, у Миража, как я понял, совершенно другие алгоритмы и итоговые цели, чем у всех остальных аналогов, которые я знаю.
Что ты имеешь в виду? Спросил Стив.
Ну, смотри, у большей части подобных разработок узконаправленные задачи, например дорабатывать изображение с плохим качеством до максимально возможного. Есть те, кто использует фреймы, похожие на набор человеческой логики, остальное не буду перечислять. В следующих разработках алгоритмы работают параллельно, собственно, как и у Миража, который использует и генетические алгоритмы, и семантические, и многие другие. Полагаю, что его код содержит все известные варианты поиска информации и вывода заключения.
И что ты хочешь этим сказать?
А то, что или он самостоятельно эволюционирует в нечто новое, выше, чем можно ожидать, или кто-то добавил в него новый метод анализа, не применяемый ранее.
Интересное предположение, Ден, сказал Майкл, неужели ты за столь короткое время смог сделать такое важное открытие?
Понимаю твой сарказм, Майк, но отвечу утвердительно.
Ден, ты понимаешь, что это заявление может привести или к Нобелевской премии, или к психушке, или к внутренней проверке?
Разумеется, и я могу это доказать.
На меня смотрели, как на инопланетянина.
Да, могу, нужно некоторое время, разработать пару тестов, и все.
А, ну конечно, разработать пару тестов на определение чего-то неизведанно-неопределенного, это для тебя раз плюнуть?
Майкл, не заводись, вмешалась Оливия. Ден, а на чем ты основываешься, делая такие выводы? Я могу понять Майка, мы работаем с Миражом уже давно, сами пишем для него обновления, знаем его вдоль и поперек, а ты заявляешь, что мы пропустили такое важное открытие.
Ребят, я не хотел никого задеть, просто привык говорить то, что вижу, и если я ошибусь, то готов устроить отдых за мой счет, разведя руками, ответил я.
С этого и надо было начинать, воскликнул Абхишек, а если докажешь, то мы тебя поведем. Никто не против?
Можно, ответил Джеймс, вот только хотелось бы услышать ответ на вопрос Оливии.
В общем, моя программа, содержит в себе ряд символов, которые являются тестом внутри теста. Что-то вроде вируса. Нет, нет, я замахал руками, видя ошеломленные взгляды коллег, я сказал что-то вроде. Я не самоубийца добавлять вирус в такую среду, да еще и открыто об этом говорить. Помните, раньше был тест Тьюринга, который сейчас обходит каждый уважающий себя искусственный интеллект? Так вот, мой тест определяет все варианты эмоций, которые может выдать машина, а затем провоцирует ее на те, которые не были заложены или были упущены. Видя, что все заинтересовались, я продолжил. Например: машина может говорить только правду, так как ложь в нее не заложена или заблокирована на административном уровне, но я провоцирую ее на действия, которые заставляют ее солгать. Джеймс, проверь логи своей почты и поймешь, о чем я.
Начальник посмотрел на меня сначала с сомнением, которое на глазах переросло в удивление, а затем в легкое подобие паники. Он вскочил с шезлонга, покопался в своем рюкзаке и достал ноутбук. Быстрым движением он поставил его на стол и начал что-то на нем набирать.
Он обманул меня, прошептал Джеймс.
Кто тебя обманул? Спросил Стив.
Кто-кто, Мираж!
Это невозможно, вскочил Майкл, этот русский мозги нам пудрит.
Утихни, Майк, ты что-то имеешь против национальности?
Нет, прошу прощения, но здесь что-то не так.
Успокойтесь, я встал рядом с Джеймсом. Если кто кого и обманул, так это я наш искусственный интеллект. В тестовую версию я забросил маленький скрипт, который заставил его забыть отправить письмо с отчетом, а когда Джеймс его спросил, он понял, что ошибся. Лгать он не мог, и не может до сих пор, надеюсь, поэтому он срочно отправил письмо и замел за собой следы. Поверхностно, так как полное удаление логов или их подделка уже были бы полноценно осмысленной ложью. А отправка в папку «прочитано» и указание на нее показало его лояльность и не опустило его самооценку, не мог же он нам признаться, что забыл
Погоди, какую еще самооценку у машины? Спросил Стив.
Вот именно, ответил я.
У него нет такой функции, как самооценка, чувство собственного достоинства и так далее.
Ага, я об этом и говорю.
То есть ты считаешь, Джеймс не отрывал взгляд от ноутбука, что он это сделал, чтобы не показаться забывчивым, вместо простого ответа, что по какой-то причине он что-то упустил?
Именно, но этого мало, этот тест просто показал некоторые функции, выходящие за пределы стандартных алгоритмов, нужно больше данных, еще пара проверок. Правда, это нужно делать очень аккуратно.
Почему, для чего аккуратность?
Да просто, если Ден прав, то Мираж может испугаться, запаниковать и натворить чего-нибудь , ответил за меня Джеймс.
Верно, поэтому я предлагаю обсудить это за чашечкой чая в офисе.
3
Чего я не ожидал, так это такой реакции коллег, только Джулия и Абхишек были равнодушны к моей новости. Прочие стали явно задумчивее обычного, а Майкл с Оливией, вообще, решили отдохнуть на глубине в компании пары стаканов местного виски, не возвращаясь наверх. Остальные же отправились домой, чтобы наутро вернуться и продолжить работу. Ровно в семь я вновь стоял у причала, но не увидел на нем никого, кроме Джеймса.
А где все, я опоздал? Заволновался я, посмотрев на свои часы, по которым можно было настраивать хронометры палаты мер и весов.
Нет, сегодня работаем наверху, Оливия и Майкл скоро подъедут. Я хотел с тобой поговорить наедине.
Ну, хорошо. О чем?
О вчерашнем. Знаешь, я полночи не спал, думал о твоей выходке. Были разные мысли, начиная с немедленного увольнения тебя из нашей команды, заканчивая представлением к корпоративной премии за выявление уязвимостей.
Второе мне нравится больше.
Мне тоже, но есть одна вещь, без которой наша совместная работа будет невозможна.
Какая же?
Доверие и субординация. Ты провел эксперимент в обход не только протоколов безопасности компании, но и не сообщив об этом ни коллегам, ни своему непосредственному начальству. Представляешь, что тебе может грозить, если об этом узнает служба безопасности? Тут не будут играть никакой роли твои реальные мотивы, тут будет расследование с анализом фактов, а факты против тебя.
Понимаю, кивнул я.
Спорить и доказывать, что это безопасно, что это для всеобщего блага, что я не хотел, и так далее не было смысла. Если начальство вызвало тебя на такой разговор, то лучшим вариантом будет выслушать и согласиться. Можно задавать вопросы, но осторожно, не переходя некую невидимую грань, за которой ожидает самый негативный исход.
Хорошо, что понимаешь, кивнул в ответ Джеймс, но предупреждаю сразу, любой из ребят может и должен сообщить о тебе наверх, поэтому будь готов к неприятным беседам.
Я снова кивнул, уже молча.
Вот и отлично. Единственное, что может играть в твою пользу это то, что ты всем все рассказал и показал, поэтому если дойдет до допросов, то я замолвлю словечко за тебя. Ты неплохой, даже отличный сотрудник, но впредь будь добр, все эксперименты только через меня и мое согласие.
Разумеется, я все понял.
Замечательно, а теперь давай двинем в офис. Скоро остальные подтянутся. Задача на сегодня: проработать повторный тест для Миража на основе твоего жучка в скрипте. Ребятам, думаю, будет интересно покопаться в написанном тобой коде, да и несколько голов лучше, чем одна, даже очень умная.
Мы вернулись в офис и, пока никого не было, я заварил себе крепкий кофе. Когда-то я обходился пакетами с растворимым, считая, что не бывает нормального кофе. Даже в кофейнях предпочитал латте с добавками, чтобы заглушить горьковатый привкус, пока однажды мне не приготовили кофе хорошего сорта. После этого я купил домой небольшую кофемашину и стал заядлым любителем этого напитка в натуральном виде, иногда разбавляя его небольшим количеством молока. Кто-то скажет, что кофемашина это не то, нужна турка, жаровня с песком и прочие прибамбасы, но на вкус и цвет В общем, меня вполне устраивал мой способ приготовления. Собственно, к чему это я: у нас в офисе стояла отличная машина, которая позволяла готовить кофе всеми возможными способами, чем я с удовольствием и воспользовался. Взяв чашку, я отправился на рабочее место, открыл ноутбук и задумался.
Да, можно написать еще один тест, но что он даст? Еще одно подтверждение моих слов? Так и трюка с почтой, по идее, более, чем достаточно. Эта задача, на мой взгляд, была, скорее, способом занять остальных, отвлечь от дурных мыслей и сплотить команду. Да, не зря Джеймса поставили руководителем. Он не стал паниковать, а просто повернул ситуацию так, чтобы она принесла пользу.
Ден, подойди сюда, услышал я голос начальника.
Иду. Что случилось?
Как бы тебе сказать, в общем, кто-то уже оповестил комплаенс, и нас вызывают для беседы.
Нас? Удивился я.
Да, я тоже озадачен. Как правило, запрос падает только руководителю, затем, в зависимости от моей реакции, или беседуют со мной, или вызывают подчиненного, а тут обоих Ладно, пошли, твоя программа подождет, ребята найдут, чем заняться.
Мы вышли из здания и направились в административный корпус, расположенный на другой стороне технопарка.
О чем будут спрашивать?
Без понятия, ответил Джеймс, о чем угодно. Главное не ври, раскусят сразу. Надеюсь, что тебе нечего скрывать.
Мы сидели в приемной уже около часа, что меня крайне удивило, так как компания, обычно, старалась все делать без проволочек.
Специально тянут, выводят из привычной обстановки, словно прочитав мои мысли, сказал Джеймс. Это на всякий случай, чтобы если мы в чем-то виноваты, то начали нервничать.
Понятно, кивнул я, я нервничаю только по одной причине: я уже в туалет хочу кофе, знаешь ли.
А, он вон там. Иди, только не теряйся.
Только я вернулся, как дверь открылась, и мы услышали голос.
Входите.
Я мельком оглядел комнату и не увидел ничего необычного. Типовой кабинет, такой мог быть и у бухгалтера, и у менеджера по кадрам, и у любого другого сотрудника, кому отдельное помещение положено по должности.
Присаживайтесь, произнес один из наших собеседников.
Их тоже было двое. Пожалуй, я бы не узнал этих ребят, встретив повторно где-нибудь на улице или в коридорах: просто одни из нескольких тысяч работников, а может, гости или туристы.
Джеймс, Денис, меня зовут Джон, а это Кирк. Не будем терять времени, а сразу перейдем к вопросам.
Кирк посмотрел в монитор, затем на меня.
Как относитесь к полиграфу?
Нормально, не раздумывая ответил я.
Так быстро?
А что тут думать? Вы вряд ли станете спрашивать меня о том, смотрю ли я фильмы для взрослых на работе, это и по логам видно.
Любите пошутить?
Вовсе нет, это просто факт, и этим ответом я исключаю дискуссию, а также повторно выказываю свою готовность сотрудничать.
Краем глаза я увидел, как Джеймс, едва заметно, прикусил губу. Скорее всего, чтобы не засмеяться, так как даже мне захотелось улыбнуться при виде вытянутых лиц «безопасников».
Что ж, интересный подход. Значит, проведем после беседы, а пока давайте просто поговорим, сказал Джон. Итак, нам сообщили, что вы добавили вирус в основную разработку нашей компании.
Не совсем так. Это не вирус, это полиморфная программа с наиболее низким шансом обнаружения, которая является тестом, а не вредоносным червем, а значит, не может считаться вирусом.
Тем не менее, вы могли использовать ее не только для нанесения прямого вреда серверам, но и для перехвата данных. В этом случае, вред наносит не программа, а тот, кто эти данные получил.
Можете провести анализ кода это алгоритм, который был направлен на совершение разового действия. Если бы в него было заложено больше, он был бы обнаружен в момент внедрения.
Но вы не согласовывали это ни с кем, верно?
Верно, но я рассказал о моем эксперименте руководителю и коллегам, и они могли убедиться в том, что я не планирую саботаж.
Я подтверждаю слова Дениса, произнес молчавший до этого Джеймс.
Собственно, это одна из причин, по которой вы тоже здесь, ответил ему Кирк, вы, а не ваши подчиненные должны были сообщить нам об инциденте.
Согласно моей должностной инструкции, а также внутренним правилам компании, я должен был предварительно удостовериться или опровергнуть злой умысел, и уже после этого отправить запрос своему руководителю, который принимает решение о перенаправлении отчета в ваш отдел вместе со своим заключением. За информационную безопасность в части искусственного интеллекта я отвечаю перед своим директором, а он уже определяет, что именно можно вам отправлять, а что нельзя.
Я знаю эту инструкцию, она также гласит, что в случае прямой угрозы компании и/или ее сотрудникам, каждый обязан напрямую обратиться в отдел собственной безопасности.
Прямой угрозы не было, пожал плечами Джеймс, у вас все?
Вам обоим необходимо пройти полиграф.
Только через распоряжение моего непосредственного руководства.
Я с трудом удерживал готовую упасть челюсть: я ожидал чего угодно, но не прямого отпора. Я привык к тому, что служба безопасности всемогущий орган в любой компании, а тут