Дик говорит: «Это два равно паршивых пути. Мы могли бы отложить выплату до того времени, пока не получим верные данные. Но мы не можем этого сделать – даже если мы на день опоздаем, в игру вступит профсоюз. Итак, давайте остановимся на предложении Энн заплатить сотрудникам хоть что-то, пусть даже и неправильную сумму. Нам нужно будет выровнять все выплаты в следующем платежном периоде. Но сейчас перед нами ошибка в финансовой отчетности, и нужно срочно ее исправить».
Он сжимает переносицу и продолжает: «Нам придется совершить несколько правок в журнале учета, и именно тогда, когда аудиторы SOX-404 уже здесь. Когда они увидят все это, они никогда не уйдут.
Ох, боже мой. Ошибка в финансовой отчетности? – бормочет Дик. – Нам нужно будет подтверждение от Стива. Аудиторы расположатся здесь на ПМЖ, пока все не разрешится. Никто больше не сможет заниматься делом».
SOX-404 – это сокращение от закона Сарбейнза-Оксли от 2002 года, который принял Конгресс в ответ на бухгалтерское мошенничество в Enron, WorldCom и Tyco. Один из пунктов этого закона гласит, что генеральный директор и финансовые директора должны ставить личные подписи на финансовых документах своей компании.
Все сейчас с тоской вспоминают те дни, когда не нужно было половину времени проводить разговаривая с аудиторами, выполняя все новые и новые, принимаемые практически каждый день, регулятивные требования.
Я смотрю на свои записи и затем на часы. Время идет.
«Дик, исходя из того что я услышал, я посоветовал бы вам продолжать готовиться к худшему и полностью продумать план Б, чтобы мы могли им оперативно воспользоваться в случае возникновения осложнений. Я предлагаю подождать до 15:00 прежде, чем принимать решение. Возможно, нам удастся восстановить систему и все данные».
Когда Энн кивает, Дик говорит: «О’кей, у тебя есть четыре часа».
Я отвечаю: «Уверяю вас, мы пониманием всю срочность ситуации, и я оповещу вас, как только разберусь во всем сам». «Спасибо, Билл», – говорит Энн. Дик молчит, пока я выхожу из кабинета.
Я чувствую себя чуть более уверенно, посмотрев на проблему с точки зрения бизнес-перспективы. Пришло время разобраться с тем, что повредило сложный механизм расчета зарплаты.
Спускаясь по лестнице, я достаю телефон и просматриваю почту. Ощущение спокойной сосредоточенности исчезает, когда я вижу, что Стив так и не разослал официальное оповещение о моем повышении. Вэс Дэвис и Патти МакКи, которые до сегодняшнего дня были моими коллегами, до сих пор понятия не имеют, что теперь я их новый босс.
Спасибо, Стив.
Когда я захожу в здание № 7, оно поражает меня. Это натуральное гетто на территории компании Parts Unlimited.
Здание было построено в 1950-х, а последний ремонт делали в 1970-х. По этому зданию сразу видно, что строили его под конкретные производственные цели, а не для эстетического наслаждения. Здание № 7 использовалось как огромная фабрика по производству тормозных дисков, пока не превратилось в центр обработки данных и офисное пространство.
Охранник приветствует меня своим радостным: «Здравствуйте, мистер Палмер. Как ваше утро?»
На секунду мне хочется попросить его пожелать мне удачи, чтобы он сам получил свою зарплату на этой неделе. Но я, конечно, спокойно приветствую его и все.
Я останавливаюсь перед сетевым операционным центром (NOC), где сейчас, скорее всего, находятся Вэс и Патти. Теперь они мои ведущие менеджеры.
Вэс – начальник отдела распределенных операций. Он несет ответственность больше чем за тысячу Windows-серверов, а также за команды, отвечающие за базы данных и работу сети. Патти – начальник отдела сервисной поддержки. Она заведует сотрудниками служб поддержки 1-й и 2-й линии, которые круглосуточно отвечают на звонки, устраняя срочные проблемы и обрабатывая запросы от внутренних клиентов. Она также руководит некоторыми ключевыми процессами и инструментами, от которых зависит весь отдел IT-сопровождения, вроде регистрирования абонентских запросов, мониторинга и проведения встреч по управлению изменениями.
Я прохожу мимо рядов одинаковых коридоров, таких же, как во всех остальных зданиях. Однако в отличие от зданий № 2 и 5 на ковре я вижу протертые места и темные пятна, усыпающие ковер.
Эта часть здания была построена на крыше того, что использовалось как главный сборочный цех. Когда его переоборудовали, все машинные пятна отчистить просто не смогли. Вне зависимости от того, какое количество новых покрытий клали поверх полов, масло все равно в конце концов просачивалось сквозь ковры.
Я делаю себе пометку, чтобы не забыть включить в запрос бюджета замену ковров и покраску стен. Когда я служил, содержание бараков чистыми и аккуратными было требованием не только эстетическим, но и необходимым для безопасности.
Трудно отказаться от старых привычек.
Я вижу NOC прежде, чем слышу его. Это огромная зона со столами вдоль одной стены, на которых расположены мониторы, отражающие состояние всех видов IT-сервисов компании. Сотрудники служб поддержки 1-й и 2-й линии занимают три уровня рабочих зон.
Это не просто похоже на станцию контроля из фильма «Аполлон 13», когда я объясняю что-то своим сотрудникам, то ссылаюсь именно на этот фильм.
Когда что-то повреждает несущую часть корабля, необходима совместная работа всех ключевых игроков и технологических менеджеров для решения проблемы. Вот, например, как сейчас. За круглым столом пятнадцать человек ведут бурную громкую дискуссию, расположившись вокруг одного из классических серых телефонов с громкой связью, похожих на НЛО.
Вэс и Патти сидят рядом друг с другом за столом, поэтому я подхожу к ним сзади и прислушиваюсь. Вэс откидывается на стуле, скрестив руки на груди. Будучи 6 футов 3 дюйма ростом и при весе больше 250 фунтов, он отбрасывает тень на большую часть людей в комнате. Кажется, что он находится в постоянном движении и всегда говорит все, что думает.
Патти – его абсолютная противоположность. Вэс – громкий, кричащий и всегда рубит с плеча, Патти же очень задумчива, имеет аналитический склад ума и жестко придерживается принятых процедур и процессов. Вэс – огромный, воинственный и вздорный, Патти же миниатюрная, логичная и очень последовательная. Она имеет репутацию женщины, которая любит правила больше, чем людей, и занимает позицию человека, который пытается привнести хоть немного порядка в хаос IT-отдела.
Она – лицо всего IT-отдела. Когда что-то идет не так с IT, люди звонят Патти. Она – наш профессиональный извиняльщик, когда сервисы рушатся, Интернет слишком медленно работает, или, как сегодня, когда утеряны или разрушены какие-то данные.
Также все звонят Патти, когда необходимо сделать какую-то простую работу – вроде обновить Windows на компьютере, поменять номер телефона или установить новое приложение. Она составляет все графики сроков сдачи дел, поэтому люди всегда пытаются к ней подмазаться, чтобы их проблемы были решены первыми. Она может передать эти задания сотрудникам, которые, собственно, и выполняют работу. Чаще всего они попадают в мою старую группу или группу Вэса.
Вэс обрушивается на стол, говоря: «Просто позвоните производителям и скажите им, что если они не доставят сюда новое оборудование, мы уйдем к их конкурентам. Мы одни из их самых крупных клиентов! Мы вообще уже должны были отказаться от этого дерьма, подумайте об этом».
Он смотрит по сторонам и шутит: «Вы знаете, как это говорится, да? Как определить, что производитель врет? Если у него губы шевелятся».
Один из инженеров напротив Вэса говорит: «Они сейчас на телефоне. Говорят, что минимум через часа четыре они смогут предоставить нам своего инженера SAN».
Я хмурюсь. Почему они говорят о SAN? Сеть хранения данных (SAN) предоставляет собой централизованное хранилище для большинства критических систем, поэтому ее обвалы носят обычно глобальный характер – практически не может быть такого, чтобы обвалился только один сервер, чаще всего в таких случаях одновременно выходят из строя сотни серверов.
Пока Вэс спорит с инженером, я пытаюсь подумать. Ничто в провале зарплатной системы не похоже на проблему из области SAN. Энн предположила, что что-то случилось с хронометрическими приложениями, поддерживающими каждый из наших заводов.
«Но после того, как мы попытались откатить SAN, система прекратила обслуживать данные вовсе, – говорит другой инженер. – Затем на мониторе стали выскакивать надписи на кандзи! Ну, мы подумали, что это кандзи. Что бы это ни было, мы ничего не могли разобрать в этих каракулях. В этот самый момент мы решили, что было бы неплохо привлечь собственно производителей к этому делу».
Хотя я слышу разговор не с самого начала, я абсолютно уверен, что мы на ложном пути.
Я наклоняюсь и шепчу на ухо Вэсу и Патти: «Можно вас на минутку, ребята?»
Вэс оборачивается и громко говорит: «Это не может подождать? Если вдруг ты не заметил, у нас здесь небольшая проблемка».
Я кладу руку ему на плечо. «Вэс, это действительно важно. Это о сбое системы расчета зарплаты и касается разговора, который у меня только что состоялся со Стивом Мастерсом и Диком Лондри».
Он выглядит удивленным. Патти уже вскочила с кресла. «Пойдемте в мой кабинет», – говорит она, ведя нас за собой.
Войдя за Патти в ее кабинет, я вижу на стене фотографию ее дочери, которой, по моим прикидкам, около одиннадцати лет. Я поражен тем, как сильно она похожа на Патти – бесстрашная, невероятно умная и обворожительная, – и, если честно, это немного пугает в такой милой маленькой девочке.
Резко Вэс говорит: «Итак, Билл, что такого важного случилось, что ты счел необходимым прервать обсуждение восстановления системы после сбоя первой степени?»
Это неплохой вопрос. Отказ первого уровня – это серьезная угроза для компании, и она настолько разрушительна для бизнес-процессов, что обычно мы бросаем все дела, чтобы решить возникшую проблему. Я делаю глубокий вдох. «Не знаю, слышали ли вы, но Люк и Дэймон больше не работают в компании. Официальная причина – они решили немного отдохнуть от дел. Больше я ничего не знаю».
Их удивленные лица подтверждают мои опасения. Они не знали. Я кратко пересказываю утренние события. Патти качает головой.
Вэс выглядит сердитым. Он работал с Дэймоном долгие годы. Его лицо краснеет. «Теперь предполагается, что мы должны получать приказы от тебя? Слушай, без обид, друг, но разве ты немного не… ммм… не того уровня? Ты руководил внутренними операциями среднего уровня, абсолютно древними, годами. Ты создал милую небольшую группу. И знаешь что? Ты абсолютно никакого представления не имеешь, как работают современные распределительные системы – для тебя 1990-й, это до сих пор будущее!
Без обид, – говорит он, – но я думаю, у тебя голова взорвалась бы, если бы ты жил в том постоянном хаосе и сложностях, с которыми я сталкиваюсь каждый день».
Я выдыхаю, считая до трех. «Хочешь поговорить со Стивом о том, как ты мечтаешь о моей работе? Позволь мне тебя туда проводить. Или давай, может, сначала сделаем то, что требуется бизнес-отделу, и убедимся, что все получат плату вовремя?»
Патти быстро отвечает: «Я знаю, ты меня не спрашивал, но я тоже считаю, что инцидент с системой расчета зарплаты – это то, на чем сейчас нужно сосредоточиться. – Она делает паузу и затем продолжает: – Я думаю, что Стив сделал правильный выбор. Поздравляю, Билл. Когда мы можем поговорить об увеличении бюджета?»
Я благодарю ее кивком и улыбкой и пристально смотрю на Вэса.
Проходит пара мгновений, и на его лице появляется выражение, которое я не могу разобрать. В конце концов, он соглашается: «Да, хорошо. И я запомню твое предложение поговорить со Стивом. Ему есть что объяснить».
Я киваю. Думая о своем опыте общения со Стивом, я искренне желаю Вэсу удачи, если он действительно хочет с ним встретиться.
«Спасибо вам за поддержку, ребята. Я ценю это. Итак, теперь вопрос: что мы знаем о произошедшем сбое или сбоях? Говорят, виноват сбой во вчерашнем обновлении SAN? Эти события связаны?».
«Мы не знаем, – Вэс качает головой. – Мы пытались выяснить это, как раз когда ты вошел. Мы были вчера посреди процесса обновления SAN, когда система расчета зарплаты обвалилась. Брент думал, что SAN повредил данные, поэтому он предложил откатить обновления. Мне это показалось осмысленным, но как ты знаешь, в итоге вся система превратилась в груду хлама».
Раньше я думал, что вот так вот «превратиться в хлам» может только что-нибудь небольшое, что типа когда обновления на мобильном телефоне установились неудачно. Использование этого выражения по отношению к оборудованию, которое стоит миллионы долларов и в котором хранятся все наши корпоративные данные, делает мне больно физически.
Брент работает на Вэса. Он всегда в центре важных IT-проектов. Я сталкивался с ним много раз. Он определенно очень умен, но из-за этого он порой бывает немного пугающим. Что хуже всего, так это то, что он абсолютно всегда прав.
«Ты слышал их, – говорит Вэс, указывая на людей за столом. – SAN не запускается, не обрабатывает данные, а наши ребята даже не могут прочитать сообщения об ошибке, потому что они отражаются на странном языке. То есть у нас на руках несколько обрушенных баз данных, включая, конечно же, и систему расчета заработной платы».
«Чтобы решить проблему SAN, нам пришлось оторвать Брента от работы над «Фениксом», которую мы обещали проделать для Сары, – говорит Пати зловеще. – Скоро здесь начнется настоящий ад».
«Так. Что конкретно мы ей обещали?» – спрашиваю я встревоженно.
Сара – старший вице-президент по розничным продажам, и она также работает на Стива. Она имеет неприятную привычку обвинять других людей в своих провалах, особенно коллег из IT-отдела. Годами она умудряется избегать любого вида реальной ответственности.
Хотя ходили слухи, что Стив растит ее как свою преемницу, я всегда был уверен, что это абсолютно невозможно. Я думаю, что Стив не может быть настолько слеп.
«Сара услышала от кого-то, что мы опоздали с созданием нескольких виртуальных машин для Криса, – отвечает она. – Мы бросили все, чтобы доделать ту работу. Ну, до тех пор пока мы не бросили все, чтобы восстановить SAN».
Крис Аллерс, наш старший вице-президент отдела разработок, ответственен за создание и развитие приложений под нужды бизнес-отделов, а после него эти приложения попадают к нам на поддержку и доработку. Жизнь Криса полностью подстроена под проект «Феникс».
Я чешу голову. Как компания мы вложили огромные средства в виртуализацию. Хотя это выглядит сверхъестественно, виртуализация изменила все правила игры в мире Вэса. Внезапно ему больше не пришлось управляться с тысячами физических серверов. Теперь они были лишь логическими инстансами внутри одного большого железного сервера, а могли и вовсе располагаться где-то в облаке.
Создание нового сервера теперь лишь дело клика мышкой внутри специальной программы.
Монтаж кабеля? Теперь это настройка конфигурации. Но, несмотря на обещания, что виртуализация решит все наши проблемы, вот они мы – все еще не можем предоставить Крису необходимые виртуальные машины вовремя.
«Если Брент нужен нам для работы над проблемой SAN, держите его там. Я справлюсь с Сарой, – говорю я. – Но если ошибка системы расчета зарплаты была вызвана SAN, почему мы не видим других столь же масштабных ошибок и обвалов?»
«Сара определенно будет не рада. Ты знаешь, я вдруг совершенно расхотел твою должность, – говорит Вэс, громко смеясь. – Смотри, как бы тебя не уволили в первый же день. Думаю, вслед за этим они придут за мной! – Вэс останавливается, чтобы подумать. – Ты знаешь, а тебе пришла неплохая идея. Брент работает над проблемой прямо сейчас. Пойдем к нему и узнаем, что он сам думает».
Мы с Патти киваем. Это хорошая идея. Мы должны построить полную и последовательную цепь событий. Пока же мы делаем предположения, исходя из слухов и догадок.
Это не работает при расследовании преступлений, и это определенно не работает при попытках разобраться в сбоях системы.
Глава 3 Хрупкая система
Вторник, 2 сентября
Я иду за Вэсом и Патти в глубину здания. В конце концов мы приходим в гигантский офис, объединяющий шесть стандартных кабинетов. Вдоль одной из стен располагается большой стол с множеством клавиатур и огромных мониторов, вроде рабочего места трейдера с Уолл-стрит. Повсюду башни из серверов, мигающих разными огоньками. Каждый сантиметр стола покрыт мониторами, на которых показываются графики, окна авторизации, текстовые редакторы, вордовские документы и еще бесконечное количество приложений, которых я не знаю.
Брент печатает что-то в одном из открытых окон, не обращая внимание на происходящее вокруг. Из его телефона раздаются звуки с обсуждения в NOC. Его, очевидно, не заботит, что звуки громкой связи могут помешать его соседям.
«Привет, Брент. Есть минутка?» – спрашивает Вэс, кладя руку ему на плечо.
«А это не может подождать? – отвечает Брент, даже не подняв глаза. – Я вроде как немного занят прямо сейчас. Работаю над проблемой с SAN, слышал?»
Вэс хватает стул. «Да, именно об этом мы и хотели поговорить».
Когда Брент оборачивается, Вэс продолжает: «Расскажи мне еще раз о вчерашнем вечере. Что привело тебя к выводу, что именно обновление SAN вызвало сбой в работе системы расчета зарплаты?»
Брент закатывает глаза: «Я помогал одному из инженеров SAN с обновлением прошивки, когда все ушли домой. Это заняло намного больше времени, чем мы думали, – все работало не так, как должно было. Ситуация была уже довольно напряженной, когда мы наконец-то закончили часов около семи.