Принцип черного ящика - Мэтью Сайед 20 стр.


"Испугаться и исправиться" – это метафора, но прежде всего это предостережение.

3

В 1999 г. американское телевидение показало документальный фильм "Испугаться и исправиться: 20 лет спустя". На сей раз в качестве рассказчика выступил не Питер Фальк, а Дэнни Гловер. Зрителям показали, как сложились судьбы всех семнадцати худеньких подростков, которых мы видели в первом фильме. Результаты программы казались такими же чудесными, как и 20 лет назад.

Многие участники ленты рассказывали, как им живется сейчас. Почти все утверждали, что трехчасовое посещение тюрьмы Рауэй два десятилетия назад круто переменило их жизнь. Теренс, чернокожий юнец, угонявший машины и грабивший магазины, иногда читает проповеди в местной баптистской церкви, у него есть жена и двое сыновей. "Вполне вероятно, что если бы я не побывал тогда в Рауэе, то попал бы за решетку и сейчас был бы мертв", – говорит он.

Лори – в первом фильме это 16-летняя девушка с широкой улыбкой и большими серьгами, торговавшая наркотиками, – теперь бухгалтер и мать, ей уже 36 лет. "Тем утром я думала, что это повод прогулять уроки, – говорит она. – Прежде я никогда ничего не боялась… В тот день я поняла, что больше не хочу быть неучем… Я стала чаще ходить в школу…"

Анджело, парню с нечесаными волосами и тонкими усиками, стукнуло 37 лет. Он зарабатывает на жизнь настиланием полов, у него трое детей. Он говорит: "Если бы я не поехал тогда в Рауэй, мне пришлось бы несладко. Если бы тот день был другим, у меня не было бы моей семьи. Сейчас моя семья для меня – это все лучшее, все самое прекрасное, что есть на свете".

Так феномен "Испугаться и исправиться" был подан миллионам телезрителей. Статистика тоже вроде бы подтверждала успех этой программы. Ее разработчики позаботились о том, чтобы собрать информацию, что редко делают в других социальных программах.

Согласно статистике, от 80 до 90 % участников "Испугаться и исправиться" действительно исправились. В документальном фильме сказано: "Это потрясающая история успеха. Традиционные методы реабилитации так хорошо не работают".

Но если мы оглянемся назад, на 1977 г., начнет проявляться совсем другая картинка. В апреле 1977 г. профессор Ратгерской школы уголовной юстиции Джеймс Финкенауэр решил протестировать программу "Испугаться и исправиться". Статистика наблюдений его не интересовала. Ученый знал, что она может ввести в заблуждение. Его также не интересовали шумиха и тщательно смонтированные документальные фильмы. Он хотел знать, работает ли программа на самом деле. Если коротко, он хотел провести РКИ.

Сегодня Финкенауэр – седовласый мужчина с пытливым взглядом. Он опубликовал десятки статей и получил несколько наград за свои исследования. Его рассуждения поражают: он говорит осторожно, взвешенно, всегда прислушиваясь к собеседнику. В нем есть что-то от лазера: Финкенауэр пытается пробиться сквозь слой заблуждений к истине, которая лежит под ним. Все эти качества помогли ему препарировать феномен "Испугаться и исправиться" научным методом.

Но прежде чем проводить РКИ, Финкенауэр проверил существующую статистику программы. Откуда взялись 80–90 % исправившихся детей? Профессор обнаружил, что эти цифры базируются на опроснике, который был разослан родителям и опекунам подростков, посещавших Рауэй. (Еще одним источником информации стали письменные благодарности финансировавших программу агентств, посылавших детей в Рауэй. Эти письма доверия не заслуживали. У агентств могли быть сотни скрытых причин верить в успех программы.)

Опросник содержал четыре вопроса, подразумевавших ответы "да" или "нет":

Заметили ли вы явные перемены в поведении вашего ребенка после посещения тюрьмы?

Наблюдаются ли в его поведении незначительные изменения после посещения тюрьмы?

Считаете ли вы, что вашему сыну или вашей дочери необходимо еще одно такое посещение?

Можем ли мы чем-то помочь вам, вашему сыну или вашей дочери?

Ниже было оставлено место для комментариев [189].

Что такое "явные перемены"? А "незначительные изменения"? Эти понятия можно ведь истолковать как угодно. Финкенауэр выявил также любопытный факт: многие дети, посещавшие тюрьму Рауэй, не были малолетними преступниками и не склонялись к антисоциальному поведению. И если они не совершали впоследствии никаких преступлений, это вряд ли можно рассматривать как успех программы. Более того, опросники рассылались родителям через несколько недель после посещения тюрьмы их детьми. Судить об изменениях в поведении за столь короткий промежуток времени невозможно.

И это была лишь малая часть претензий. Как выяснилось, основной массив статистических данных нельзя принимать всерьез. Прежде всего, в статистику были включены только те, кто ответил на опросник. Тех, кто не ответил, словно бы и не было. Только представьте, как эта ошибка могла повлиять на результат. Не исключено, что на вопросы ответили родители только тех детей, которые действительно исправились. Матери и отцы подростков, продолжавших вести себя плохо, могли просто выбросить опросник; по крайней мере, ответивших среди них было явно меньше. Все это, вполне вероятно, исказило статистику.

Данный тип ошибки известен как "систематическая ошибка отбора", и мы с ним уже сталкивались. Почти та же проблема существовала в средневековой медицине: доказывая эффективность кровопускания, врачи учитывали только пациентов, которые выздоровели. "Доказательная база" представлялась убедительной, но оставалась опасно неполной. Те, кто кровопускания не пережил, права голоса не получали. Почему? Потому что они были мертвы.

Другая проблема статистики программы "Испугаться и исправиться" была еще хуже. Она имела отношение к контрфактическим данным. Даже если бы на опросники ответили все без исключения (чего не было), мы по-прежнему не могли бы утверждать, что результаты обусловлены программой и ничем иным. Может быть, поведение подростков улучшилось бы и без внешнего вмешательства. Или оно улучшилось, потому что улучшилась местная экономическая ситуация, потому что изменилась школьная программа, по какой-то другой причине. Возможно, результаты были бы лучше, если бы вмешательства не было.

В августе 1978 г. Финкенауэр случайным образом разделил малолетних преступников на две группы. Одна группа участвовала в программе "Испугаться и исправиться". Другая (контрольная) группа – нет. После этого Финкенауэр стал ждать результатов. Невзирая на шумиху вокруг программы, на звезд, которые ее пропагандировали, хитроумный пиар, оскароносный документальный фильм, похвалы политиков, слова благодарности тюремного персонала и распространение программы по миру, профессор был первым, кто подверг программу серьезному испытанию на прочность.

Результаты стали сенсацией. Программа "Испугаться и исправиться" не работала. Дети, посетившие Рауэй, были более склонны к совершению преступлений, чем те, кто в программе не участвовал. "Факты доказывают: участники программы совершали новые проступки с большей вероятностью, чем те, кто в тюрьму не ездил, – говорит Финкенауэр. – Если сравнить контрольную группу с группой участников, выводы очевидны".

Для многих эти выводы стали сюрпризом. Программа казалась успешной. Логика выглядела убедительной. Родители буквально в один голос твердили, что их дети "вылечились". Ответы на опросник тоже казались достоверными. Однако все то же самое говорили и о кровопускании. Только благодаря РКИ мы смогли устранить двусмысленность и увидеть, насколько эффективна программа на самом деле.

По словам Финкенауэра:

Люди были убеждены в успехе "Испугаться и исправиться", потому что на интуитивном уровне принцип казался верным. Людям нравится думать, что дети перевоспитаются, услышав от уголовников суровую правду о тюрьме. Но в реальности склонность к преступлению – более сложная штука. Подростки идут на преступления по множеству разных, часто скрытых, причин. Оглядываясь назад, можно утверждать, что трехчасовой визит в тюрьму проблему не решает.

Намерения заключенных были благородными: они и правда хотели, чтобы дети исправились. Однако последствия программы оказались непредсказуемы. Судя по всему, увиденное и услышанное ожесточило подростков. Возможно, многие дети впоследствии совершали преступления, чтобы доказать себе и товарищам, что так просто их не запугаешь [190].

Люди, поддерживавшие программу "Испугаться и исправиться", яростно набросились на Финкенауэра и его исследование. Судья Никола, хваливший программу в документальном фильме, сказал: "Она [программа] не нуждается в защите". Роберт Дж. Макалешер, консультант программы "Испугаться и исправиться", высказался куда более зло: "Нам интересно, что побуждает дилетантов [то есть Фин-кенауэра] оспаривать нашу интеллектуальную честность и привлекать внимание общественности бессмысленной статистикой, которая выдается за результат научного исследования" [191].

Эти реакции были в определенном смысле предсказуемы. Когда нам приводят факты, которые ставят под сомнение то, во что мы сильно верим, мы склонны скорее отвергать эти факты или набрасываться на того, кто их приводит, но не менять образ мысли. Действительно, многие апологеты "Испугаться и исправиться" отреагировали на результаты РКИ Финкенауэра заявлениями о том, что теперь они убеждены в эффективности программы еще больше, чем раньше. Именно эту реакцию предсказывает теория когнитивного диссонанса.

Впрочем, программа продолжала притягивать и тех, кто ничем ей обязан не был, – их влекло к ней, как мотыльков к огню. Факты доказывали, что программа дает результат, обратный заявленному, но нарратив "грубые заключенные удерживают детей от преступлений" слишком заманчив, чтобы можно было его отвергнуть. В 1980-х гг. похожие на "Испугаться и исправиться" программы появились в штатах Джорджия, Южная Каролина и Висконсин. Впоследствии их примеру последовали Нью-Йорк, Виргиния, Аляска, Огайо и Мичиган [192].

Исследования Финкенауэра будто и не было.

В 1990-х аналогичные программы процветали. Полицейское управление Лос-Анджелеса задействовало схему, в рамках которой проблемные дети посещали городскую тюрьму, где их запугивали заключенные. Вскоре идея была экспортирована в Великобританию, Австралию и Норвегию.

Между тем со временем статистики не в пользу программы становилось все больше. РКИ по итогам программ, аналогичных "Испугаться и исправиться", проводились по всей Америке. Испытания подтверждали результат Финкенауэра: программа не работает. Зачастую она калечит психику ребенка. Одно РКИ показало 25-процентное увеличение числа преступлений в основной группе по сравнению с контрольной.

Но все это словно ничего не значило. Привлекательный нарратив был интереснее скучной статистики [193].

Программу превозносили и правительственные чиновники. В 1994 г. программу-аналог "Испугаться и исправиться" в Огайо официально похвалил департамент ювенальной юстиции и предупреждения преступности США. Искажения нарратива не избежали и эксперты. В 1996 г., спустя почти 20 лет после РКИ Финкенауэра, газета The New York Times сообщила, что программа находится на пике популярности – тюрьму Рауэй посещают десять групп в неделю (12 500 подростков в год).

Однако в 2002 г. в дело вмешалась международная некоммерческая организация Campbell Collaboration, работающая с политическими стратегиями, основанными на фактах. Она выпускает буклет с информацией по проводимым рандомизированным испытаниям. Систематический обзор, объединяющий результаты разных РКИ (семь из них стали основой для так называемого метаанализа), – золотой стандарт научного тестирования. Campbell Collaboration провела окончательное испытание программы на прочность [194].

Вы наверняка понимаете, что было дальше. Результаты говорят сами за себя. Программа "Испугаться и исправиться" не работает. Она способствует росту преступности. Некоторые исследования заставляют думать, что этот рост может составлять 28 % [195]. Смягчая выражения, можно сказать, что сотрудники Campbell Collaboration поставили крест на всей концепции: "Мы делаем вывод, что программы вроде "Испугаться и исправиться" с большой вероятностью вредят обществу и увеличивают преступность… Лучше не делать вообще ничего, чем подвергать подростков воздействию данной программы" [196].

Программа "Испугаться и исправиться" во многих отношениях обогнала свое время. В отличие от многих социальных программ, результаты которых вообще не анализируются, этот проект действительно рассылал опросники и собирал статистику. Однако, как мы видели на примере практиковавшегося в Средние века кровопускания, данные наблюдений не всегда обеспечивают нас достоверной информацией. Часто нужно проводить контрфактические испытания. В противном случае вы можете навредить людям, даже не отдавая себе в этом отчет.

Это и есть главный вывод. Не обязательно сознательно обманывать кого-то или скрывать свои ошибки, чтобы образовался порочный круг неудач. Иногда ошибки совершаются у всех на виду – и мало кто их замечает: люди не знают, как работать с информацией, или подсознательно не хотят этого делать.

Часто ли мы испытываем наши проекты и стратегии на прочность? Часто ли тестируем наши взгляды и представления? Как уже говорилось, в области медицины проведено около миллиона рандомизированных испытаний. В системе уголовного правосудия их почти не было. Социальная политика почти повсеместно базируется на нарративе, на догадках, на непроверенных идеях – и статистике наблюдений, которая искажается в пользу заранее сделанных выводов.

Замкнутые циклы – не просто занятный феномен, они точно (подчас убийственно точно) описывают мир, в котором мы живем.

1 января 1982 г. в дом, где жила 19-летняя Мишель Мика, проник неизвестный. Он порылся в вещах в нескольких комнатах, взял с кухни длинный нож, вошел в спальню, где спала Мишель, и убил ее. Позднее мать нашла ее лежащей ничком на кровати; из спины Мишель торчал нож. Убив девушку, неизвестный занялся удовлетворением своих сексуальных фантазий. Мотив был ясен [197].

Прошло больше 25 лет, и 17 марта 2007 г. полиция арестовала Анджело Специале, 45-летнего жителя городка Хэкензак, штат Нью-Джерси. Специале был одним из 17 подростков – героев ленты "Испугаться и исправиться": тот самый мальчик с нечесаными волосами и тонкими усиками, грабивший магазины в своей округе. Появлялся Анджело и в фильме, снятом через 20 лет; к тому времени у него было трое детей и он зарабатывал на жизнь, настилая полы.

Как и почти все люди, проинтервьюированные для фильма "Испугаться и исправиться: 20 лет спустя", Специале утверждал, что посещение Рауэя изменило его жизнь. В его голосе звучало вдохновение: "Если бы я не поехал тогда в Рауэй, мне пришлось бы несладко". Дэнни Гловер за кадром прибавлял: "Анджело, 37 лет, стал законопослушным семьянином".

Реальность, однако, была совсем другой. В 2005 г. Специале был арестован за мелкую кражу в магазине, и полиция получила образец его ДНК. При рутинной проверке полицейские обнаружили, что этот образец совпадает с ДНК из спермы, найденной в трупе Мишель Мики. Как выяснилось, на момент убийства Мика и Специале жили друг напротив друга в двухквартирном доме на авеню Тинэк.

Создатели документальной ленты не вводили зрителей в заблуждение: они не могли знать, что Специале обманывал их, когда тот говорил, что "исправился". Они и подумать не могли, что через три года после посещения тюрьмы Рауэй Анджело Специале изнасиловал и убил 19-летнюю девушку. Это преступление удалось раскрыть лишь при помощи теста ДНК.

Однако создатели фильма знали другое. Уже в начале 1980-х было известно, что программа "Испугаться и исправиться" способствовала росту преступности. И все-таки они продолжали снимать хвалебные ленты об этом проекте. Американская кабельная и спутниковая сеть A&E запустила новый сериал "Испугаться и исправиться: и вновь они" (Beyond Scared Straight) в 2011 г. К 2014 г. на телеэкраны вышел восьмой сезон. Продюсер Арнольд Шапиро (он был режиссером оригинальной ленты 1978 г.) все еще защищает программу, невзирая на то, что факты говорят против нее. По его мнению, сегодня концепция "Испугаться и исправиться" сосредоточивается на беседах, а не на страхе. Однако логика "шоковой терапии" в тюрьме всегда базировалась на страхе. Вот что писал об этом сайт Daily Beast:

Телесериал делает упор больше на ужасы тюремной жизни, чем на обсуждения. В начале серии, которая снималась в мэрилендской тюрьме Джессап, 50-летний заключенный, осужденный за убийство при отягчающих обстоятельствах, рычит на 17-летнего преступника: "Не улыбайся в тюряге никому – как улыбнешься, человек решит, что он тебе нравится, а если тебе нравится другой зэк, значит, дела твои плохи!"

За три часа, проведенные в тюрьме Рауэй в 1978 г., Специале пережил разные унижения, и одно из них в ретроспективе, кажется, впечатляет особо. Анджело заставили прочитать другим подросткам газетное сообщение о том, как один арестант напал на другого с ножом. "В Рауэе заключенный заколол сокамерника, – дрожащим голосом читает 17-летний Специале. – Один заключенный несколько раз ударил другого ножом в шею, грудь, голову и спину. Робинсон был доставлен в больницу Рауэя, где скончался".

Нет доказательств того, что между унижением, которое Специале испытал в 1978 г. в Рауэе, и тем фактом, что он совершил похожее преступление несколькими годами позже, есть какая-то связь. Это почти определенно совпадение. Но мы знаем, что при посещении тюрем в рамках программы "Испугаться и исправиться" средний подросток испытывает огромный стресс. Мы знаем об этом уже почти тридцать лет.

В 2010 г. Специале признал себя виновным в изнасиловании и убийстве и был приговорен к 25 годам тюремного заключения [198]. Так он вновь попал в Рауэй, туда, где началась эта история – очень страшная и предостерегающая нас от совершения похожих ошибок. Но самая ужасная ирония, вскрывающая самую суть феномена замкнутого цикла, заключается в том, что вскоре Специале вновь сможет участвовать в программе "Испугаться и исправиться" – теперь уже в качестве заключенного, пугающего тюрьмой следующее поколение малолетних преступников.

Назад Дальше