Если вы сравните результаты двух тестов девочки, количество набранных баллов должно остаться стабильным или, в лучшем случае, увеличиться. Но если она наберет меньше баллов, чем в прошлом году, будет очень просто увидеть разницу между ее результатами и результатами более успешных учеников.
Но насколько эта разница возникла по вине учителя? Сложно сказать, и модели MPR располагают лишь несколькими числами для сравнения. В компаниях Больших данных, таких как Google, напротив, исследователи проводят постоянные тесты и отслеживают тысячи переменных. Они могут изменить шрифт рекламного объявления с синего на красный, испытать каждую версию на десяти миллионах пользователей и отследить, на какую из версий пришлось больше кликов. Они используют этот отклик, чтобы оттачивать свои алгоритмы и их действия. И хотя у меня есть много претензий к Google (до этого мы еще доберемся), нельзя не признать, что такой тип тестирования это эффективное использование статистики.
Попытка подсчитать, какое воздействие один человек может иметь на другого в течение учебного года, гораздо более сложная задача. «Есть столько факторов, которые вмешиваются в процесс обучения, что проанализировать их крайне сложно», говорит Высоцки. Более того, попытка оценить эффективность учителя, проанализировав результаты тестов всего лишь 25 или 30 учеников, статистически несостоятельна и просто смехотворна. Эти числа слишком малы, учитывая потенциальное количество вариантов, в которых «что-то пошло не так». В самом деле, если бы мы анализировали учителей со статистической тщательностью интернет-поисковика, нам пришлось бы привлечь для теста тысячи или даже миллионы случайно выбранных учеников. Специалисты по статистике оперируют большими числами, чтобы сбалансировать исключения и аномалии. (И ОМП, как мы увидим, зачастую наказывает тех, кто оказывается исключением.)
Что не менее важно, статистические системы требуют ответной реакции чтобы вовремя увидеть, что алгоритмы сбились с курса. Специалисты по статистике используют ошибки, чтобы «натренировать» свои модели и сделать их более интеллектуальными. Если Amazon.com в результате ошибочной корреляции начнет предлагать девочкам-подросткам книги по уходу за лужайками, количество кликов резко снизится и алгоритм будет оттачиваться, пока заново не настроится. Без обратной связи, однако, статистический механизм может и дальше работать с ошибками и искажать анализ, при этом не обучаясь на этих ошибках.
Многие компоненты ОМП, которые я буду обсуждать в этой книге, включая систему оценки прогресса учеников, введенную школьным округом Вашингтона, ведут себя именно так. Они предлагают собственное определение реальности и исходят из него, чтобы оправдать свои результаты. Это самовозобновляющийся, крайне деструктивный и весьма распространенный тип модели.
Многие компоненты ОМП, которые я буду обсуждать в этой книге, включая систему оценки прогресса учеников, введенную школьным округом Вашингтона, ведут себя именно так. Они предлагают собственное определение реальности и исходят из него, чтобы оправдать свои результаты. Это самовозобновляющийся, крайне деструктивный и весьма распространенный тип модели.
Когда система оценивания MPR объявляет Сару Высоцки и 205 других учителей бездарностями, город их увольняет. Но откуда система узнает, что она выдала правильный результат? Ниоткуда. Сама система определила их как бездарностей и именно в таком качестве они и рассматриваются. Двести шесть «плохих» учителей уходят. Один этот факт призван продемонстрировать эффективность оценивающей модели ведь она избавляет школьный округ от недостаточно хорошо работающих учителей. Вместо того чтобы искать правду, система оценки становится ее воплощением.
Это один из примеров петли обратной связи ОМП. В этой книге мы увидим и множество других примеров подобных петель. Работодатели, например, все более широко используют кредитную историю соискателей для оценки потенциальных новых работников. Считается, что люди, которые вовремя платят по кредитам, с большей вероятностью будут следовать правилам и не опаздывать на работу. На самом деле есть множество ответственных людей и хороших работников, которым случалось пережить неудачное стечение обстоятельств, от которых пострадала их кредитная история. Но убеждение в том, что плохая кредитная история коррелирует с плохим исполнением рабочих обязанностей, оставляет людям, имевшим проблемы с выплатами кредитов, гораздо меньше шансов найти работу. Безработица подталкивает их к бедности, что еще сильнее ухудшает их кредитную историю и еще сильнее понижает шансы на получение работы. Это спираль, ведущая вниз. Работодатели никогда не узнают о том, какое количество хороших работников они потеряли из-за того, что сосредоточились на кредитной истории кандидатов. В ОМП многие вредные установки прикрываются математикой и с этого момента практически не проверяются и не подвергаются критическому анализу.
Это подчеркивает еще одну распространенную особенность ОМП: это оружие имеет свойство наказывать бедных. Отчасти это происходит из-за того, что ОМП разработано для того, чтобы оценивать большие массы людей. Оно специализируется на больших числах, и оно дешево. Это часть его привлекательности. К богатым же людям, с другой стороны, зачастую используется индивидуальный подход. В привилегированной юридической фирме или в частном детском саду личные рекомендации и личные встречи будут значить больше и случаться гораздо чаще, чем в сети ресторанов быстрого питания или в испытывающем финансовые трудности городском школьном округе. Мы постоянно видим, что привилегированные слои обслуживаются и анализируются людьми, а массы машинами.
Неспособность Высоцки найти хоть кого-то, кто мог бы объяснить, почему она получила столь ужасный результат, тоже говорит о многом. Вердикты от ОМП подобны велениям неких алгоритмических богов. Сама модель представляет собой черный ящик, а его содержимое яростно оберегаемая корпоративная тайна. Это позволяет таким консультантам, как MPR, брать больше денег за свою работу, но также служит и другой цели: считается, что, если людям, которых оценивают, ничего не объяснять, они с меньшей вероятностью будут пытаться обыграть систему. Вместо этого они просто будут усердно работать, следовать правилам и молиться, чтобы модель признала и оценила их усилия. А если детали скрыты, то становится сложнее поставить под сомнение результат или опротестовать его.
Не один год учителя Вашингтона жаловались на произвольные результаты и требовали разглашения принципов подсчета. Им отвечали, что это очень сложный алгоритм, и такой ответ сам по себе уже отпугивал многих от дальнейших попыток разобраться. К сожалению, математика пугает многих. Но учитель математики Сара Бакс продолжила добиваться правды от администратора округа Джейсона Камраса. После переписки, длившейся несколько месяцев, Камрас предложил Бакс подождать технического доклада, который должен был вот-вот поступить. Бакс ответила: «Как вы можете оценивать людей с помощью процедуры, которую вы сами не в состоянии объяснить?» Но именно такова природа ОМП. Анализ перенаправлен программистам и специалистам по статистике. А они, как правило, предоставляют слово машинам.
При всем при этом Сара Высоцки была хорошо осведомлена о том, что в формуле имели большое значение результаты стандартизированного теста ее учеников. Именно здесь она подозревала наличие ошибки. Прежде чем начать свой последний учебный год в средней школе Макфарланда, она с радостью обнаружила, что ее будущие пятиклассники на удивление хорошо справились с итоговыми тестами четвертого класса. В начальной школе Барнарда, откуда пришли многие ученики Сары, уровень чтения 29 % учащихся был определен как «продвинутый», что в пять раз превышало средний показатель по городскому школьному округу.
Однако, когда начались занятия, выяснилось, что многие из ее учеников с трудом способны прочесть простое предложение. Много позднее журналистские расследования, проведенные газетами The Washington Post и USA Today, выявили высокий уровень исправлений в ответах стандартизированных тестов в 41 школе округа, включая школу Барнарда. Высокий уровень исправленных ответов указывает на большую вероятность подделки результатов. В некоторых школах под подозрение попало до 70 % классов.
Какое отношение это имеет к ОМП? Тут важны два фактора. Во-первых, алгоритмы оценки учителя мощный инструмент для корректировки поведения. Это, собственно, и есть цель этих алгоритмов, и в школах Вашингтона они олицетворяли собой как кнут, так и пряник. Учителя знали, что, если их ученики плохо напишут тесты, их собственные рабочие места окажутся под угрозой. Это давало учителям сильную мотивацию добиться того, чтобы их ученики нормально справились с тестами, особенно после того, как на рынок труда обрушилась Великая рецессия. В то же время, если их студенты превзошли бы сверстников, учителя и администрация могли получить бонусы суммой до восьми тысяч долларов. Добавьте эти мощные мотивационные элементы к уликам в деле большому количеству исправлений и аномально высоким результатам, и вы получите основания подозревать, что учителя четвероклассников либо из страха, либо из жадности подделали результаты экзаменов своих учеников.
Таким образом, вполне вероятно, что ученики Сары Высоцки начали учебный год с искусственно завышенными результатами. В таком случае результаты их тестов в конце года вполне могли показать, что у них существенно снизился уровень результатов то есть что учителя пятого класса недостаточно хорошо их обучали. Высоцки убеждена, что именно это с ней и случилось. Это объяснение хорошо укладывалось в наблюдения родителей, коллег и директора, которые в один голос утверждали, что она очень хорошая учительница. Если бы учительницу уволили люди, это можно было бы оспорить. У Сары Высоцки были очень веские основания для апелляции.
Но апеллировать к оружию математического поражения невозможно. Это часть его пугающей силы. Оно ни к кому не прислушивается и ни перед кем не отступает. Оно глухо не только к лести, угрозам и уговорам, но и к логике, даже когда есть хорошие основания усомниться в информации, которая послужила основной их выводов. Да, если становится очевидно, что автоматическая система выдает настолько неверные результаты, что это бросается в глаза, программисты все-таки доработают алгоритмы. Но по большей части программы изрекают вердикты, не подлежащие обжалованию, а обслуживающие их люди могут только пожимать плечами, словно хотят сказать: «Ну что же тут поделаешь?»
Именно этот ответ Сара Высоцки и получила от школьного округа. Джейсон Камрас позже сообщил Washington Post, что исправления были «подозрительными» и что цифры у ее пятого класса могли быть неверными. Но эти свидетельства не были достаточно убедительными. По его мнению, с Сарой поступили справедливо.