В 2011 году исследователи-психологи Джо Симмонс, Лейф Нельсон и Ури Симонсон опубликовали великолепную работу, в которой показали, что использование четырех степеней свободы и доля креативности почти наверняка приведут любые убедительные доказательства к вероятности р < 0,05, даже если проверяемая гипотеза неверна [11]. Даже если для проверки своей идеи множеством разных способов исследователь использует случайные данные, его шанс достичь желаемого эффекта значительно превышает 5 % – и он может затем опубликовать тот вариант, который дал нужные результаты. Симмонс с коллегами демонстрируют, что очень небольшое количество степеней свободы позволяет поднять вероятность получения значимого результата выше 50 % даже с использованием случайных данных. Другими словами, их исследование показывает, что более чем возможно работать в рамках установленных правил и прийти к желаемым, но неверным результатам.
Цитируемые журналы косвенно поддерживают недостоверные методы и подходы, которые встречаются в исследованиях. Они не требуют, чтобы ученые описывали полученные данные и эксперименты полностью, якобы потому, что это займет слишком много места. А чем больше субъективность в данной области, тем выше вероятность использования спорных методов исследований. Это означает, что в общественных науках они встречаются особенно часто.
В своей работе на ту же тему Лесли Джон, Джордж Лоуэнштейн и Дражен Прелеч провели опрос среди исследователей-психологов с использованием сложной процедуры, заставляющей людей отвечать честно. Они задавали вопросы об использовании ряда недостоверных исследовательских методов и подходов [12]. Их интересовало вот что: 1) замалчивание части зависимых величин, полученных в ходе исследования (результатов, которые были оценены); 2) принятие решения о том, собирать ли дополнительные данные, после проверки значимости полученных результатов; 3) замалчивание всех условий или вариантов исследования; 4) прекращение сбора данных раньше, чем предполагалось, поскольку желаемый результат уже получен; 5) округление уровня значимости в желаемую сторону (например, округление 0,054 до 0,05); 6) выборочная публикация результатов экспериментов, которые «сработали», и умолчание о том, что не получилось; 7) принятие решения об исключении данных после оценки влияния этого шага на результаты; 8) сообщение о том, что неожиданное открытие предполагалось с самого начала; 9) лживое заявление, будто на результаты не влияют демографические переменные (такие как пол), и 10) фальсификация данных. Последний пункт – это подтасовка, в которой были замешаны Хаузер и Стапель. Мы же поговорим о девяти других – их считают менее вредоносными.
По оценкам Лесли Джон и ее коллег, доля исследователей-психологов, которые используют спорные методы и подходы, разнится от 36 до 74 % для первых пяти пунктов, равна 13 % для девятого пункта и 9 % – для десятого. Даже если эти цифры завышены в два раза, использование исследователями недостоверных методов и подходов поражает. Мы приходим к очевидному выводу – велика вероятность того, что многие результаты, о которых сообщается в научной литературе и затем в СМИ, просто не соответствуют действительности.
Как мы докатились до такого состояния дел в общественных науках? Надо начать с того, что в последние годы конкуренция в науке неуклонно растет. Сегодня гораздо сложнее, чем 30 лет назад, когда я был младшим преподавателем, получить престижную должность в университете. Количество публикаций свежеиспеченных кандидатов наук, претендующих на свое место на рынке труда, огромно. И это отнюдь не странно. Ученые из лучших университетов имеют больше шансов привлекать внимание СМИ, получать высокие гонорары за выступления и выгодные контракты на книги – поэтому ставки на выигрыш хороших должностей высоки. В то же время редакторы журналов хотят публиковать «интересные» результаты. Для того чтобы напечатать больше статей на ограниченном количестве страниц, многие ведущие журналы сократили место, отведенное на публикацию подробностей методов исследования. Все эти факторы вместе мотивируют ученых использовать слишком много степеней свободы и не замечать нечестности своих поступков. Так происходило, по крайней мере, до тех пор, пока Симмонс, Джон и их коллеги не привлекли внимание общественности, наглядно продемонстрировав это в своих работах. Многие из нас, ученых, просто следовали советам своих учителей, предложениям редакторов журналов и стандартным схемам, принятым в нашей области. Мы шли по проторенной дорожке, и нам не приходило в голову остановиться и подумать о том, что мы сводим на нет сам смысл использования уровня значимости – критерия р < 0,05. Многих из нас эта прекрасная работа подтолкнула к тому, чтобы изменить свои методы и подходы, она показала, насколько важно описывать, как мы ведем свои лабораторные исследования.
Но не все психологи поддерживают мой энтузиазм по поводу реформирования исследовательских методов. Авторов этих двух работ широко критиковали за мелкие детали их системы. Например, доля ответивших на опрос, который провела Джон с коллегами, составила всего 36 %, что вызвало сомнения в репрезентативности выборки. Из-за этого может показаться, что результаты опроса были трагически завышены. Но стойте: кто с большей вероятностью заполнит анкету по исследовательской этике: ученые, соблюдающие ее правила, или те, кто их нарушает? Ответ на этот вопрос с достаточной очевидностью показывает, что оценки Джон и ее коллег, скорее, занижены.
Джон и ее команду также обвиняли в том, что они нарушили правила этики, чтобы привлечь к себе внимание, критиковали их и за то, что они не понимают основ исследовательских методов. Оба обвинения голословны: авторы работы – известные ученые, привыкшие быть в центре внимания, у всех у них длинные списки публикаций, демонстрирующие, что в методах они прекрасно разбираются. Критики подчеркивали те нередкие случаи, в которых спорные исследовательские методы и подходы вполне простительны, и обвиняли авторов в том, что те хотят разрушить социальную психологию как научную область. Они пытались оправдать нежелание предавать широкой огласке полученные выводы тем, что нельзя выносить сор из избы (то есть раскрывать секреты социальной психологии прессе). И, наконец, критики заявляли, что вместо претворения в жизнь необходимых реформ следует провести дополнительные исследования, особенно по проблеме степеней свободы. Наблюдая за всей этой возней, за попытками защититься и отложить насущные дела в долгий ящик, я с ужасом понял, что мои коллеги поступают в точности как представители американской табачной индустрии, как люди, отрицающие глобальное потепление, или как аудиторская отрасль – все они стараются противостоять позитивным изменениям в своих областях [13].
Проблема степеней свободы не ограничивается общественными науками и конкретными методами. Скорее, перед всеми учеными она ставит вопрос о том, как проводить исследования более честно. Ведь, говоря начистоту, мы выпустили некачественный продукт, и пресса жестко раскритиковала нас за это. Проблема степеней исследовательской свободы была объединена с проблемой фальсификации данных, а ведь это совершенно разные вещи. Но путаница налицо, и причина ее заключается в том, что психологи-исследователи закрывали глаза на внутренний конфликт интересов. Мы не смогли узаконить использование фальсифицированных данных, но сочли приемлемыми многие из методов и подходов, описанных Джон и ее коллегами. Это происходило по мере того, как учителя демонстрировали своим аспирантам, что многие из таких методов стандартны – что это всего лишь исследовательский эквивалент превышения скорости на пять километров в час.
Как найти решение
Давайте подумаем, какой из двух предложенных вариантов скорее приведет к успеху.
1. Аудиторам запретят устанавливать долгосрочные партнерские отношения с клиентами, предоставлять им неаудиторские услуги и переходить на работу в фирмы-клиенты.
2. После того как ряд факторов, заставляющих аудиторов идти навстречу своим клиентам, будет признан, в действие введут сложный набор законодательных и профессиональных стимулов для борьбы с порочным стремлением угодить клиентам.
Казалось бы, выбирать между этими двумя вариантами нечего: первый очевидно более разумен, чем второй. Однако многие десятилетия мы предпочитаем второй – по политическим причинам.
Хотя нет сомнения в том, что часть аудиторов осознаёт безнравственность своего поведения, большинство слишком часто совершает эгоистичные ошибки, которые заставляют их – как и многих из нас – видеть информацию в нужном свете. Из-за нередко субъективной оценки финансовых отчетов и близких отношений между фирмами и их клиентами даже самые честные аудиторы могут непроизвольно ошибаться в пользу клиента – маскируя его реальное финансовое положение и тем самым вводя в заблуждение инвесторов и даже менеджмент компании.
Шаги, которые значительно укрепят независимость аудиторов, представить себе на удивление просто.
1. Аудиторов следует нанимать на основе фиксированного контракта, условием которого является ротация как отдельных сотрудников, так и фирмы в целом. В период, определенный контрактом, клиенту нужно запрещать отказываться от услуг данной аудиторской фирмы. Кроме того, ему не должно быть разрешено привлекать того же аудитора по окончании срока действия договора (периода времени, определенного в законодательном порядке).
2. Когда клиент будет менять аудитора, персоналу, работающему в предыдущей аудиторской фирме, следует запрещать переходить в новую, чтобы продолжить обслуживать того же клиента.
3. Аудиторским фирмам не должно быть позволено предоставлять неаудиторские услуги.
4. Аудиторам, работающим с конкретным клиентом, нельзя разрешать устраиваться на работу в проверяемую фирму клиента в течение определенного срока.
Оппоненты не преминут заметить – и будут правы, – что такого рода реформы недешево обойдутся как аудиторским фирмам, так и их клиентам. Эти люди призывают провести оценку экономической эффективности, прежде чем что-то менять. Они знают, что убедительные, бесспорные эмпирические свидетельства предвзятости аудиторов найти невероятно сложно, если вообще возможно. Я же считаю, что выбирать следует не между нынешним положением вещей (а аудиторская отрасль инвестировала миллионы долларов в его лоббирование) и предлагаемыми реформами. Выбор должен исходить из того, нужен ли нашему обществу независимый аудит или нам стоит вообще отменить требование аудита. Если мы заинтересованы в независимом аудите, значит, пришло время реорганизации, и без масштабного пересмотра нынешней системы нам не достичь поставленной цели. Сегодня общество несет огромные затраты, не получая той услуги, которую отрасль, по ее словам, предоставляет: независимого аудита.
Аудиторские фирмы потратили десятки миллионов долларов на то, чтобы не позволить создать в США независимый аудит. Только в последнее время экономисты и знатоки бухгалтерского дела открыто признали, насколько очевидны полученные нами результаты. Вот лишь один из примеров. В 2011 году подразделение управленческого учета Американской ассоциации бухгалтеров пригласило меня представить работу по предвзятости аудиторов в качестве докладчика, выступающего с программной речью на ежегодном собрании. Это в корне отличается от того, что происходило на протяжении предыдущих 15 лет, когда специалисты по бухгалтерскому делу по большей части отрицали проблему, чем способствовали закреплению финансового кризиса 2008 года.
Повысить репутацию исследований в психологии и других общественных науках помогут на удивление простые рекомендации, и Симмонс с коллегами предложили ряд возможных перемен [14]. Вот лишь несколько их советов. Ученым следует определять количество проводимых экспериментов до начала сбора данных, перечислять все варианты и результаты, полученные в ходе исследований, соблюдать полную прозрачность в публикуемых статьях. Но важно отметить, что, подобно тому как аудиторская фирма потеряет часть доли рынка, если будет действовать в необходимых жестких рамках, ученые, которые добровольно начнут следовать таким правилам, попадут в неблагоприятное положение, и это создаст проблему для всей отрасли. В первую очередь сложности коснутся публикации работ.
Трудно ожидать, что все молодые ученые по доброй воле согласятся с тем, что в дальнейшем публикация их работ станет проблемной, особенно зная, что останутся люди, у которых по-прежнему не будет никаких проблем с научными журналами. На самом деле моральную ответственность несут редакторы журналов и руководители профессиональных обществ – они должны изменить правила проведения экспериментов и отчетности. Нам нужно создать гармоничное, более честное научное пространство. Так же как игрокам в бейсбол не было смысла отказываться от употребления стероидов, пока они соревновались с другими такими же нарушителями (а Главная лига бейсбола закрывала на ситуацию глаза), вряд ли стоит ожидать, что аспиранты и профессора решат проблему сами. Этот груз должен лечь на плечи лидеров отрасли – только они могут изменить правила во всей системе.
За рамками науки и бухгалтерии
Проблема конфликта интересов далеко не уникальна для аудиторских фирм и научных кругов. Он может затрагивать рекомендации врачей, адвокатов, консультантов по инвестициям, риелторов и множества других людей, на чьи советы мы полагаемся. Аудиторы отличаются лишь немного – тем, что сама их профессия существует, чтобы обеспечивать независимую оценку, и конфликт интересов, поразивший отрасль, влияет на эту независимость.
Обратите внимание на то, что я употребил слово «немного». Возьмем, например, финансовый кризис 2008 года. Тогда вполне обоснованно обвиняли безответственные банки, жадных покупателей недвижимости, спекулянтов и демократический Конгресс – за то, что они подталкивали заемщиков с низкими доходами брать слишком высокие кредиты, а администрацию Буша – за неудачные решения и игнорирование регулирующих обязанностей. Все эти группы находились под воздействием ложных суждений и конфликтов интересов. Но есть группа, наиболее близко напоминающая аудиторскую отрасль, – это кредитно-рейтинговые агентства.
Подобно тому как аудиторские фирмы существуют, чтобы выступать поручителем финансового положения коммерческих организаций перед заинтересованными сторонами, задача кредитно-рейтинговых агентств – информировать заинтересованные стороны о финансовой состоятельности организаций, выпускающих долговые ценные бумаги. Их бизнес – оценка уровня риска ценных бумаг. Финансовая фирма перед продажей своих ценных бумаг должна представить их в одно из трех крупнейших рейтинговых агентств: Standard & Poor’s, Moody’s или Fitch Group.
По мере роста мыльного пузыря рынка недвижимости эмитенты долговых ценных бумаг стали выпускать субстандартные и другие высокорисковые кредиты жилой недвижимости как ценные бумаги, обеспеченные ипотечными кредитами. Сегодня у нас есть множество доказательств того, что кредитно-рейтинговые агентства слишком снисходительно оценивали эти бумаги и не смогли сохранить независимость. Сегодня очевидно, что руководители, стоявшие во главе таких агентств, присваивали рейтинг ААА (самый высокий из возможных) тысячам сложных ипотечных ценных бумаг, которые у них были все причины считать проблемными. Не менее очевидно, что кредитные агентства не обладали независимостью, являющейся главной причиной их существования. Уже после финансового кризиса Генри Ваксман, член Палаты представителей (депутат Демократической партии от штата Калифорния) и председатель Комитета по надзору и правительственной реформе Палаты представителей США, заявил, что история кредитных рейтинговых агентств – это история глубочайшего провала [15].
Агентствам Standard & Poor’s, Moody’s и Fitch платят компании, чьи ценные бумаги они оценивают. Подобно аудиторским фирмам, агентства не отвечают перед инвесторами, которые оказываются под самым жестоким ударом из-за своей снисходительности и зависимого положения. За присвоение высших рейтингов ценным бумагам и эмитентам долговых обязательств «большая тройка» агентств получала огромные деньги. Их вознаграждали не за точность оценки; на самом деле по очевидным причинам агентства с самыми гибкими стандартами имели больше шансов получить бизнес от своих клиентов и затем – значительный стимул положительно оценивать высокорисковые ценные бумаги, быстро скатываясь все ниже и ниже.
Порочная практика существовала в рейтинговых агентствах еще долгое время после финансового обвала. В статье New York Times от 17 сентября 2013 года [16] было описано и документально подтверждено, как на уровне высшего руководства Standard & Poor’s приняли решение снизить стандарты с тем, чтобы привлечь дополнительный бизнес. Очевидно, что рынок отнесся к этому шагу положительно: в ответ на него доля рынка компании выросла с 18 % вскоре после финансового кризиса до 69 % в 2013 году [17].
Пока у рейтинговых агентств есть стимул угождать компаниям, с которыми они работают, непредвзятая оценка невозможна. И вновь, подобно сторонникам аудиторских фирм, защитники кредитно-рейтинговых агентств заявляют, что очень важно, чтобы хорошая репутация защитила агентства от предвзятости при оценке ценных бумаг. Вера в честность агентств постепенно тает.
Кто не видит конфликта интересов?
Конфликта интересов не замечают многие. Профессора, аспиранты, редакторы журналов и руководители профессиональных объединений общественных наук не видели, что все мы были замешаны в использовании недостоверных исследовательских методов и подходов, а это в целом снижало качество публикуемых исследований и угрожало репутации. Партнеры аудиторов, аудиторы на местах, клиенты, инвесторы и Комиссия по биржам и ценным бумагам (SEC) не замечали, что проведение аудита нельзя было назвать независимым. Акционеры кредитно-рейтинговых агентств, работники, присваивавшие рейтинги ценным бумагам, финансовые фирмы, чьи бумаги оценивали, инвесторы и, опять-таки, SEC не замечали, что кредитно-рейтинговые агентства не выполняют свою основную функцию. Самое удивительное во всех этих трех примерах – то, что халатность проявляли целые отрасли.