Однако опросы становятся более точными по мере приближения дня выборов. В табл. 2.3 представлены некоторые результаты, полученные с использованием упрощенной версии модели прогнозирования FiveThirtyEight для выборов в Сенат, использовавшей данные за период с 1998 по 2008 г. В модели рассчитывалась вероятность выигрыша кандидата на основе значения средней величины его опережения в ходе опросов. Допустим, кандидат в Сенат, имевший пятипроцентное опережение, выигрывал гонку в 95 % случаев – это было почти гарантировано, хотя пресса часто называла предвыборную гонку «непредсказуемой». Напротив, в случае преимущества в пять пунктов за год до выборов, шансы на победу составляют лишь 59 % – чуть лучше, чем при гадании с помощью подбрасывания монетки.
В подобных условиях ценность моделей типа FiveThirtyEight становится очевидной. Нет никаких проблем с тем, чтобы посмотреть на цифры, увидеть, что некий кандидат ведет по данным некоторых или всех опросов, и понять, что он является фаворитом (за некоторыми исключениями это предположение будет правильным). Гораздо сложнее понять, в какой мере он выступает фаворитом. Наши мозги, приученные находить закономерности, всегда пытаются найти в данных сигнал, хотя, на самом деле, вместо этого нам следует оценивать степень шума.
Таблица 2.3. Вероятность победы кандидата на выборах в Сенат, основанная на среднем показателе опережения в ходе опросов
Я привык именно к такому стилю мышления, а предпосылкой для него является опыт, приобретенный, когда я имел дело с двумя дисциплинами – спортом и покером, в которых вы, так или иначе, сталкиваетесь со всеми вариантами развития событий. Сыграв достаточное количество партий в покер, вы получаете некоторое количество комбинаций ройял-флэш. Стоит вам сыграть еще, и вы окажетесь в ситуации, когда у вас на руках будет фулл-хаус, а ройял-флэш придет вашему сопернику. В спорте, особенно бейсболе, также возникают события с низкой вероятностью. Так, команда Boston Red Sox не смогла выйти в плей-офф в 2011 г., несмотря на то что в какой-то момент ее шансы на это составляли 99,7 %{173}, – хотя лично я не стал бы спорить с человеком, считающим, что в случае Red Sox или Chicago Cubs обычные законы вероятности просто не работают.
Такое отсутствие определенности часто расстраивает политиков и политических обозревателей. В 2010 г. один конгрессмен-демократ позвонил мне за несколько недель до выборов. Он представлял довольно благополучный для демократической партии район на западном побережье.
Тем не менее, принимая во внимание, насколько хорошо шли в том году дела у республиканцев, он беспокоился, что может потерять свое место. Он хотел знать, насколько велика доля неопределенности в нашем прогнозе. При округлении наши цифры говорили ему о том, что вероятность его победы составляет 100 %… Однако что значили эти 100 % на самом деле – 99 % или 99,99 %, или же 99,9999 %? В первом случае, когда шансы проигрыша оценивались как 1 к 100 000, он был готов пожертвовать собранными на его кампанию средствами и передать их другим кандидатам, баллотировавшимся в более уязвимых районах. Однако он не был готов так поступить, если шансы на его проигрыш составляли 1 к 100.
Представители политических партий могут неправильно интерпретировать роль неопределенности в прогнозе; они относятся к ней как к своего рода страховке или возможному оправданию в случае, если предсказание оказывается неверным. Но дело заключается совсем в другом. Если вы прогнозируете, что некий конгрессмен будет выигрывать в 90 % случаев, то это также означает, что ему будет суждено проиграть в 10 % случаев{174}. Отличительный признак хорошего прогноза заключается в том, что каждая из этих вероятностей может реализоваться в долгосрочной перспективе.
«Ежи» Тэтлока очень плохо понимают суть этих вероятностей. Когда вы говорите, что вероятность того, что какое-то событие произойдет, составляет 90 %, то за этими словами имеется вполне конкретный и объективный смысл. Однако наши мозги превращают его в нечто более субъективное. Выводы психологов Даниэла Канемана и Амоса Тверски показывают, что такие субъективные оценки не всегда соответствуют реальности. У людей могут возникнуть проблемы при оценке различия между вероятностью благополучного приземления самолета, составляющей 90 %, и вероятностью в 99 % или даже в 99,9999 %. Хотя совершенно очевидно, что от этого напрямую зависит, стоит ли нам бронировать билет на самолет.
При наличии должной практики наша оценка может стать лучше. «Ежей» Тэтлока отличала высокая степень упрямства и неготовность учиться на своих ошибках. Признание присущей реальному миру неопределенности в прогнозах вынудило бы их признать неправильность своих теорий, касающихся должного поведения мира, а это – последнее, чего хотелось бы приверженцу той или иной идеологии.
Принцип 2. Сегодняшний ваш прогноз – это первый прогноз из тех, что еще будут в вашей жизни
Еще одно заблуждение состоит в том, что хороший прогноз не следует изменять. Разумеется, если ваш прогноз резко изменяется день ото дня, это не говорит ни о чем хорошем. Либо у вас плохая модель, либо вы пытаетесь предсказать непредсказуемые события. В 2012 г., когда я опубликовал прогнозы республиканских праймериз в каждом из штатов на основании одних лишь данных опросов, вероятности победы различных кандидатов существенно менялись каждый раз после появления результатов очередного опроса.
Когда исход более предсказуем – как, например, в случае общих выборов на последних этапах гонки, – прогнозы обычно выглядят более стабильными. После выборов 2008 г. я часто слышал, что многие люди, вовлеченные в этот процесс, обращались к сайту FiveThirtyEight, чтобы просто успокоиться[26]. К окончанию президентской гонки каждый день из различных штатов поступают данные 30–40 опросов, и результаты некоторых из них неминуемо выпадут за пределы обычной ошибки. Кандидаты, стратеги и телевизионные комментаторы, заинтересованные в том, чтобы сделать гонку более интригующей, чем она есть, будут обращать внимание на подобные необычные цифры, однако расчеты с использованием модели FiveThirtyEight показали, что они редко на чем-либо сказываются.
Самое правильное из того, что вы можете сделать, это создать лучший из возможных на сегодняшний день прогнозов – вне зависимости от того, что вы говорили на прошлой неделе, в прошлом месяце или прошлом году. Появление новых прогнозов не означает, что старый прогноз просто исчезает (в идеале, вы должны сохранить его и позволить другим людям оценить, насколько хорошо вы проделали свою работу в течение всего периода предсказания события). Но если у вас есть основания считать, что вчерашний прогноз был неверным, то держаться за него нет никакого смысла. «Когда меняются факты, меняется и мое мнение, – говорил знаменитый экономист Джон Мейнард Кейнс. – А у вас разве не так, сэр?»
Некоторым людям не нравится подобный тип корректирования курса, и они ошибочно принимают его за признак слабости. Им кажется, что в таких действиях присутствует некий элемент мошенничества, как будто вы вместо научного анализа пытаетесь определить направление ветра с помощью поднятого вверх пальца{175}.
Критики обычно полагают, явно или косвенно, что политика в чем-то сходна с физикой или биологией, в которых соблюдаются фундаментальные законы, познаваемые по своей природе. (Кстати, один из наиболее часто критикующих меня людей – профессор нейробиологии из Принстона{176}.) Если же придерживаться подобных взглядов, то новая информация не имеет особенного значения; выборы должны двигаться по предсказуемой орбите, как комета, направляющаяся в сторону Земли.
Однако, в отличие от физики или биологии, прогнозирование на выборах напоминает, скорее, покер: мы можем наблюдать за поведением оппонента и улавливать те или иные подсказки, но мы не видим его карт. Пытаясь выкачать как можно больше из имеющейся ограниченной информации, мы должны быть готовы изменить свой прогноз по мере получения более новых и более качественных сведений. Неспособность изменить свой прогноз вследствие излишнего стыда говорит лишь об отсутствии у нас должной смелости.
Принцип 3. Ищите консенсус
Каждый «еж» представляет себе, как он создает смелый, дерзкий и нестандартный прогноз, радикально отличающийся от точки зрения, основанной на консенсусе.
Коллеги над ним смеются, и даже их золотые ретриверы начинают смотреть на него недоуменно. Однако затем предсказание вдруг оказывается глубоким, точным и несомненно правильным. Через два дня рассказ о нем появляется на первой полосе Wall Street Journal, а он сам – смелый и решительный первопроходец – сидит в гостевом кресле на шоу Джея Лино.
Коллеги над ним смеются, и даже их золотые ретриверы начинают смотреть на него недоуменно. Однако затем предсказание вдруг оказывается глубоким, точным и несомненно правильным. Через два дня рассказ о нем появляется на первой полосе Wall Street Journal, а он сам – смелый и решительный первопроходец – сидит в гостевом кресле на шоу Джея Лино.
Время от времени делать такие прогнозы вполне нормально и правильно. Консенсус между экспертами может быть ошибкой – человек, который осмеливался бы предсказать коллапс Советского Союза, заслуживал бы огромной благодарности. Однако выступить с таким фантастическим сценарием довольно сложно. Хотя «лисы», и в том числе я сам, считают себя нонконформистами, мы все равно начинаем нервничать всякий раз, когда наши прогнозы радикально отличаются от творений конкурентов.
Существует довольно много свидетельств тому, что совокупные, или групповые, прогнозы являются более точными, чем индивидуальные (для разных дисциплин значения показателя могут находиться между 15 и 20 %). И это не всегда означает, что групповые прогнозы хороши (чуть позже в книге мы детально рассмотрим этот вопрос). Но это значит, что вы можете извлечь определенную пользу от изучения проблемы с разных точек зрения.
«“Лисы” часто прокручивают в голове то, на что способна лишь группа “ежей”», – рассказал мне Тэтлок. Он имеет в виду, что «лисы» выработали у себя способность имитировать процесс консенсуса. Вместо того чтобы задавать вопросы целой группе экспертов, они постоянно задают вопросы сами себе. Зачастую это означает, что они объединяют различные виды информации – так обычно делает группа людей с различными идеями об окружающем мире, – а не относятся к каждому факту как Святому Граалю (например, в прогнозах FiveThirtyEight часто совмещаются данные опросов с информацией о состоянии экономики, демографических сведений о штате и т. д.). Составители прогнозов, которым не удается следовать рекомендациям Тэтлока, часто вынуждены платить за это высокую цену.
Остерегайтесь чудодейственных прогнозов
В преддверии выборов 2000 г. экономист Дуглас Хиббс опубликовал модель прогнозирования и заявил, что при ее использовании можно невероятно точно предсказывать итоги президентских выборов, учитывая всего лишь две переменных. Одна из них была связана с экономическим ростом, а вторая – с военными потерями{177}. Хиббс сделал ряд смелых заявлений в стиле «ежа». Он сказал, что рейтинг одобрения деятельности президента (исторически считавшийся надежным индикатором возможности переизбрания) никак не улучшал его прогнозы. Не имели значения ни уровень инфляции, ни уровень безработицы. Не важны были и личности кандидатов – партия могла выдвинуть как идеолога типа Джорджа Макговерна, так и центриста и героя войны наподобие Дуайта Д. Эйхенхауэра. Хиббс утверждал, что вместо всех этих показателей главным критерием выступает довольно туманная экономическая переменная, названная им «реальным располагаемым доходом на душу населения».
Какие результаты показала эта модель? Она предсказала убедительную победу Ала Гора с перевесом в девять пунктов. Однако выборы после пересчета голосов во Флориде выиграл Джордж У. Буш. Гор доказал свою популярность, однако из модели следовало, что результат будет совершенно иным. Согласно ей, вероятность тех событий, которые произошли на самом деле, составляла лишь 1 к 80{178}.
Аналогичный подход был использован и в некоторых других моделях. Их создатели утверждали, что смогли свести столь сложный вопрос как президентские выборы, к формуле с двумя переменными (как ни странно, никто из авторов не использовал одни и те же две переменные). Некоторые из них показали еще более неточные результаты, чем метод Хиббса. В 2000 г. одна из этих моделей предсказала победу для Гора с перевесом в 19 пунктов, а шансы на реальный исход составили, согласно ей, всего один к миллиарду{179}.
Такие модели стали популярными после выборов 1988 г., когда казалось, что фундаментальные показатели на стороне Джорджа Х. У. Буша – экономика пребывала в хорошем состоянии, а уровень популярности республиканского предшественника Буша, Рональда Рейгана, был достаточно высоким, – однако результаты опросов говорили о предпочтении Майкла Дукакиса до последних дней гонки{180}. В конечном счете, Буш одержал легкую победу.
Поскольку эти модели были доступны широкой публике для изучения, их последующие результаты оказались не менее плачевными. В среднем в ходе пяти президентских выборов после 1992 г. типичная модель, основанная на «фундаментальных факторах», – то есть модель, игнорирующая результаты опросов и заявляющая, что способна определить поведение избирателей без их учета, – ошибалась в величине разрыва между основными кандидатами почти на семь пунктов{181}. Модели, основанные на «лисьем» подходе, то есть совмещавшие экономические данные с данными опросов и других источников информации, показали более надежные результаты.
Взвешивайте качественную информацию
Все эти чудодейственные модели прогнозирования провалились, даже несмотря на то что они были количественными и основывались на опубликованной экономической статистике. К количественным относятся и некоторые из самых неудачных прогнозов, описанных мной в этой книге. Например, модели рейтинговых агентств, которые должны быть точными и использовать управляемые данные[27], оценивали вероятность дефолта, учитывая невыполненные обязательства. Эти модели были неверными и опасными, поскольку основывались на довольно своекорыстном допущении, заключавшемся в том, что риск дефолта для различных закладных не зависит друг от друга, но это предположение не имело никакого смысла при образовании пузырей на рынках жилья и кредитов. Сразу скажу, что я предпочитаю при создании своих прогнозов именно количественный подход. При этом «ежи» берут любую информацию и используют ее для подкрепления своих предубеждений, а «лисы», умеющие взвешивать различные типы информации, могут извлечь немалую пользу из сочетания качественных и количественных факторов.
Очень мало найдется политических аналитиков, имеющих такое большое количество свидетельств успеха, как дружная команда, управляющая Cook Political Report. Эта группа, созданная в 1984 г. гениальным Чарли Куком, круглолицым уроженцем Луизианы, почти неизвестна за пределами вашингтонских политических кругов. Однако истинные любители политики годами полагаются на прогнозы Кука, и у них редко возникают основания испытать разочарование.
Кук и его команда работают над реализацией одной конкретной миссии – предсказать исход выборов в США, в частности в Конгресс. Это значит, что они выдают прогнозы для всех 435 избирательных кампаний в Конгресс США, а также примерно для 35 кампаний по выборам в Сенат США, проходящих раз в два года.
Предсказание исхода выборов в Сенат или губернаторских выборов – процесс сравнительно простой. Обычно кандидаты достаточно хорошо известны избирателям, а самые важные кампании привлекают широкое внимание и оцениваются многими уважаемыми аналитиками. В этих обстоятельствах представляется довольно сложным предложить более хороший метод объединения результатов опросов, наподобие предложенного мной в модели FiveThirtyEight.
Однако выборы в Конгресс – это совсем иное дело. Кандидаты часто появляются практически из ниоткуда – то могут быть члены городских собраний или владельцы небольших бизнесов, решившие попробовать себя в национальной политике. В некоторых случаях они почти неизвестны избирателям еще за несколько дней перед выборами. При этом избирательные участки размещаются буквально в каждом уголке страны, что сопровождается проявлением огромного количества демографических особенностей. Зачастую опросы на избирательных участках в Конгресс не происходят, а даже если это и бывает, то крайне несистемно и запутанно{182}.
Но это не значит, что у аналитиков типа Кука нет вообще никакой информации. На самом деле ее можно найти в изобилии: помимо результатов опросов имеются и демографические сводки по району, и информация о том, как его избиратели голосовали на прошедших выборах. Существуют данные и об общих тенденциях и склонностях к предпочтению той или иной партии по всей стране (в том числе рейтинги одобрения тех или иных кандидатов в президенты). Есть информация и о том, сколько собрано средств, так как об этом партии должны подавать детальную отчетность в Федеральную избирательную комиссию.
Другие типы информации носят более качественный характер, но тем не менее могут быть потенциально полезными. Может ли кандидат считаться хорошим оратором? Насколько пересекается его платформа с особенностями избирательного района? Какой тип рекламных роликов он использует? Политическая кампания представляет собой, по сути, небольшой бизнес, и важный вопрос состоит в том, насколько хорошо кандидат управляет людьми.