Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Эту точку зрения разделял философ науки Карл Поппер{45}. Для него гипотеза не считалась научной, когда ее нельзя было сфальсифицировать – иными словами, когда ее можно было протестировать в реальном мире путем прогнозирования.
В то же время мы должны понять, что далеко не все наши идеи могут или даже должны подвергнуться проверке. В экономике гораздо проще протестировать прогноз уровня безработицы, чем делать заявления об эффективности расходов на стимулирование бизнеса. В политических науках мы можем тестировать модели, использующиеся для предсказания исхода выборов, но, допустим, верификация теории о том, как могут повлиять изменения в политических учреждениях на общую политику, может занять десятилетия.
Я не хочу идти так же далеко, как Поппер, и утверждать, что эти теории – ненаучны или что в них отсутствует какая-либо ценность. Однако тот факт, что лишь немногие из теорий, которые мы можем проверить, показывают довольно плохие результаты, должен приводить нас к мысли о том, что многие из идей, которые мы не тестировали, могут также оказаться неверными. Вне всякого сомнения, мы живем с иллюзиями, которых даже не понимаем.
Однако нам есть куда двигаться. Возможное решение покоится не на довольно сырых политических идеях – особенно с учетом того, что я рассматриваю нашу нынешнюю политическую систему как значительную часть проблемы. Скорее, решение требует изменения нашего отношения.
Это новое отношение воплощается в так называемой теореме Байеса, о которой я расскажу в главе 8. Эта теорема, по сути, выглядит как математическая формула, но в реальности она представляет собой нечто гораздо более масштабное. Она предполагает, что мы должны думать о своих идеях (и том, как их проверять) иначе. Мы должны почувствовать себя более комфортно в условиях вероятности и неопределенности. Мы должны тщательнее размышлять о предположениях и убеждениях, с которыми связана проблема.
Данная книга делится примерно на две половины. Первые семь глав посвящены диагностике проблемы предсказания, а последние шесть – изучению и применению теоремы Байеса.
Каждая глава ориентирована на освещение конкретного вопроса и описывает его с определенной степенью глубины. Не буду отрицать, что эта книга достаточно детальна – отчасти потому, что в деталях часто кроется дьявол, а отчасти из-за моей убежденности в том, что достаточная степень погружения в предмет позволит понять его несоизмеримо лучше, чем короткое резюме.
Выбранная мной тематика связана с наличием обширной общедоступной информации. Известны примеры того, как прогнозисты создавали предсказания, основанные на закрытой информации (например, в случаях, когда компании используют данные о своих покупателях для прогнозирования спроса на новый продукт). Я же предпочитаю рассказывать о тех объектах, в отношении которых можно не верить мне на слово, а самостоятельно проверить результаты.
Короткая дорожная карта
В этой книге вы найдете много примеров из различных областей знаний (естественных и общественных наук), а также из спорта и азартных игр. В ней приведены как сравнительно прямолинейные примеры, в которых проще всего провести различие между успешным и неудачным предсказанием, так и другие, требующие чуть больше мастерства.
В главах 1–3 рассмотрены случаи неудачного предсказания в таких вопросах, как недавний финансовый кризис, успехи в бейсболе и в области политики, показано, где одни подходы сработали хорошо, а другие – нет. Их цель состоит в том, чтобы заставить вас задуматься о некоторых самых фундаментальных вопросах, лежащих в основе проблемы предсказания. Каким образом можем мы применить свои суждения в отношении данных, не поддаваясь при этом предубеждениям? В каких условиях рыночная конкуренция позволяет сделать лучшие прогнозы и за счет чего она способна их ухудшить? Каким образом мы можем сочетать необходимость использования знания прошлого как руководства к действию с признанием того, что будущее может быть совершенно иным?
В главах 4–7 основное внимание уделено динамическим системам: поведению земной атмосферы, влияющему на формирование той или иной погоды; движению тектонических плит планеты, способному вызвать землетрясения; комплексным взаимодействиям между людьми, влияющим на поведение американской экономики, а также распространению инфекционных заболеваний. Эти системы изучаются некоторыми из наших лучших ученых. Однако прогнозировать процессы, протекающие в динамических системах, достаточно сложно, и предсказания в этих областях далеко не всегда оказываются верными.
Главы 8–10 обращаются к решениям: сначала мы познакомим вас с человеком, делающим ставки на исходы спортивных мероприятий и применяющим теорему Байеса более умело, чем многие экономисты или ученые, а затем поговорим о двух видах спорта – о шахматах и покере.
Спорт и игры, подчиняющиеся четко определенным правилам, представляют собой отличную лабораторию для тестирования наших прогностических навыков. Они помогают нам лучше понимать смысл случайности и неопределенности, а также учат тому, как превращать информацию в знание.
Однако теорема Байеса может применяться и к значительно более важным проблемам. В главах 11–13 рассмотрены три примера: глобальное потепление, терроризм и пузыри на финансовых рынках. Эти проблемы достаточно важны и сложны для прогнозистов и общества в целом. Однако если мы решим принять брошенный нам вызов, то сможем сделать нашу страну, нашу экономику и нашу планету немного безопаснее.
Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по-настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание.
Сигнал – это правда. А шум – это то, что отвлекает нас от правды. Эта книга расскажет вам и о сигналах, и о шумах.
Глава 1
Катастрофически неудачные прогнозы
Наступило 23 октября 2008 г. Фондовый рынок находился в состоянии свободного падения, обвалившись за предшествующие пять недель почти на 30 %. Некогда уважаемая компания Lehman Brothers оказалась банкротом. Кредитные рынки практически перестали работать. Дома в Лас-Вегасе потеряли 40 % от своей стоимости{46}. Безработица подскочила до невероятно высокого уровня. Сотни миллиардов долларов, находившихся в распоряжении обанкротившихся финансовых фирм, моментально исчезли. Уровень доверия к правительству оказался самым низким за весь период его оценок{47}. А через две недели должны были состояться президентские выборы.
Конгресс, работа которого в обычных условиях затихала перед выборами, развил лихорадочную деятельность. Рассматриваемые в нем законопроекты о помощи финансовым организациям обещали стать непопулярными{48}, и Конгрессу нужно было создать впечатление, что все те, кто вел себя «неправильно», будут наказаны. Комитет США по надзору приказал главам трех основных агентств, занимавшихся составлением кредитных рейтингов, – Standard&Poor’s (S&P), Moody’s и Fitch Ratings – дать показания на парламентских слушаниях. Рейтинговые агентства были обвинены в неверной оценке вероятности того, что триллионы долларов в ценных бумагах, обеспеченных закладными, попадут под дефолт. Мягко говоря, возникло впечатление, что они оказались скомпрометированными.
Худшее из возможных предсказаний
Кризис конца 2000‑х гг. часто воспринимают как провал, поражение наших политических и финансовых учреждений. Очевидно, что это действительно было огромным поражением с экономической точки зрения. Даже в 2011 г., через четыре года после официального начала Великой рецессии, американская экономика работала на уровне в 800 млрд долл. ниже своего производственного потенциала{49}.
Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Проблемы с прогнозами носили широкомасштабный характер, возникали практически на каждом шагу до, во время и после кризиса и вовлекали в себя массу участников – от ипотечных брокеров до Белого дома.
И самое страшное заключается в том, что «провалившиеся» предсказания обычно имеют много общих черт. Мы ориентируемся на сигналы, рассказывающие не о реально существующем мире, а о том, что мы хотим видеть. Мы игнорируем риски, которые сложнее всего измерить, даже когда они представляют собой величайшие угрозы нашему благосостоянию. Мы создаем приблизительное представление о мире, значительно более грубое, чем наше восприятие. Мы ненавидим неопределенность, даже когда она является неотъемлемой частью проблемы, которую мы пытаемся решить. Если мы хотим добраться до истинной причины финансового кризиса, нам следует начать с выявления самого «провального» предсказания, которое и привело ко всем последующим ошибкам.
Рейтинговые агентства давали рейтинг AAA (обычно зарезервированный для горстки наиболее платежеспособных стран и отлично управляемых компаний нашего мира) тысячам ценных бумаг, обеспеченных закладными, – финансовым инструментам, позволявшим инвесторам делать ставку на вероятность того, что кто-то не сможет расплатиться по закладной на свой дом.
Рейтинги, выпускавшиеся этими компаниями, были, по сути дела, предсказаниями, то есть расчетами вероятности того, что часть долга подвергнется дефолту{50}. Например, компания Standard&Poor’s озвучивала инвесторам, что рейтинг AAA у особенно сложного типа ценных бумаг, называемых облигациями, обеспеченных долговыми обязательствами (CDO)[5], означает, что невозможность выплаты по ним в течение следующих пяти лет составляет всего 0,12 %, или 1 шанс из 850{51}. По сути, это делало подобный инструмент столь же безопасным, как и корпоративные облигации[6] с рейтингом AAA{52}, и более безопасным, чем казначейские обязательства США (по мнению S&P){53}. Рейтинговые агентства будто забыли о существовании колоколообразных кривых распределения вероятности.
В реальности, судя по внутренним данным S&P, дефолту подверглось 28 % CDO с рейтингом AAA{54} (по некоторым независимым оценкам, этот показатель был еще выше{55}). Это значит, что реальные показатели дефолта для CDO оказались более чем в 200 раз выше, чем предсказывала S&P (рис. 1.1){56}.
Рис. 1.1. Предсказанные и реальные пятилетние уровни дефолта для траншей CDO c рейтингом AAA
Пожалуй, это пример чуть ли не самого серьезного провала, который только можно сделать в области предсказаний, – триллионы долларов в инвестициях, считавшихся почти полностью безопасными, обернулись чем-то диаметрально противоположным. Представьте себе, что прогноз погоды обещает вам +25 °С и солнце, а на вас внезапно обрушивается метель. Если вы сделаете неудачное предсказание, у вас есть несколько вариантов его последующего объяснения. Первый – обвинить внешние обстоятельства – то, что мы часто называем «невезением». Иногда это разумно и даже правильно. Когда Национальная служба погоды говорит о том, что вероятность безоблачной погоды составляет 90 %, а на улице начинается дождь, испортивший вам проведение турнира по гольфу, ее не стоит в этом винить. Исторические данные за многие десятилетия свидетельствуют, что когда Служба погоды говорит, что вероятность дождя составляет 1 к 10, то в долгосрочной перспективе дождь действительно идет всего в 10 % случаев[7].
Однако подобное объяснение внушает куда меньше доверия, когда у человека, делающего прогноз, за плечами нет истории успешных предсказаний и когда масштаб его ошибки значительно больше. В таких случаях проблема чаще связана с моделью мира, созданной прогнозистом, а не с миром как таковым.
В случае с CDO рейтинговые агентства вообще не имели никакой истории, на которую можно было бы опираться, – это были новые и мало кому знакомые ценные бумаги, а показатели уровня дефолта, заявленные S&P, основывались не на исторических данных, а на предположениях, вытекающих из неправильной статистической модели. При этом масштаб ошибок был огромным: на практике шансы на дефолт у CDO с рейтингом AAA оказались в 200 раз выше, чем в теории.
Правильное решение для рейтинговых агентств заключалось в том, чтобы признать ошибочность используемых моделей. Однако на слушаниях в Конгрессе они попытались снять с себя ответственность и заявили, что им просто не повезло. Они обвинили в случившемся внешние непредвиденные обстоятельства, а именно пузырь на жилищном рынке.
«S&P была не единственной компанией, которая внезапно столкнулась с резким падением на рынках жилья и ипотек», – сообщил Конгрессу в октябре того же года Девен Шарма, глава Standard&Poor’s{57}. «Почти никто – ни домовладельцы, ни финансовые учреждения, ни рейтинговые агентства, ни регуляторы, ни инвесторы – не мог предвидеть, что ждет их впереди».
Никто не мог предвидеть, что ждет их впереди. Если вы не можете заявить о своей невиновности, говорите о невежестве – зачастую это становится самой первой версией защиты в случае неудачного прогноза{58}. Однако заявление Шармы оказалось ложью, вполне типичной для слушаний в Конгрессе. Помните «У меня не было сексуальных отношений с этой женщиной» или «Я никогда не использовал стероиды»?[8]
Что же касается пузыря на жилищном рынке, то следует отметить тот факт, что очень многие замечали его развитие – и говорили об этом задолго до того, как он лопнул. Роберт Шиллер, экономист из Йеля, заметил начало развития пузыря еще в 2000 г., написав об этом в книге «Иррациональное изобилие» (Robert J. Shiller. «Irrational Exuberance»){59}. Дин Бейкер, экономист из Центра по экономическим и политическим исследованиям, писал о пузыре в августе 2002 г.{60}. Корреспондент журнала Economist, известный своей степенной прозой, говорил о «крупнейшем пузыре в истории» уже в июне 2005 г.{61}. Пол Кругман, экономист и лауреат Нобелевской премии, писал о пузыре и его неминуемом крахе в августе 2005 г.{62}. «Происходившее полностью вписывалось в систему, – рассказывал мне впоследствии Кругман. – Крах на рынке жилья не был черным лебедем. Он был настоящим слоном в посудной лавке».
Озабоченность проявляли и обычные американцы. Количество поисков в Google по запросу «housing bubble» («пузырь на жилищном рынке») выросло с января 2004 г. по лето 2005 г. примерно в 10 раз{63}. Наибольший интерес к этому термину проявляли в штатах типа Калифорнии, где наблюдался самый значительный рост цен на жилье{64} и где, по всей видимости, могло произойти самое значительное их падение. В сущности, существование пузыря на удивление широко обсуждалось. И если выражение «пузырь на жилищном рынке» появлялось в 2001 г. всего в восьми новостных сообщениях{65}, то к 2005 г. уже в 3447. Пузырь на жилищном рынке обсуждался в заслуживающих уважения газетах и периодических изданиях примерно десять раз в день{66}.