«Уровень риска» совершения ошибки I рода называется a-уровнем. Традиционно многие ученые ориентируются на а-уровень 5 % (0,05), но иногда используются и другие уровни (1 % (0,01) и 0,1 % (0,001)). Так, а-уровень 5 % означает, что лотерея становится по-настоящему подозрительной. Если же уровень уверенности не превышает 5 %, т. е. вероятность ошибки не превышает 1/20. Иногда уровень вероятности для краткости называют p-величиной. В научных докладах можно часто встретить следующие утверждения (не забывайте, что при этом р лучше, т. е. меньше, 0,05, и, соответственно, результаты эксперимента значимы):
Мы сравнили уровень успешности предсказания пятидесяти экстрасенсов и пятидесяти людей без заявленных паранормальных способностей. Предсказания экстрасенсов оправдывались в 45 % случаев, предсказания обычных людей — в 41 % случаев.
Предсказания экстрасенсов были точны значительно чаще, чем предсказания обычных людей (р = 0,02). Вывод: результаты эксперимента свидетельствуют о том, что экстрасенсы могут предсказывать будущее.
Если эксперимент не подтвердил точности предсказаний экстрасенсов, отчет может выглядеть примерно так:
Мы сравнили уровень успешности предсказания пятидесяти экстрасенсов и пятидесяти людей без заявленных паранормальных способностей. Предсказания экстрасенсов оправдывались в 44 % случаев, предсказания обычных людей — в 43 % случаев. Превышение успешности предсказаний экстрасенсов по отношению к предсказаниям обычных людей не было статистически значимым (р = 0,12). Вывод: результаты эксперимента не подтверждают вывод о том, что экстрасенсы могут предсказывать будущее.
Обратите внимание: ученые говорят о «статистической значимости» явления, если полученная в ходе эксперимента «-величина не превышает принятого в эксперименте уровня значимости (a-уровня)». Утверждение «Этот результат является статистически значимым, р = 0,02» можно перевести примерно так: «Мы уверены, что этот результат — не просто удача или случайность. Наша статистика показывает, что вероятность ошибки составляет всего 2 шанса из 100, а это лучше, чем уровень 5/100, принятый большинством ученых».
Способ, при помощи которого вычисляется а-уровень для статистических данных, останется за пределами этой книги. Однако заметим, что эта задача может оказаться весьма сложной. К примеру, многократное повторение одного и того же эксперимента может создавать совершенно особую проблему, о которой иногда забывают исследователи паранормального. Любой эксперимент сам по себе напоминает бросание монетки. Со временем при многократном повторении вы можете по чистой случайности получить желаемый результат. В гипотетическом исследовании предсказаний экстрасенсов и обычных людей, о котором мы говорили выше, некоторые участники (как экстрасенсы, так и неэкстрасенсы), вполне воз можно, сделали удачное предсказание случайно. Мы уже объяснили, что статистики умеют оценивать уровень вероятности и учитывать его при обработке результатов. Точно так же, если повторить этот эксперимент сотни раз, исследуя каждый раз по 50 экстрасенсов и неэкстрасенсов, в некоторых случаях доля успешных предсказаний у экстрасенсов обязательно окажется выше — по чистой случайности. Минимум, что вы должны сделать, — это изменить a-уровень так, чтобы учесть возросший риск ложноположительного решения.
Исследователи, которые многократно повторяют один и тот же эксперимент (или учитывают большое количество параметров водном эксперименте), вынуждены принимать дополнительные меры, чтобы исключить ложноположительное решение. Некоторые из них пользуются тестом, придуманным Карло Эмилио Бонферрони (Bonferroni, 1935), и делят а-уровень (0,05 или 0,01) на число экспериментов (или параметров), чтобы скомпенсировать тем самым возросшую вероятность ошибочного результата. Новый a-уровень отражает более жесткие критерии, при помощи которых придется в этом случае оценивать достоверность проведенного исследования. Ведь, если провести аналогию с бросанием костей, вы увеличиваете вероятность выигрыша за счет большого количества бросков. К примеру, если вы провели 100 экспериментов по экстрасенсорному предсказанию будущего (или один эксперимент, в котором попросили участников предсказать поведение 100 отдельных трупп объектов, таких как спортивные матчи, номера лотерейных билетов, природные события и т. д.), то новый a-уровень у вас будет 0,0005 (0,05/100). Таким образом, если после статистической обработки результатов вашего исследования окажется, что уровень достоверности составляет всего 0,05. В данном случае это будет означать, что значимых результатов вам получить не удалось.
Возможно, вы плохо разбираетесь в статистике и с трудом понимаете, о чем идет речь. Тем не менее Бонферрони снабдил нас очень удобным инструментом оценки, пользоваться которым совсем не трудно. При помощи этого инструмента вы всегда можете понять, не возбуждают ли результаты того или иного исследования ложных надежд. Сосчитайте число экспериментов, о которых идет речь. Или число различных «исходящих» переменных, которые подвергались исследованию. Разделите 0,05 на число экспериментов или переменных и получите новое пороговое значение. Уровень достоверности исследования, о котором идет речь, должен быть не выше этого значения (т. е. меньше или равен ему). Только тогда вы можете быть уверены в значимости полученных результатов. Ниже приведен гипотетический отчет об исследовании зеленого чая. Можете ли вы определить, почему он вводит читателя в заблуждение?
Мы проверили действие зеленого чая на успеваемость. В двойном слепом исследовании с применением плацебо, 20 учащихся получали зеленый чай, а еще 20 — подкрашенную воду, похожую на зеленый чай. Участники эксперимента пили чай каждый день в течение месяца. Мы проверяли 5 переменных: средний балл, экзаменационные оценки, оценки за письменные работы, оценки за работу в классе и посещаемость. За письменные работы те, кто пил зеленый чай, получили в среднем «5», а те, кто пил воду, — в среднем «4». Это значимая разница, р = 0,02. Вывод: зеленый чай повышает успеваемость.
А вот тот же отчет с поправкой на тест Бонферрони:
Мы проверили действие зеленого чая на успеваемость. В двойном слепом исследовании с применением плацебо, 20 учащихся получали зеленый чай, а еще 20 — подкрашенную воду, похожую на зеленый чай. Участники эксперимента пили чай каждый день в течение месяца. Мы проверяли 5 переменных: средний балл, экзаменационные оценки, оценки за письменные работы, оценки за работу в классе и посещаемость. Лучше всего зеленый чай сказался на качестве письменных работ. Здесь те, кто пил зеленый чай, получили в среднем «5», а те, кто пил воду, — в среднем «4». Разница в оценках дает нам р = 0,02. Однако этот результат не удовлетворяет а-уровню с поправкой Бонферрони (0,01). Вывод: зеленый чай не повышает успеваемость.
Обезьяны печатают Шекспира: теорема о бесконечных обезьянахТеорема о бесконечных обезьянах — одно из популярных приложений закона больших чисел. Возможно, вам приходилось слышать о том, что если дать бесконечному числу обезьян бесконечное число пишущих машинок и много-много времени, когда-нибудь они напечатают полное собрание произведений Шекспира. Хотите верьте, хотите нет, но это заявление породило множество споров. Сторонники теоремы утверждают, что она верна. Скептики пытаются апеллировать к эксперименту и логике.
Рис. 6.1. Обезьяны печатают Шекспира
Критики любят вспоминать исследование, проведенное в 2003 г. студентами плимутского университета (Англия) за счет полученного гранта (Elmo, Gum, Heather, Holly, Mistletoe et al., 2002). Шесть макак были оставлены наедине с компьютерами на месяц, чтобы посмотреть, что они напечатают. Шекспировского текста не выдала ни одна из них. Вместо этого глава группы взял камень и начал крушить все вокруг. В большинстве своем обезьяны значительную часть времени справляли на клавиатуру естественные надобности. Текстовый результат составил всего 5 страниц, содержавших преимущественно букву S, а также буквы A, J, L и М. Эта работа была опубликована под заголовком Notes towards the complete works of Shakespear («На пути к полному собранию сочинения Шекспира») (Elmo et al., 2002). Если вам интересно, можно ознакомиться с ней в Интернете.
Киттель и Крёмер (Kittel & Kroemer, 1980) утверждают, что с практической точки зрения теорема о бесконечных обезьянах не может быть верна, потому что обезьян потребовалось бы больше, чем может вместить наша Вселенная, а необходимое время превзошло бы возраст Вселенной. Но как насчет множественных вселенных и обезьян из разных измерений? Пора, пожалуй, применить критерий голографической теории урины.
Не важно, будет ли когда-нибудь заявление о Шекспире и обезьянах проверено на практике. Важно, что закон больших чисел все же работает. Вы можете подождать означенное время или поверить мне на слово.
Не важно, будет ли когда-нибудь заявление о Шекспире и обезьянах проверено на практике. Важно, что закон больших чисел все же работает. Вы можете подождать означенное время или поверить мне на слово.
7. Нет ли здесь жульничества или ошибок восприятия?
Тот факт, что вы читаете эту книгу, уже кое-что говорит о вас. Может быть, вы студент, которому интересны критическое мышление и мир паранормального. Вы, наверное, удивитесь, но по результатам изучения других читателей этой книги и студентов был составлен детальный психологический портрет. Посмотрим, подходит ли он вам:
Вы очень нуждаетесь в том, чтобы другие люди любили и восхищались вами. Вы довольно самокритичны. У вас есть много скрытых возможностей, которые вы так и не использовали себе во благо. Хотя у вас есть некоторые личные слабости, вы в общем способны их нивелировать. Дисциплинированный и уверенный с виду, на самом деле вы склонны волноваться и чувствовать неуверенность. Временами вас охватывают серьезные сомнения, приняли ли вы правильное решение или сделали ли правильный поступок. Вы предпочитаете некоторое разнообразие, рамки и ограничения вызывают у вас недовольство. Также вы гордитесь тем, что мыслите независимо; вы не принимаете чужих утверждений на веру без достаточных доказательств. Вы поняли, что быть слишком откровенным с другими людьми — не слишком мудро. Иногда вы экстравертны, приветливы и общительны, иногда же — интровертны, осторожны и сдержанны. Некоторые из ваших стремлений довольно нереалистичны.
Пора свериться с реальностью. Если вы нашли это описание неприятно близким к действительности, знайте, что вы не одиноки. В 1948 г. психолог Бертрам Форер дал своим студентам личностный тест, а через несколько дней раздал каждому личностные профили, будто бы составленные на основании результатов теста. Студенты должны были оценить точность профиля по 5-балльной шкале (0 = «очень плохо», 5 = «превосходно»). Средний балл оказался равен 4,26. Однако все это было своего рода розыгрышем. На самом деле Форер раздал студентам один и тот же достаточно расплывчатый личностный профиль, составленный на основе прочитанных гороскопов. Это тот самый «детальный психологический портрет», который вы прочли чуть выше. Приведенное описание не имеет никакого отношения к вашей личности, как не имело отношения и к личностям студентов. Опыт Форера был повторен сотни раз, причем средняя оценка профиля всегда оказывается выше 4,2 или 84 % (Carroll, 2003). Попробуйте раздать это описание друзьям на вечеринке. Не исключено, что они придут в восхищение от ваших экстрасенсорных способностей.
Внутренние когнитивные процессы и восприятие
Да, часто мы видим не то, что есть на самом деле. Глаза могут обмануть. В этой главе мы рассмотрим два вида ошибок — ошибки восприятия и манипуляции профессиональных иллюзионистов и экстрасенсов. Начнем с восприятия.
Человеческое восприятие в основе своей необъективно и созидательно. Мы видим не то, что «на самом деле есть», а весьма избирательную и искаженную картинку. Реальный мир в любой момент обрушивает на нас такое количество информации, что воспринять ее всю попросту невозможно. Наше внимание чем-то напоминает прожектор (Crick, 1984), который освещает и усиливает одни раздражители и игнорирует другие. Управляют этим прожектором наши эмоции и мотивации; мы видим то, что соответствует нашим чувствам, а также желаниям и потребностям. Так, голодающий человек обязательно заметит еду. Прошлый опыт, верования и ожидания заставляют нас замечать одни вещи и игнорировать другие, а иногда даже конструировать картины, которые не совсем точно отражают действительность. Иногда мы сознательно следим за воспринимаемыми образами в попытке оценить их точность. В главе 2 мы отметили, что для этого необходимо сверяться с реальностью. Прожектор нашего внимания; эмоции и мотивации; прошлый опыт, верования и ожидания; и, наконец, сверка с реальностью представляют собой этапы нисходящих (или «внутренних когнитивных») процессов, которые и определяют восприятие.
Эффект Барнума (эффект Форера)[7]Эффект Барнума (называемый также эффектом Форера, или ошибкой субъективного подтверждения)) — это склонность человека оценивать некое заявление как точно подходящее лично к нему, даже если это заявление подходит чуть ли не каждому. Исследования (Dickson & Kelly, 1985) показывают, что этот эффект еще усиливается, если (а) вам дали понять, что это описание составлено специально для вас (если вы читаете газетный гороскоп или смотрите астрологический прогноз по телевизору, достаточно очевидно, что ни тот, ни другой не составлены лично для вас); (б) вы доверяете человеку, который будто бы составил для вас этот профиль; (в) в списке фигурируют в основном положительные черты.
Я предполагаю, что эффект Барнума может усиливаться также благодаря иллюзии прозрачности (Vorauer, 2001). Мы склонны преувеличивать способность других людей понимать нас, различать наше внутреннее состояние и характеристики. В исследовательских программах, где участников просили о чем-то договариваться, 60 % времени они были уверены, что наблюдатели ясно видят их скрытые цели, тогда как на самом деле наблюдатели догадывались о них в 26 % случаев (Vorauer & Claude, 1998). В других исследованиях участники, которых просили намеренно лгать, ошибочно считали, что наблюдатели легко различают все попытки обмана. Точно так же неопытным ораторам всегда кажется (и совершенно напрасно), что слушатели видят их мандраж за спокойным фасадом (Gilovich, Savitsky & Medvec, 1998). Не исключено, что доверие к экстрасенсам, которые будто бы могут считывать наше внутреннее состояние, черты характера и будущее, зиждется на этой же особенности человеческой психики: мы, как всегда, считаем себя слишком «прозрачными».
Ошибка подтвержденияОшибка подтверждения — особый тип селективного мышления, при котором человек ищет и замечает только то, что подтверждает уже сложившееся у него мнение, а то, что ему противоречит, не замечает, не ищет или недооценивает. Ошибка подтверждения — это предпочтение, которое мы вольно или невольно оказываем положительной (подтверждающей) информации, в противовес отрицательной или опровергающей (Nickerson, 1998; Watson, 1960). Эта ошибка может стать мощным фактором усиления предрассудков и заблуждений. При чтении длинного гороскопа человек спокойно пропускает утверждение за утверждением, пока не наткнется на то, которое, на первый взгляд, подходит к нему. Сталкиваясь с большими объемами информации, мы выхватываем из них лишь то, что соответствует нашим ожиданиям. Процесс этот может проходить совершенно автоматически. Именно этой особенностью восприятия объясняется, к примеру, тот факт, что мы можем различить в шумной толпе голос друга; этот эффект называют еще эффектом вечеринки (Cherry, 1953).
С примерами ошибки подтверждения мы встречаемся ежедневно. Горячий сторонник высшего образования заметит в длинном списке только вакансии, предназначенные для выпускников колледжей. Сторонник раннего начала трудовой деятельности — те, где упор делается на опыт, а не на образование. Сторонник разрешения усыновления для однополых пар обязательно заметит сообщения об успешных: семьях такого рода (и, может быть, о нарушении прав ребенка в гетеросексуальных семьях), противник — сообщения о распаде однополых пар и нарушении прав ребенка в однополых семьях. Сторонник воздержания до брака обратит в баре внимание на те несупружеские пары, которые после проведенного вместе вечера разойдутся по домам. Тот, кто придерживается противоположного мнения, — на те, что отправятся домой вместе. Болельщик футбольной команды обязательно заметит на улице бейсболку своей команды, а болельщик другой команды ее не увидит. Очевидно, что единственный способ непосредственно исключить избирательность внимания и тенденцию человека всюду искать подтверждение собственному мнению состоит в том, чтобы намеренно и целенаправленно искать доказательства противного. Как я неоднократно уже говорил и еще не раз скажу в этой книге, ищите альтернативные объяснения.
Отрицание — это отказ принимать факты, если они противоречат сложившемуся мнению или убеждениям. Один из самых драматичных примеров отрицания — история миллеритов, религиозной группы начала XIX в., неоднократно предсказывавшей конец света. В 1818 г. Уильям Миллер подсчитал математически, что, согласно содержащемуся в Библии предсказанию, мир прекратит существование между 21 марта 1843 г. и 21 марта 1844 г. Позже он уточнил предсказание и назначил дату конца света на I января 1844 г. При помощи рекламы и газетной шумихи Миллер сумел привлечь к себе множество сторонников, которые принялись ждать. Дата конца света наступила и прошла. Последователи Миллера стали ждать 21 марта. Опять же в назначенный день ничего не произошло. Миллер повторил расчеты и назвал новую дату — 22 октября. Разумеется, опять ничего не произошло. Со временем миллериты раскололись на две части и основали религиозные секты адвентистов и свидетелей Иеговы, которые существуют до сего дня (информацию о них можно найти на сайте religioustolerance.org).