1. Применялись ли для пущей убедительности критерии относительного изменения (например, процентные соотношения)?
Наиболее наглядно этот принцип проиллюстрирован двумя гипотетическими заголовками в газетах:
Исследования показали: люди, избегающие насыщенных жиров, живут дольше
Стоит ли вам избегать насыщенных жиров?
Выясним, что именно означает термин "дольше". Согласно доступным данным, снижение потребления насыщенных жиров до 10 % от количества калорий, потребляемых в сутки, увеличит продолжительность всей взрослой жизни на 3–30 суток. Задумайтесь: стоит ли игра свеч, особенно если одна из радостей вашей жизни – стейк рибай? Скорее всего, нет.
Люди, пьющие кофе, теряют на 20 % больше жира, чем те, кто его не пьет
Стоит ли приучать себя пить кофе?
Оставим пока вопрос о том, было ли это исследование наблюдательным и неэкспериментальным (об этом далее): рассмотрим впечатляющие 20 %.
Относительное увеличение или снижение, чаще всего выраженное в процентах, может ввести в заблуждение.
Относительного недостаточно. Важно задаться вопросом, каким был абсолютный прирост или снижение – в данном случае, сколько килограммов жира на самом деле потеряли обе группы и за какое время? В большинстве случаев процентные соотношения, используемые в СМИ и торговых брошюрах, призваны маскировать тот факт, что изменения были мизерными.
Если люди из контрольной группы сбросили 0,11 кг жира, а из группы потребителей кофе – 0,14 кг (примерно на 20 % больше) за восемь недель, выпивая по три чашки кофе в день, стоит ли рисковать побочными эффектами потребления высоких доз кофеина? Ни в коем случае.
Не доверяйте процентам, вырванным из контекста.
2. Утверждается ли, что причинно-следственную связь показало неэкспериментальное исследование?
Это настоящая золотая жила. Если хотите запомнить только один принцип из главы, выберите этот. Он указывает не просто на ошибку, а на смертный грех.
Неэкспериментальные (наблюдательные) исследования, также называемые неконтролируемыми экспериментами, представляют собой изучение разных групп или слоев населения вне лаборатории и сравнение распространенности конкретных явлений, обычно болезней. Наглядный пример – "китайское исследование", результаты которого зачастую толкуют ошибочно.
Вот самый важный абзац в этой главе:
Наблюдательные исследования не в состоянии контролировать и даже документировать все задействованные факторы и переменные. Наблюдательные исследования могут только выявить корреляцию: А и Б существуют в одно и то же время в одной группе. Причин и следствий такие исследования не выявляют.
В отличие от наблюдательных, рандомизированные и контролируемые исследования предполагают отслеживание переменных и, следовательно, могут выявлять причину и следствие (обусловленность): А вызывает появление Б.
В пародийной религии под названием "пастафарианство" умышленно смешиваются корреляция и обусловленность:
Наряду с сокращением численности пиратов наблюдался рост глобального потепления за тот же период.
Следовательно, глобальное потепление вызвано дефицитом пиратов.
И еще более наглядный пример:
В Сомали самая высокая численность пиратов И наиболее низкие выбросы углекислого газа среди всех стран мира. Совпадение?
Делая ничем не оправданные выводы о причинно-следственной связи из результатов наблюдательных исследований, изо дня в день зарабатывают хлеб насущный не только представители СМИ, но и причиннои финансово-мотивированные ученые, закрывающие глаза на собственный дефицит этики.
Не попадайтесь на удочку научного пастафарианства.
Очень важно не слушать советы, основанные исключительно на данных наблюдательных исследований. В 2004 году комментарий, опубликованный журналом International Journal of Epidemiology под заголовком "Парадокс гормонозаместительной терапии и коронарной сердечной недостаточности – конец наблюдательной эпидемиологии?" объяснил, почему к ним опасно прислушиваться. Наблюдения за одной группой женщин, получающих гормонозаместительную терапию (ГЗТ), показали снижение уровня сердечной недостаточности, и СМИ вместе со сторонниками ГЗТ поспешили раструбить об этом эффектном выводе: ГЗТ снижает вероятность сердечной недостаточности! Увы, рандомизированные и контролируемые испытания позднее показали отсутствие защитного эффекта и даже небольшое увеличение риска сердечной недостаточности у тех, кто получал ГЗТ.
Как такое возможно?
Выяснилось, что в наблюдательных исследованиях не учли разницу в социально-экономическом положении людей в группах, а также роль врачей, выбирающих для ГЗТ женщин, с самого начала в наименьшей степени предрасположенных к сердечной недостаточности. Последнее – пример тому, что отсутствие рандомизированного распределения участников по группам приводит к влиянию предвзятости экспериментаторов на результаты наблюдательного исследования.
В комментарии 2004 года постфактум справедливо отмечалось:
Различие результатов наблюдательных исследований и рандомизированных контролируемых испытаний, направленных на выявление связи между ГЗТ и коронарной сердечной недостаточностью, поставило эту идею [согласно которой добросовестно проведенные наблюдательные исследования могут дать оценку эффективности лечения, сопоставимую с оценкой рандомизированных контролируемых испытаний] под сомнение и, возможно, означает смерть наблюдательной эпидемиологии.
Наблюдательные исследования полезны для формирования гипотез (основанных на информации предположений, которые затем можно проверить в контролируемых условиях), но они не могут и не должны применяться для выявления причинно-следственных связей. Попытки выявить их таким способом безответственны и потенциально опасны.
3. Как были сделаны выводы в исследовании – на основании отчетов самих участников или на основании результатов опросов и наблюдений?
В 1980 году ученые на оторванной от мира исследовательской станции в Антарктиде вели записи обо всей пище, которую потребляли, и взвешивали ее. Раз в неделю участникам задавали вопрос о том, что они ели накануне (напомним: еду взвешивали, ее вес и состав записывали). Несмотря на внимательное ведение дневников питания, участники все-таки недооценивали свое потребление пищи на 20–30 %.
Да, их вполне могли ослепить снежные бури. Обстоятельства, в которых проводилось это исследование, нормальными не назовешь. А теперь посмотрим, как поступают в этом случае настоящие профессионалы.
WHI ("Инициатива женского здоровья") – грандиозный проект стоимостью 415 миллионов долларов, осуществленный под эгидой Национального института здравоохранения. В нем участвовало почти 49 тысяч женщин. Проект был разработан с целью изучения ряда проблем со здоровьем, в том числе влияния рациона со сниженным содержанием жира на вероятность рака за восьмилетний период. Это широкомасштабное интервенционное исследование СМИ часто называли "золотым стандартом" в изучении питания. Доктор Майкл Тун из Американской онкологической ассоциации даже объявил WHI "роллс-ройсом среди исследований".
В 2006 году New York Times объявила о результатах под недвусмысленным заголовком:
Исследования показывают: рацион с низким содержанием жира не снижает риск для здоровья
Хотя я согласен с этим выводом, сделанным на основании других данных, исследование WHI просто не могло прийти к подобному заключению. Обратимся за помощью к Майклу Поллану, чтобы увидеть одно из самых распространенных слабых мест национальных исследований: самоотчеты.
При недавней попытке заполнить опросный лист по частоте потребления продуктов, применявшийся в исследовании WHI, я вдруг понял, как неопределенны данные, на основании которых строятся выводы подобных исследований… Меня просили вспомнить, что случилось за последние три месяца, и указать, ел ли я за это время бамию, кабачки или ямс, были ли они жареными, и если да, то на чем – на маргарине, продающемся в фольге, на маргарине, купленном в пластиковой емкости, на сливочном масле, на "шортенинге" (в этой категории необъяснимым образом слиплись гидрогенезированное растительное масло и топленое свиное сало), на оливковом или каноловом масле, или на масле в виде спрея, предназначенном для посуды с антипригарным покрытием? Честное слово, я не помню, а если бамию я ел в ресторане, даже под гипнозом из меня не удалось бы вытянуть сведения о том, на каком жире ее поджарили…
Вот каковы данные, на основании которых в современной Америке решаются важные вопросы питания и здоровья.
В опросник WHI также входили вопросы:
Когда вы едите курятину или индейку, как часто вы съедаете кожу?
Какое мясо вы обычно выбираете – белое, темное или и то, и другое?
Сколько раз за последние три месяца вы съели порцию брокколи размером с полстакана?
Как бы справились с этой задачей вы? Думаете, смогли бы с 20-процентной вероятностью найти в памяти верные ответы?
Проверим на примере последних 24 часов.
Пожалуйста, оцените количество калорий в пище и напитках, которые вы употребили вчера, при этом не обращайтесь ни к каким справочникам, а также укажите количество потребленных калорий, полученных из жира. Затем съешьте точно такую же еду (вместе с перекусами), но взвешивайте всю ее в граммах на портативных кухонных весах. Количество напитков оценивайте с помощью мерной кружки. На сайте www.nutritiondata.com найдите информацию о количестве калорий в 100 г каждого продукта и произведите подсчеты.
Если вы не профессиональный спортсмен и не умеете на глаз отличать 150-граммовую порцию стейка от 200-граммовой, разница между самоотчетом и результатами взвешивания вызовет у вас шок. Перемножьте эти отклонения на 49 тысяч человек, и вы наверняка сможете представить себе получившуюся картину в стиле Пикассо.
Да, сведения, сообщенные самими участниками эксперимента, могут быть полезными, особенно если записываются в реальном времени (то есть в процессе событий). Эту задачу облегчают достижения техники, исключающие из уравнения фактор памяти: например, приложение для iPhone, которое называется DailyBurn’s FoodScanner и wifi-весы Withing. Всеми силами избегайте исследований, опирающихся на сведения самоотчетов, сделанных постфактум. Доверяйте собственным данным. А для этого фиксируйте их в процессе.
4. Заявлено ли участие контрольной группы в исследовании программы питания или диеты?
Как бы настоятельно это ни требовалось, в исследовании питания почти невозможно изменить только одну макроэлементную переменную (белки, углеводы, жиры). А значит, почти невозможно создать и контрольную группу.
Если исследователи утверждают, что контрольная группа была, и возлагают вину на единственный макроэлемент, ваш скептический разум должен немедленно насторожиться.
Допустим, некто утверждает, что исследование влияния рациона с низким содержанием жиров подтвердило: он полезнее для здоровья, чем рацион с высоким содержанием жиров. Вот контрольная группа.
Начнем по порядку: чтобы снизить содержание жира и холестерина в рационе, в который входят цельные продукты, понадобится исключить из него жиры и белки, а это означает, что придется съедать гораздо больше углеводов, чтобы восполнить недостаток калорий. В противном случае еще одной переменной станет изменившееся количество калорий. Но если скорректировать калорийность, добавив углеводов, возникнет парадокс: оказывается, мы сравниваем не только рационы с высоким и с низким содержанием жиров, но и рационы с высоким и низким содержанием белков, а также высоким и низким содержанием углеводов.
Как узнать, что из них за что отвечает?
Никак.
Эксперименты над собой в этом случае дают неожиданное преимущество.
Под "контролем" подразумевается все, что вы испробовали до определенного момента, но не добились желаемого эффекта. Выделить одну переменную зачастую не так важно, как суммарное влияние группы изменений. Иными словами, увеличилась или уменьшилась ваша доля телесного жира за последние две недели, когда вы заменили диету А диетой Б? Если на диете А вы не сбрасывали жир, а теперь теряете его, "контрольной" считается диета А.
В идеальном (но малоприятном) тесте следует вернуться к диете А и посмотреть, начнет ли меняться доля телесного жира в обратную сторону. И еще раз переключиться с диеты на диету. Так будет сведена к минимуму вероятность чистого совпадения первого перехода на диету Б с избавлением от телесного жира. Увы, такое переключение также максимально увеличит вероятность вашего помешательства. То, что действует, лучше не трогать.
5. Заинтересованы ли спонсоры исследования в определенных результатах?
Остерегайтесь нечестивых союзов между источниками финансирования и учеными.
Фред Стэр, основатель и глава кафедры питания Гарвардского университета, в 1960 году получил от компании General Foods грант в размере 1 026 000 долларов. Эти производители хлопьев с сахаром Post, напитка Kool-Aid, а также напитка к завтраку Tang были готовы финансировать "развитие лаборатории исследований в области питания". В последующее десятилетие Стэр стал наиболее известным и авторитетным защитником сахара и современных пищевых добавок, все это время получая финансовую помощь от различных компаний, в том числе Coca-Cola и Национальной ассоциации безалкогольных напитков. Означает ли это наличие состава преступления? Нет. Доказывает ли, что финансирование исследований, поддержка, которую можно прекратить, часто исходит от тех, кто с наибольшей вероятностью выиграет от этих исследований? Да. Люди реагируют на стимулы.
Просто проведите проверку: изучите обязательный раздел "конфликт интересов" в исследованиях или обзорах, связанных с питанием, и обратите внимание на "гонорары за консультации". Если McCorporation или XYZ Lobby считает прямое финансирование исследований слишком очевидным путем, то обращение к исследователям как к консультантам может быть косвенным способом достичь тех же целей. Например, Джеймс Хилл из университета Колорадо хорошо известен попытками дискредитировать связь между ожирением и повышенным уровнем инсулина, вызванным потреблением сахара. В его заявленных конфликтах интересов можно увидеть, что он получал гонорары за консультации от компаний Coca-Cola, Kraft Foods, Mars Corporation (производитель "сникерсов", M&Ms и "марсов").
Означает ли одно это, что он виновен в искажении данных ради корпоративных интересов? Нет. Но следует повнимательнее присмотреться к его исследованиям, прежде чем верить заголовкам в прессе и менять свою жизнь.
Цель этой главы и цель этой книги
Осознание того, как действовать в условиях неполноты информации, – главная и самая насущная задача человека.
Нассим Талеб, "Черный лебедь"
Надежны ли эксперименты, описанные в этой книге, настолько, что к ним невозможно придраться? Едва ли. У каждого исследования есть свои недостатки, зачастую связанные с соображениями этики или законности.
Я служу самому себе единственным участником экспериментов и (с редкими исключениями) не рандомизирую и не пользуюсь контрольными группами. Несомненно, узнав об этом, некоторые ученые не упустят случая порезвиться и раскритиковать эксперименты над собой как таковые.
Это не беспокоит меня и не должно беспокоить вас.
Цель этой главы проста: поскольку публикации, посвященные научным исследованиям, нередко становятся отправной точкой для наших экспериментов над собой, мы хотим убедиться в том, что не двинемся по ложному следу, указанному аферистами или дезинформированными, пусть и благонамеренными журналистами. Понимание вопросов "большой пятерки" и признаков погони за сенсацией поможет вам перейти в немногочисленную группу тех, кто в вопросах питания полагается на себя, а не на СМИ.
Так приоткрывается дверь, которую затем мы можем распахнуть и придержать открытой ради достижения невероятных результатов.
Моя первая и главная цель в рамках этой книги – вовсе не выявление единственных переменных, дающих желаемые изменения. Такая цель клинических исследований часто ставится с целью публикаций, но эксперименты ради самосовершенствования – совсем другое дело.
Возможно, альфа-липоевая кислота никак не влияет на действие данного коктейля для сбрасывания жира, возможно, рост мышц провоцирует угол наклона при выполнении упражнений, а не нагрузка, возможно, шпинат не дает ни одного из эффектов, которые я предсказываю, – в отличие от других продуктов в указанном меню. Точный механизм не так уж важен, если мы добились желаемого эффекта… не допустив побочных.
Известно высказывание доктора Мартина Лютера Кинга-младшего, согласно которому "сильное запоздавшее правосудие – не правосудие". В мире экспериментов над собой, где результаты имеют значение лично для экспериментатора, слишком затянувшееся получение этих результатов равнозначно их отсутствию. Это не значит, что надо действовать наобум. Вполне можно добиться успеха, не навредив себе. Но чаще всего стремление дождаться наиболее подходящих условий означает, что ждать придется вечно.
В мире, в котором я живу, люди хотят избавиться от лишнего жира или усовершенствовать сексуальную жизнь сейчас же, а не через пять или десять лет.
Пусть научные журналы догоняют вас – а вам незачем ждать.
ЛН(любителям науки)
Р-величина: единственное число, смысл которого надо понять