Проблемы с воспроизводимостью в медицине затронули не только лабораторные доклинические исследования они могут напрямую влиять на средства лечения, прописываемые врачами своим пациентам. Оказывается, широко распространенные средства лечения часто основаны на низкокачественных исследованиях: вместо того чтобы прочно уходить корнями в доказательства, общепризнанная медицинская мудрость регулярно вступает в противоречие с результатами новых исследований. Подобное происходит так часто, что ученые-медики Винай Прасад и Адам Сифу окрестили это явление медицинской реверсией[117].
Один особенно поразительный пример медицинской реверсии связан с интранаркозным пробуждением. Это неброское название дали жуткому (но, благо, редкому) осложнению, когда человек пробуждается во время операции, иногда чувствуя невыносимую боль от рассечения собственных тканей, и не может ни двигаться, ни говорить, ни сделать что-либо еще. Исследования 1990-х годов обосновали использование прибора под названием монитор биспектрального индекса (или BIS-монитор от английского словосочетания bispectral index). По сути это электрод, который крепится к коже головы и позволяет хирургам удостовериться, что пациент действительно без сознания. Исследования воплотились в широко распространенную практику: к 2007 году половина операционных в США обзавелась таким прибором, и с ним было проведено около сорока миллионов операций по всему миру[118]. Однако выяснилось, что с исходными работами не все в порядке. Когда в 2008 году провели более масштабное и более высококачественное исследование, обнаружилось, что BIS-монитор бесполезен: интранаркозное пробуждение случалось, даже когда [приборные] показания укладывались в допустимый диапазон[119].
В 2019 году Прасад, Сифу и их коллеги проанализировали более трех тысяч статей из трех самых престижных медицинских журналов и обнаружили, что не менее чем в трехстах девяноста шести из них опровергались устоявшиеся в медицинской практике мнения[120]. Вот лишь несколько примеров:
Роды. В некоторых предыдущих исследованиях было показано, что, когда женщина рожает двойню, плановое кесарево сечение самый безопасный вариант для младенцев. В результате это стало общепринятой практикой (по крайней мере в Северной Америке). Но в крупном рандомизированном исследовании 2013 года ученые не выявили никакой разницы с точки зрения здоровья детей[121].
Аллергия. Аллергия на арахис бывает смертельной, и если у родителя она есть, то высок риск, что она разовьется и у его детей. Долгие годы рекомендации для младенцев из группы риска, основанные на результатах прежних исследований, предписывали не давать детям арахис как минимум до трех лет и кормящим матерям тоже его избегать. Оказывается, этот совет был неверным, все как раз наоборот: добротные рандомизированные испытания 2015 года показали, что лишь у примерно 2 % детей из группы риска, евших арахис в первые годы жизни, к пяти годам развилась на него аллергия, тогда как среди детей из группы риска, не употреблявших арахис, аллергия появилась почти у 14 %[122].
Инфаркт миокарда. В некоторых небольших исследованиях было показано, что шансы выжить при остановке сердца у человека повышаются, если на несколько градусов снизить его температуру тела. Рекомендацию, основанную на этом открытии, начали включать в руководства для парамедиков. Однако в крупном исследовании 2014 года выяснилось, что охлаждение не влияет на шансы выжить, а то и вообще, возможно, повышает вероятность второго инфаркта при транспортировке пациента в больницу[123].
Инсульт. На основании исследований предполагалось, что человека, перенесшего инсульт, лучше всего как можно раньше заставить двигаться: садиться в кровати, стоять, ходить, если возможно. Концепция ранней мобилизации встречается во многих широко используемых больничных методичках. Однако в масштабном рандомизированном исследовании 2015 года было показано, что ранняя мобилизация на самом деле вела к более неблагоприятным исходам для пациентов с инсультом[124]. Аналогично в исследовании 2016 года выяснилось, что принятая практика переливать пациентам с инсультом тромбоциты (это процедура, восполняющая запасы клеточных элементов, участвующих в процессе свертывания крови, что в теории помогает предотвратить дальнейшее кровотечение) в действительности все только ухудшала[125].
Вполне понятно, почему врачи и авторы клинических рекомендаций иногда невольно полагаются на малодостоверные доказательства. Зачастую альтернатива это вообще отсутствие доказательств, а ведь их долг помочь пациентам, нуждающимся в лечении, прямо сейчас
Примечания
1
Morris С. et al. Paedogeddon! // Brass Eye. Series 2. Episode 1. 26 July 2001.
2
Перевод С. Красильщикова.
3
Bacon F. Novum Organum. New York: P. F. Collier & Son, 1620/1902. [Бэкон Ф. Новый Органон // Соч. в 2-х т. Т. 2. М.: Мысль, 1972.]
4
Bem D. J. Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect. Journal of Personality and Social Psychology. 100, no. 3 (2011): 40725.
5
Студенты также обладали обратной способностью: когда за одним из занавесов скрывалась жестокая картинка, они психически дистанцировались от нее, выбирая соответствующее изображение лишь в 48,3 % случаев отличие от результата, который должен был бы получиться при чистом угадывании, опять-таки оказалось статистически значимым.
6
Aldhous P. Journal Rejects Studies Contradicting Precognition. New Scientist. 5 May 2011.
7
The Colbert Report. Time Travelling Porn Daryl Bem. 2011.
8
После еще нескольких отказов мы в конце концов опубликовали статью в другом научном журнале: Ritchie S. J. et al. Failing the Future: Three Unsuccessful Attempts to Replicate Bems Retroactive Facilitation of Recall Effect. PLOS ONE. 7, no. 3 (2012): e33423. Примечательно, что отклонивший нашу статью журнал опубликовал критические замечания, касающиеся статистического анализа в исследовании Бема (Wagenmakers E.-J. et al. Why psychologists must change the way they analyze their data: the case of psi: comment on Bem (2011). Journal of Personality and Social Psychology. 100, no. 3 (2011): 42632), а также ответ Бема и его коллег (Bem D. J. et al. Must psychologists change the way they analyze their data? Journal of Personality and Social Psychology. 101, no. 4 (2011): 7169). И все равно редколлегия журнала не собиралась рассматривать возможность публикации статьи о попытке повторить исходное исследование. Дальше мы увидим, что редакторы журнала с тех пор пересмотрели свое отношение к этой важнейшей проблеме.
9
Stapel D. A., Lindenberg S. Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination. Science. 332, no. 6026 (2011): 2513.
10
Ball P. Chaos Promotes Stereotyping. Nature. 7 April 2011; Phillips N. Where Theres Rubbish Theres Racism. Sunday Morning Herald. 11 April 2011.
11
Stapel D. A., Lindenberg S. Coping with Chaos.
12
Levelt Committee et al. Flawed Science: The Fraudulent Research Practices of Social Psychologist Diederik Stapel [English Translation]. 28 Nov. 2012.
13
Stapel D. A. Faking Science: A True Story of Academic Fraud. Tr. Brown N. J. L. Strasbourg, France, 2014, 2016. http://nick.brown.free.fr/stapel
14
Там же.
15
Действительно, научный прогресс зависит от нашей способности находить допущенные ранее ошибки и недоработки. Например, в начале XX века физики осознали, что классическая механика Ньютона, долгое время считавшаяся универсальной, не может объяснить поведение очень маленьких и очень быстрых частиц, и тогда разработали квантовую механику. Обсуждение этого вопроса с точки зрения измеримых величин вроде скорости света и постоянной Планка см. здесь: Milton M. J. T., Possolo A. Trustworthy Data Underpin Reproducible Research. Nature Physics. 16, no. 2 (2020): 1179.
16
Я нашел единственный пример вот эту статью, которая была опубликована спустя долгое время после разоблачения мошенничества Стапела, хотя само исследование проводилось до того: IJzerman H. et al. Perceptual Effects of Linguistic Category Priming: The Stapel and Semin (2007) Paradigm Revisited in Twelve Experiments. Acta Psychologica. 157 (2015): 239. Больше о затяжных попытках опубликовать это исследование (что кое в чем напоминает мой собственный опыт с работой Бема) написано здесь: Zwaan R. When Replicating Stapel is not an Exercise in Futility. Zeitgeist. 18 Jan. 2015.
17
Цитируется по: Engber D. Daryl Bem Proved ESP Is Real: Which Means Science Is Broken. Slate. 7 June 2017.
18
Классический пример такой книги: Sagan C. The Demon-Haunted World: Science as a Candle in the Dark. New York: Ballantine Books, 1997. [Саган К. Мир, полный демонов. Наука как свеча во тьме. М.: АНФ, 2021.]
19
В этой книге я рассматриваю множество сучков в глазах других ученых, поэтому если вы простите мне минутку самоанализа правильно будет проверить наличие любых потенциальных бревен в собственном глазу. За годы, прошедшие с моих попыток воспроизвести результаты Бема, у меня вышло много статей на разные темы, хотя преимущественно все-таки про человеческий интеллект, интересующий меня больше всего. В первую очередь нужно сказать, что я никогда умышленно не подделывал результаты. Однако глупо было бы думать, что я неуязвим для предубеждений. Они часто или, возможно, обычно бессознательны, и история некоего исследования легко переписывается так, что начинает казаться, будто исходно вы именно таким его и задумывали. Хорошо, что я опубликовал немало отрицательных результатов, то есть статей, в которых не было найдено подтверждений основной гипотезе. См., например: Ritchie S. J. et al. Polygenic Predictors of Age-Related Decline in Cognitive Ability. Molecular Psychiatry. 25 (2020): 258498; а также мою самую первую научную публикацию: Ritchie S. J. et al. Irlen Colored Overlays Do Not Alleviate Reading Difficulties. Pediatrics. 128, no. 4 (2011): e9328. Опять-таки мне легко можно возразить, что в этой моей дебютной статье с отрицательными результатами изучалась слишком маленькая выборка и потому реальные эффекты могли быть упущены (см. обсуждение статистической мощности в пятой главе). Некоторые мои статьи подвергались справедливой критике других ученых, например, когда я вляпался в переподгонку (об этом феномене мы поговорим в четвертой главе). См. Bailey D. H., Littlefield A. K. Does Reading Cause Later Intelligence? Accounting for Stability in Models of Change. Child Development. 88, no. 6 (2017): 191321. Я даже опубликовал статью о гене-кандидате, использовав метод, по которому мы пройдемся в пятой главе. См. Ritchie S. J. et al. Alcohol Consumption and Lifetime Change in Cognitive Ability: A Gene × Environment Interaction Study. AGE. 36, no. 3 (2014): 9638. И почти наверняка я виновен в подверженности хайпу: в некоторых беседах с журналистами о науке я позволял себе слишком вольные формулировки или позже все мы крепки задним умом сожалел, что не добавил какие-то ценные замечания и не сделал важные оговорки. И я совершил ошибку, утверждая, что опубликованы сотни рецензированных статей на эту тему, как будто это служит индикатором правды. И что касается рецензирования: уж точно были случаи, когда я не посвящал статье, которую рецензировал, должного количества времени и мог нечаянно пропустить какие-то ошибки. Нисколько не сомневаюсь, что в будущем вскроются еще какие-нибудь мои оплошности или упущения.
20
Перевод О. Артемьевой. Цит. по: Своеволие философии: собрание философских эссе. М.: ЯСК, 2019.
21
Hume D. Of Essay-Writing // Essays: Moral, Political, and Literary. Indianapolis: Liberty Fund, 1777.
22
Sokal A., Bricmont J. Intellectual Impostures. London: Profile Books, 1998, 2003.
23
Mill J. S. On Liberty. London: Dover Press, 1859. [Милль Дж. С. О свободе // Антология мировой либеральной мысли (I половины XX века). М.: Прогресс-Традиция, 2000.]
24
Перевод А. Неведомского.
25
Longino H. E. Science as Social Knowledge. Princeton: Princeton University Press, 1990. См. также Longino H. The Social Dimensions of Scientific Knowledge. The Stanford Encyclopedia of Philosophy. Summer 2019; Reiss J., Sprenger J. Scientific Objectivity. The Stanford Encyclopedia of Philosophy. Winter 2017.
26
Это утверждение я делаю под влиянием идеи специалистов по эволюционной теории Уго Мерсье и Дэна Спербера, согласно которой основная функция человеческого мышления как такового состоит в том, чтобы придумать, как лучше всего убедить других людей. См. Mercier H., Sperber D. Why Do Humans Reason? Arguments for an Argumentative Theory. Behavioral and Brain Sciences. 34, no. 2 (2011): 5774.
27
McDougall-Waters J. et al. Philosophical Transactions: 350 Years of Publishing at the Royal Society (16652015). London: Royal Society, 2015. Некоторые историки возразили бы, что первым научным журналом следует считать французское издание Le Journal des sçavans, вышедшее в 1665 году всего за два месяца до Philosophical Transactions. Однако в нем публиковались статьи по огромному числу разных ученых тем и поначалу в основном книжные рецензии и отрывки. Тогда как Philosophical Transactions исходно был посвящен главным образом научным новостям и наблюдениям. Наверное, справедливее было бы признать Le Journal des sçavans первым академическим изданием, а Philosophical Transactions первым научным. См. McCutcheon R. P. The Journal Des Scavans and the Philosophical Transactions of the Royal Society. Studies in Philology. 21, no. 4 (1924): 6268; Banks D. Thoughts on Publishing the Research Article over the Centuries. Publications. 6, no. 1 (2018): 10.
28
David P. A. The Historical Origins of Open Science: An Essay on Patronage, Reputation and Common Agency Contracting in the Scientific Revolution. Capitalism and Society. 3, no. 2 (2008): 5.
29
Hooke R. A Spot in One of the Belts of Jupiter. Philosophical Transactions. 1 (1665): 3.
30
В 1900 году он был разделен на два журнала: один по математике и физическим наукам, другой по наукам биологическим. См. https://royalsocietypublishing.org/journal/rstl.
31
Ware M., Mabe M. The STM Report: An Overview of Scientific and Scholarly Journal Publishing. The Hague, Netherlands: International Association of Scientific, Technical and Medical Publishers, 2015.
32
Обратите внимание, что до середины XVIII века, когда журнал Philosophical Transactions стал официальным изданием Королевского общества, он издавался разными отдельными исследователями и составителями.
33
Большинство журнальных статей они называются экспериментальными сообщают о новых результатах исследований, но некоторые являются обзорными статьями, обобщающими все, что уже известно по какому-то конкретному научному вопросу.
34
www.nih.gov и www.nsf.gov. Похожие организации в других странах: Государственное агентство исследований и инноваций Великобритании (UK Research and Innovation; www.ukri.org), Национальный фонд естественных наук Китая (National Natural Science Foundation of China; www.nsfc.gov.cn/english/site_1/index.html), Японское общество содействия науке (Japan Society for the Promotion of Science; www.jsps.go.jp/english). См. также https://wellcome.ac.uk/ и www.gatesfoundation.org.
35
Например, в некоторых научных журналах раздел Методы помещается в самый конец статьи, будто бы эта важнейшая информация всего лишь второстепенное дополнение.
36
www.sciencemag.org/site/feature/contribinfo/faq/index.xhtml#pct_faq