96
Clark T. D. et al. Ocean Acidification Does Not Impair the Behaviour of Coral Reef Fishes. Nature. 577, no. 7790 (2020): 3705. См. также Enserink M. Analysis Challenges Slew of Studies Claiming Ocean Acidification Alters Fish Behavior. Science. 8 Jan. 2020. Как отмечается в этой второй статье, из того, что поведение рыб, похоже, не меняется, не следует, что нам нужно перестать беспокоиться о закислении океана, которое вызывает много других пагубных явлений. Позднее авторов исходных статей (двадцати двух штук) о закислении океана и поведении рыб обвинили в научном мошенничестве. См. Enserink M. Does Ocean Acidification Alter Fish Behavior? Fraud Allegations Create a Sea of Doubt. Science. 6 May 2021.
97
www.orgsyn.org/instructions.aspx. См. также Chawla D. S. Taking on Chemistrys Reproducibility Problem. Chemistry World. 20 March 2017.
98
Поиск нужных статей проводился таким образом, что исследования, которые открыто не объявляли себя попытками воспроизвести предыдущие работы, могли оказаться неучтенными, поэтому итоговый процент, вероятно, на самом деле чуточку больше. Экономика: Mueller-Langer F. et al. Replication Studies in Economics How Many and Which Papers Are Chosen for Replication and Why? Research Policy. 48, no. 1 (2019): 6283. Психология: Makel M. C. et al. Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science. 7, no. 6 (2012): 53742. Также обращаю ваше внимание: по поводу того, что считать попыткой воспроизвести исследование, ведутся споры. Некоторые ученые провели множество содержательных повторений, в целом похожих на исходное исследование, но в деталях иногда от него отличающихся. Это по-своему интересно, но это не прямое повторение, когда именно та же, насколько только возможно, работа проводится сызнова. Вот такого рода исследований-повторений и не хватает. См. Schmidt S. Shall We Really Do It Again? The Powerful Concept of Replication is Neglected in the Social Sciences. Review of General Psychology. 13, no. 2 (2009): 90100.
99
Во избежание путаницы заметим, что в англоязычной специализированной литературе существуют два разных термина: проблема сходимости результатов (replicability или repeatability) и проблема воспроизводимости результатов (reproducibility). В русскоязычной же литературе обычно не делается различий между этими случаями и используется единый термин проблема воспроизводимости. Учитывая, что и в английском языке применение двух разных терминов не строгое (на что, в частности, указывает и сам автор в примечании 49 к этой главе), в русском переводе данной книги используется только термин воспроизводимость, тем более что необходимые детали соответствующих исследований там, где они важны, поясняются автором отдельно. (Здесь и далее прим. перев.)
100
Chang A. C., Li P. Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals say Usually Not. Finance and Economics Discussion Series. 2015, no. 83 (2015): 126. Washington: Board of Governors of the Federal Reserve System. Подробный обзор проблемы воспроизводимости в экономике: Christensen G., Miguel E. Transparency, Reproducibility, and the Credibility of Economics Research. Working Paper no. 22989. National Bureau of Economic Research. 2016.
101
Konkol M. et al. Computational Reproducibility in Geoscientific Papers: Insights from a Series of Studies with Geoscientists and a Reproduction Study. International Journal of Geographical Information Science. 33, no. 2 (2019): 40829.
102
И даже хуже: из этих семи статей в целых шести методы избыточны по сравнению с гораздо более простыми методами, которые были известны за много лет до того, как создавались эти новые алгоритмы. Dacrema M. F. et al. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. RecSys 2019. Copenhagen, Denmark. См. также отчет по компьютерным наукам, который дает понять, что у новых исследователей не получается воспроизвести результаты применения нескольких классических алгоритмов а это своего рода бомба замедленного действия, поскольку молодые ученые не хотят выглядеть хулителями старших коллег, публикуя статьи о провалившихся попытках воспроизвести действие алгоритмов, которые были разработаны старшими коллегами и на которых держится их репутация. Hutson M. Artificial Intelligence Faces Reproducibility Crisis. Science. 359, no. 6377 (2018): 7256.
103
То есть в пробирке.
104
Begley C. G., Ellis L. M. Raise Standards for Preclinical Cancer Research. Nature. 483, no. 7391 (2012): 5313.
105
Prinz F. et al. Believe It or Not: How Much Can We Rely on Published Data on Potential Drug Targets? Nature Reviews Drug Discovery. 10 (2011): 712. Обратите внимание, что приведенная в статье сотрудниками Bayer диаграмма включает только 70 % исследований рака остальные 30 % связаны с женским здоровьем или сердечно-сосудистой системой.
106
Wong C. H. et al. Estimation of Clinical Trial Success Rates and Related Parameters. Biostatistics. 20, no. 2 (2019): 27386. Из всех разнообразных лекарств доля тех, что добираются от доклинических испытаний до применения на людях, оценивается в данной работе в 13,8 %, так что с исследованиями рака все особенно плохо.
107
Nosek B. A., Errington T. M. Reproducibility in Cancer Biology: Making Sense of Replications. eLife. 6 (2017): e23383. В названии Проект по проверке воспроизводимости: биология рака термин воспроизводимость используется в том же смысле, в каком я использую слово сходимость (то есть попытка получить те же результаты на другой выборке). Я выбрал определения для этой книги таким образом, чтобы отразить сложившийся консенсус, однако стоит понимать, что не все придерживаются той же терминологии.
108
Repass J. et al. Replication Study: Fusobacterium Nucleatum Infection is Prevalent in Human Colorectal Carcinoma. eLife. 7 (2018): e25801.
109
Errington T. Reproducibility Project: Cancer Biology Barriers to Replicability in the Process of Research. 2019. https://osf.io/x9p5s/
110
Baker M., Dolgin E. Cancer Reproducibility Project Releases First Results. Nature. 541, no. 7637 (2017): 26970; Engber D. Cancer Research Is Broken. Slate. 19 April 2016.
111
Errington T. Reproducibility Project (см. слайд 11).
112
Kaiser J. The Cancer Test. Science. 348, no. 6242 (2015): 14113.
113
Iqbal S. A. et al. Reproducible Research Practices and Transparency across the Biomedical Literature. PLOS Biology. 14, no. 1 (2016): e1002333. Обратите внимание, что в полную выборку вошло 441 исследование, но только 268 из них содержали эмпирические данные.
114
Vasilevsky N. A. et al. On the Reproducibility of Science: Unique Identification of Research Resources in the Biomedical Literature. PeerJ. 1 (2013): e148. Проблемы, касающиеся недостаточно подробного написания статей, выходят за пределы биомедицины. О политологии, например, см. Wuttke A. Why Too Many Political Science Findings Cannot Be Trusted and What We Can Do About It: A Review of Meta-Scientific Research and a Call for Academic Reform. Politische Vierteljahresschrift. 60, no. 1 (2019): 119. Об экологии см. Parker T. H. et al. Transparency in Ecology and Evolution: Real Problems, Real Solutions. Trends in Ecology & Evolution. 31, no. 9 (2016): 7119.
115
Kaiser J. Plan to Replicate 50 High-Impact Cancer Papers Shrinks to Just 18. Science. 31 July 2018. Обратите внимание, что в примечании 51 к этой главе (Errington T. Reproducibility Project) обсуждается пятьдесят одно исследование, а не пятьдесят.
116
Все о Проекте по проверке воспроизводимости: биология рака см. здесь: https://elifesciences.org/collections/9b1e83d1/reproducibility-project-cancer-biology.
117
Prasad V. K., Cifu A. S. Ending Medical Reversal: Improving Outcomes, Saving Lives. Baltimore: Johns Hopkins University Press, 2015.
118
Lang J. Awakening. The Atlantic. Feb. 2013.
119
Avidan M. S. et al. Anesthesia Awareness and the Bispectral Index. New England Journal of Medicine. 358, no. 11 (2008): 1097.
120
Herrera-Perez D. et al. A Comprehensive Review of Randomized Clinical Trials in Three Medical Journals Reveals 396 Medical Reversals. eLife. 8 (2019): e45183. Это было продолжением похожего исследования тех же авторов, когда обнаружилось 146 медицинских реверсий: Prasad V. et al. A Decade of Reversal: An Analysis of 146 Contradicted Medical Practices. Mayo Clinic Proceedings. 88, no. 8 (2013): 7908.
121
Barrett J. F. R. et al. A Randomized Trial of Planned Cesarean or Vaginal Delivery for Twin Pregnancy. New England Journal of Medicine. 369, no. 14 (2013): 12951305.
122
Du Toit G. et al. Randomized Trial of Peanut Consumption in Infants at Risk for Peanut Allergy. New England Journal of Medicine. 372, no. 9 (2015): 80313.
123
Kim F. et al. Effect of Prehospital Induction of Mild Hypothermia on Survival and Neurological Status Among Adults with Cardiac Arrest: A Randomized Clinical Trial. JAMA. 311, no. 1 (2014): 4552.
124
AVERT Collaboration. Efficacy and Safety of Very Early Mobilisation within 24 h of Stroke Onset: A Randomised Controlled Trial. Lancet. 386, no. 9988 (2015): 4655.
125
Baharoglu M. I. et al. Platelet Transfusion versus Standard Care after Acute Stroke Due to Spontaneous Cerebral Haemorrhage Associated with Antiplatelet Therapy (PATCH): A Randomised, Open-Label, Phase 3 Trial. Lancet. 387, no. 10038 (2016): 260513.