37
Csiszar A. Peer Review: Troubled from the Start. Nature. 532, no. 7599 (2016): 3068.
38
Цитируется по: Baldwin M. Scientific Autonomy, Public Accountability and the Rise of Peer Review in the Cold War United States. Isis. 109, no. 3 (2018): 53858.
39
Там же.
40
https://shitmyreviewerssay.tumblr.com
41
Стоит отметить, что эти правила касаются научного поиска и анализа, они не имеют отношения к этическим нормам, которые все ученые также должны принимать во внимание. Эти правила, пожалуй, особенно важны для тех, кто проводит исследования на людях (или других животных), а еще для тех, кто работает с потенциально опасными технологиями или чьи эксперименты способны нанести экологический либо иной вред.
42
Merton R. K. The Normative Structure of Science (1942) // The Sociology of Science: Empirical and Theoretical Investigations. Chicago and London: University of Chicago Press, 1973.
43
Darwin Correspondence Project, Letter no. 2122, 9 July 1857. www.darwinproject.ac.uk/letter/DCP-LETT-2122.xml
44
Вообще Мертон назвал коллективизм коммунизмом, но этот термин, скажем так, имеет иные коннотации. В последующих работах название сменилось на коллективизм, им я здесь и пользуюсь. См., например: Anderson M. S. et al. Extending the Mertonian Norms: Scientists Subscription to Norms of Research. Journal of Higher Education. 81, no. 3 (2010): 36693.
45
Мертон упоминает нелюдимого Генри Кавендиша, физика и химика, жившего в XVIII веке, как исторического нарушителя этой нормы: тот скрыл от мира множество своих важных экспериментов и теорий из чистой застенчивости, и лишь много позже его смерти эти результаты были получены заново.
46
Best N. W. Lavoisiers Reflections on Phlogiston I: Against Phlogiston Theory. Foundations of Chemistry. 17, no. 2 (2015): 13751.
47
Dawkins R. The God Delusion. London: Bantam Books, 2006. [Докинз Р. Бог как иллюзия. М.: КоЛибри, 2018.]
48
Перевод Н. Смелковой.
49
Planck M. Scientific Autobiography and Other Papers. London: Williams & Norgate, Ltd., 1949. [См., например: Планк М. Научная автобиография. УФН. 64, 4 (1958): 62537.]
50
Popper K. The Logic of Scientific Discovery. London & New York: Routledge Classics, 1959/2002. [Поппер К. Логика научного исследования // Поппер К. Логика и рост научного знания. М.: Прогресс, 1983.]
51
Перевод В. Брюшинкина.
52
Подобное повторение опыта, хоть и проведенное лет на сто позже, изображено в драматическом свете на картине Джозефа Райта (Райта из Дерби) Эксперимент с птицей в воздушном насосе, сейчас находящейся в Лондонской национальной галерее.
53
Boyle R. The New Experiments Physico-Mechanical, Touching the Spring of the Air and Its Effects. London: Miles Flesher, 1682. Цит. по: Shapin S., Schaffer S. Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life. Princeton: Princeton University Press, 1985.
54
Shapin S., Schaffer S. Leviathan.
55
Перевод М. Лозинского.
56
Nosek B. A. et al. Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science. 7, no. 6 (2012): 61531.
57
Kahneman D. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011. [Канеман Д. Думай медленно решай быстро. М.: АСТ, 2013.]
58
Neely J. Semantic Priming Effects in Visual Word Recognition: A Selective Review of Current Findings and Theories // Basic Processes in Reading: Visual Word Recognition. Abingdon: Routledge, 2012.
59
Zhong C. B., Liljenquist K. Washing Away Your Sins: Threatened Morality and Physical Cleansing. Science. 313, no. 5792 (2006): 14512.
60
Vohs K. D. et al. The Psychological Consequences of Money. Science. 314, no. 5802 (2006): 11546.
61
Там же.
62
Перевод Школы перевода Баканова.
63
Kahneman D. Thinking, Fast and Slow.
64
Насколько мне известно, термин происходит из статьи Пашлера и Вагенмэйкерса, которые не использовали словосочетание кризис воспроизводимости впрямую, но говорили о кризисе доверия в психологических исследованиях после серии неудавшихся повторений. Нельсон, Симмонс и Саймонсон обсуждали причины возникновения кризиса. См. Pashler H., Wagenmakers E.-J. Editors Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on Psychological Science. 7, no. 6 (2012): 52830; Nelson L. D. et al. Psychologys Renaissance. Annual Review of Psychology. 69, no. 1 (2018): 51134.
65
Bargh J. A. et al. Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action. Journal of Personality and Social Psychology. 71, no. 2 (1996): 23044.
66
Количество цитирований (точное число 5208) дано по состоянию на январь 2020 года в соответствии с Google Scholar.
67
Doyen S. et al. Behavioral Priming: Its All in the Mind, but Whose Mind? PLOS ONE. 7, no. 1 (2012): e29081.
68
Earp B. D. et al. Out, Damned Spot: Can the Macbeth Effect Be Replicated? Basic and Applied Social Psychology. 36, no. 1 (2014): 918. Эффект денежного прайминга: Klein R. A. et al. Investigating Variation in Replicability: A Many Labs Replication Project. Social Psychology. 45, no. 3 (2014): 14252.
69
Исходное исследование: Williams L. E., Bargh J. A. Keeping Ones Distance: The Influence of Spatial Distance Cues on Affect and Evaluation. Psychological Science. 19, no. 3 (2008): 3028. Повторение: Pashler H. et al. Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments. PLOS ONE. 7, no. 8 (2012): e42510.
70
Исходное исследование: Zarkadi T., Schnall S. Black and White Thinking: Visual Contrast Polarizes Moral Judgment. Journal of Experimental Social Psychology. 49, no. 3 (2013): 3559. Повторение: IJzerman H., Laine P.-J. Does Background Color Affect Moral Judgment? Three Pre-Registered Replications of Zarkadi and Schnalls (2012) Study 1. Preprint, PsyArXiv (30 July 2018).
71
Для прайминга отвращением экспериментаторы часто делали так, чтобы в помещении дурно пахло. Поэтому исследования на эту тему особенно примечательны: во многих статьях психологам приходилось с непроницаемым видом разглагольствовать об эффектах спрея с запахом кишечных газов, а в одной работе авторы невозмутимо обсуждали патентованный одорант под названием «Жидкая задница». О средстве Жидкая задница см. Adams T. G. et al. The Effects of Cognitive and Affective Priming on Law of Contagion Appraisals. Journal of Experimental Psychopathology. 3, no. 3 (2012): 473. Обзор этого направления исследований: Landy J. F., Goodwin G. P. Does Incidental Disgust Amplify Moral Judgment? A Meta-Analytic Review of Experimental Evidence. Perspectives on Psychological Science. 10, no. 4 (2015): 51836.
72
McCook A. I Placed Too Much Faith in Underpowered Studies: Nobel Prize Winner Admits Mistakes. Retraction Watch. 20 Feb. 2017. Еще Канеман написал открытое письмо, адресованное социальным психологам, в котором сообщил, что узрел угрозу катастрофы, и призвал их изменить свой подход к исследованиям; см. тут: https://go.nature.com/2T7A2NV.
73
Carney D. R. et al. Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance. Psychological Science. 21, no. 10 (2010): 13638.
74
На момент написания этой книги в феврале 2020 года общее количество просмотров на сайте TED составляло 56 миллионов, а на YouTube еще 17,6 миллиона. Выступление исходно называлось Язык тела формирует вашу личность, но затем, когда грянул кризис воспроизводимости, оно было переименовано и стало называться Язык тела может формировать вашу личность. Cuddy A. Your Body Language May Shape Who You Are. TEDGlobal 2012. June 2012.
75
Cuddy A. J. C. Presence: Bringing Your Boldest Self to Your Biggest Challenges. New York: Little, Brown and Company, 2015. Цитаты взяты с издательского сайта: www.littlebrown.com/titles/amy-cuddy/presence/9780316256575.
76
Khaleeli H. A Body Language Lesson Gone Wrong: Why is George Osborne Standing like Beyoncé? The Guardian. 7 Oct. 2015.
77
Ranehill E. et al. Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women. Psychological Science. 26, no. 5 (2015): 6536. С тех пор дебаты по поводу поз силы только набирали обороты. Авторы обзора 2017 года заключили, что эффекты поз силы это предположения, на данный момент не имеющие эмпирических обоснований. См. Simmons J. P., Simonsohn U. Power Posing: P-Curving the Evidence. Psychological Science. 28, no. 5 (2017): 68793. Кадди парировала своим собственным обзором, где отмечался-таки общий эффект, хотя позже и было показано, что наряду с другими проблемами подобных исследований большинство результатов в статьях, на которые она ссылалась, объяснялись, вероятно, отрицательным эффектом ссутуливания, нежели чем положительным воздействием поз силы. См. Cuddy A. J. C. et al. P-Curving a More Comprehensive Body of Research on Postural Feedback Reveals Clear Evidential Value for Power-Posing Effects: Reply to Simmons and Simonsohn (2017). Psychological Science. 29, no. 4 (2018): 65666. Про ссутуливание см. Credé M. A Negative Effect of a Contractive Pose is not Evidence for the Positive Effect of an Expansive Pose: Commentary on Cuddy, Schultz, and Fosse (2018). SSRN. 2018.
78
Zimbardo P. The Lucifer Effect: How Good People Turn Evil. London: Rider, 2007. [Зимбардо Ф. Эффект Люцифера. Почему хорошие люди превращаются в злодеев. М.: АНФ, 2013.]
79
Milgram S. Behavioral Study of Obedience. Journal of Abnormal and Social Psychology. 67, no. 4 (1963): 3718. Эксперименты Милгрэма тоже подвергались справедливой критике. Чем сильнее участники верили, что действительно бьют учеников током, тем с меньшей вероятностью повышали разряд. Об этом см., например: Perry G. et al. Credibility and Incredulity in Milgrams Obedience Experiments: A Reanalysis of an Unpublished Test. Social Psychology Quarterly. 83, no. 1 (2020): 88106.
80
Zimbardo P. Our inner heroes could stop another Abu Ghraib. The Guardian. 29 Feb. 2008.
81
Fromm E. The Anatomy of Human Destructiveness. New York: Holt, Rinehart and Winston, 1975. [Фромм Э. Анатомия человеческой деструктивности. М.: АСТ, 2004.]
82
Le Texier T. Debunking the Stanford Prison Experiment. American Psychologist. 74, no. 7 (2019): 82339.
83
Дебаты продолжаются, и Зимбардо ответил на критику. См., например: Zimbardo P. Philip Zimbardos Response to Recent Criticisms of the Stanford Prison Experiment. 23 June 2018. См. также ответ Ле Тексье на более позднюю версию заявления Зимбардо (на момент написания этой книги еще не опубликованную): Le Texier T. The SPE Remains Debunked: A Reply to Zimbardo and Haney (2020). Preprint, PsyArXiv (24 Jan. 2020).
84
Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science. 349, no. 6251 (2015): aac4716.
85
Camerer C. F. et al. Evaluating the Replicability of Social Science Experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour. 2, no. 9 (2018): 63744.
86
Последнее число соответствует шести удачным попыткам воспроизвести шестнадцать исследований. Ebersole C. R. et al. Many Labs 3: Evaluating Participant Pool Quality across the Academic Semester via Replication. Journal of Experimental Social Psychology. 67 (2016): 6882.
87
Тут некоторые критики могут возразить, что я сам попал в вырытую другим яму. Я подчеркивал важность надежных результатов, однако, заявляя, что разразился кризис воспроизводимости, полагаюсь на попытки воспроизвести разные исследования, которые не являются репрезентативной выборкой из всей научной литературы. Вывод о том, что лишь около половины опубликованных результатов воспроизводятся, возможно, нельзя обобщать на всю науку. Такой аргумент был приведен в критической заметке к одному из исследований, посвященных повторению других работ: Gilbert D. T. et al. Comment on Estimating the Reproducibility of Psychological Science. Science. 351, no. 6277 (2016): 1037. Хотя я не согласен со многими приведенными там аргументами (некоторые причины скепсиса описаны здесь: Lakens D. The Statistical Conclusions in Gilbert et al (2016) Are Completely Invalid. The 20 % Statistician. 6 March 2016), замечание насчет репрезентативности справедливо. Мы все еще плохо понимаем, какая именно часть результатов по всем научным направлениям воспроизводима, даже в областях вроде психологии, где были предприняты эти масштабные попытки повторить прежние результаты, правда может оказаться пригляднее, чем показывают те исследования, или же наоборот. Но сам факт, что мы этого не знаем, а также то, что столь много громких, нашумевших открытий рассыпалось в прах при более внимательном рассмотрении, является, я убежден, поводом для немалого беспокойства. Ответы на другие критические замечания, оспаривающие идею, что разразился кризис, см. тут: Pashler H., Harris C. R. Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 7, no. 6 (2012): 5316.
88
Bird A. Understanding the Replication Crisis as a Base Rate Fallacy. British Journal for the Philosophy of Science. 13 Aug. 2018.
89
Разумеется, авторы исходной работы (те, чьи результаты не воспроизвелись) зачастую заявляли, что изменения были на самом деле значительными и серьезно испортили эксперимент. Каждый случай следует разбирать отдельно, однако подобный аргумент наводит на мысль о некой предвзятости.
90
Другая область, где все неплохо, психология личности. Психолог Кристофер Сото провел масштабную работу по воспроизведению результатов исследований личности корреляций личностных качеств, оцениваемых по опросникам, с такими показателями, как удовлетворенность жизнью и романтическими отношениями, религиозные и политические взгляды и карьерный успех. Доля успешно воспроизведенных результатов получилась 87 %, что весьма достойно по сравнению с другими областями, которые мы обсуждали. Soto C. J. How Replicable Are Links Between Personality Traits and Consequential Life Outcomes? The Life Outcomes of Personality Replication Project. Psychological Science. 30, no. 5 (2019): 71127.
91
Camerer C. F. et al. Evaluating Replicability of Laboratory Experiments in Economics. Science. 351, no. 6280 (2016): 14336.
92
Turner B. O. et al. Small Sample Sizes Reduce the Replicability of Task-Based fMRI Studies. Communications Biology. 1, no. 1 (2018): 62.
93
Eklund A. et al. Cluster Failure: Why fMRI Inferences for Spatial Extent Have Inflated False-Positive Rates. Proceedings of the National Academy of Sciences. 113, no. 28 (2016): 79005; Eklund A. et al. Cluster Failure Revisited: Impact of First Level Design and Physiological Noise on Cluster False Positive Rates. Human Brain Mapping. 40, no. 7 (2019): 201732.
94
Lord K. A. et al. The History of Farm Foxes Undermines the Animal Domestication Syndrome. Trends in Ecology & Evolution. 35, no. 2 (2020): 12536.
95
Зебровые амадины: Wang D. et al. Irreproducible Text-Book Knowledge: The Effects of Color Bands on Zebra Finch Fitness. Evolution. 72, no. 4 (2018): 96176. См. также Law Y.-H. Replication Failures Highlight Biases in Ecology and Evolution Science. The Scientist. 31 July 2018. Воробьи: Sánchez-Tójar A. et al. Meta-analysis challenges a textbook example of status signalling and demonstrates publication bias. eLife. 7 (2008): e37385. Обыкновенные лазоревки: Parker T. H. What Do We Really Know about the Signalling Role of Plumage Colour in Blue Tits? A Case Study of Impediments to Progress in Evolutionary Biology. Biological Reviews. 88, no. 3 (2013): 51136.