Обратите внимание – медицина, как научное направление, подвержена строжайшему контролю и анализу исследований, так как связана с прямым воздействием на человеческий организм. Тем не менее и там копятся результаты человеческого фактора – это неизбежное, недооцениваемое явление. Результатом растущей, выразимся сдержанно, сомнительности множества исследований в медицине и биологии, становятся инициативы вроде проекта Элизабет Айорнс "Reproducibility Initiative". С большой долей удачи, инициаторы нашли инвестора в лице благотворительной организации, пожертвовавшей 1,3 млн. долларов на проверку 50 самых известных статей в области биологии рака. Упоминается, что в среднем 26 тысяч долларов на одно исследование хватит лишь на проверку ключевого эксперимента, но не для полного воспроизведения исследования каждый раз (что, в общем-то, и не является необходимым). Вы только представьте – реально сложной задачей является поиск денег на перепроверку исследований, попытку воспроизвести ключевые эксперименты, а именно возможность их повторить, то есть воспроизводимость, делает исследование значимым на практике! Не пора ли тест на воспроизводимость эксперимента закладывать в бюджет исследования?
Проблема дизайна качественного исследования нарастает с новой силой каждый год. В упомянутой выше статье Стюарта Лимана, опубликованной в январе 2014 года, упоминается, как изучение 76 влиятельных исследований на животных показало, что в половине случаев использовалось не более пяти животных на группу, и многие не смогли должным образом обеспечить случайное распределение мышей по контрольной и экспериментальной группам. По словам профессора Джона Иоаннидиса, эпидемиолога Стэндфордского университета, одной из ключевых проблем множественных искажений результатов биомедицинских исследований, является "погоня за значимостью", то есть попытка интерпретировать данные с целью прохождения статистического теста значимости – девяносто-пяти процентной границы, установленной в свое время Рональдом Фишером. Разве такое применение видел господин Фишер для своей идеи?
Взглянем на другой интересный случай. В 2009 году компания Roche, производитель противовирусного средства Тамифлю (Осельтамивир), реализовала свой препарат по ряду стран на общую сумму в несколько миллиардов долларов. Кокрановское сотрудничество, организация из более чем 14000 ученых-добровольцев, имеющее высочайший авторитет в медицинском научном сообществе и взаимодействующее с Всемирной Организацией Здравоохранения, отрядила группу экспертов на проверку клинических исследований Осельтамивира, опубликованных компанией производителем. По итогу, группа экспертов сделала позитивный вывод по данным предоставленных исследований. Тем не менее, спустя время, лишь по счастливой случайности и въедливости японского врача Кейдзи Хаяши, обнаружилось, что 8 из 10 исследований, подверженных мета анализу одним из представителей Кокрановской группы, до сих пор не были не обнародованы в полном тексте. Спустя два года события развились настолько, что компании Roche, до этого отказывающейся предоставить все материалы исследований, пришлось уступить. Заново проанализировав планирование исследований (в том числе и не предоставленных ранее, а их оказалось 20), Кокрановские аналитики обнаружили множество методических недочетов в экспериментах, вызывающих сильные сомнения в достоверности результатов. По итогу, повторный анализ показал крайне низкую эффективность препарата, и в сравнении с побочными эффектами, его применение едва ли было оправдано. Экономическая эффективность потраченных миллиардов долларов на закупку лекарств устанавливалась более двух лет, и конечный вывод сильно поменялся благодаря въедливости одного малоизвестного (на тот момент) японского врача. Как написали по поводу этой истории в журнале The Guardian, "в течение этого периода, мировое научное медицинское сообщество начало осознавать, что краткие публикации научных исследовательских работ – на которые мы опирались множество лет – могут быть недостаточными, и даже вводить в заблуждение". Гораздо больше можно узнать из отчета клинического исследования – промежуточного документа между исследовательскими данными и журнальной статьей, однако часто эти отчеты авторы исследований отказываются предоставлять без соглашения о конфиденциальности. Так же поступала и компания Roche, пока не сдалась под давлением общественности.
Ключевых проблем в этой истории две. Первая – компания Roche на протяжении этой истории нигде не нарушила закона, что не помешало продать лекарство на баснословную сумму, эффективность которого объективно не подтверждена. То есть огромный массив исследований в биологии и медицине, служащий сегодня научной основой многих работ, так и остается потенциально сомнительным и труднодоступным к перепроверке. Между тем, в медицине и спорте база научных данных одна и та же. Второй, но не менее важной, является "Проблема Хаяши" – никому не известный врач-педиатр Кейдзи Хаяши усомнился в эффективности выписываемого им препарата, самостоятельно изучил доступные данные клинических испытаний и обнаружил, что весомая их доля не предоставлена для изучения в полной мере и самостоятельной интерпретации результатов исследования. Если бы не пытливость и дотошность одного малоизвестного, все могло бы остаться неизменным. К чести представителей Кокрановского сотрудничества, всего лишь комментария на сайте оказалось достаточно, чтобы ученые спохватились и активно занялись перепроверкой своих же анализов. Однако же, им пришлось именно спохватиться.
Что мы имеем в итоге? К чему эти "разоблачения"? Науки, изучающие человека, приходят в глобальный кризис. Масштаб растет. Второе десятилетие двадцать первого века богатеет на признания проблемы самими представителями науки. Авторитетнейшие рецензируемые журналы, The Lancet, Nature, BMJ и другие открыто заявляют о растущем количестве неудовлетворяющих "настоящей" науке исследований, выдвигают идеи и предложения академическому сообществу по "вычищению" научной литературы от стремительно растущих, как сорняки, ложных и "купленных" исследований. Малые экспериментальные группы, вызванные недостаточными финансовыми средствами на масштабные исследования, недостаточно строгие критерии достоверности приводят к сознательным и не очень, попыткам подогнать результаты исследований под желаемый результат, ошибочные интерпретации, огромное количество (по заявлению на симпозиуме, доходящее до 50%) биомедицинской литературы имеет высокий шанс оказаться попросту ложной в силу высокой неточности. Количество не поддающихся воспроизводимости, а значит, буквально не имеющих научной и практической ценности исследований, громадно.
Стоит ли пояснять, что если в медицине столь велико количество накопленных и не вскрытых ошибок и предпринимаемые попытки по исправлению ситуации только-только стали появляться, то до спортивных исследований "чистка" дойдет еще не скоро? Ведь инвестиции в медицину значительно больше, чем в спорт. Представляете ли вы хотя бы примерно, сколь громадно количество ложной информации и ненадежных выводов в спортивных науках, смежных с биологией и медициной? Критерии достоверности используются те же, спонсирование исследований меньше, чем в медицине, а значит и несознательная (а часто и сознательная) подгонка результатов под p-value несомненно присутствует в больших количествах ради хоть какого-то спонсирования. Не меньшее количество коммерческих интересов, те же малые выборки, те же халатно организованные исследования и рецензии на них (если даже исследования закупленных государством медикаментов нормально не могли перепроверить 2 года). Еще нобелевский лауреат Ричард Фейнман сетовал на обесценивание научных экспериментов в физике по причине погони за результатом, способным обеспечить спонсорство.
"С чувством боли и горечи подписываем мы этот документ о состоянии советской биологии" – такие слова напечатаны в "Письме трехсот", обращении большой группы советских ученых, с критикой взглядов и попыткой свергнуть представителя псевдонаучного направления в биологии Лысенко Т. Д., двадцать пять лет (двадцать пять!) руководящего институтом генетики АН СССР. Какая уж там воспроизводимость экспериментов. В то же время, Аркадию Бейнусовичу Мигдалу, советскому физику-теоретику, академику АН СССР и современнику Лысенко Т. Д., принадлежали следующие слова: "Даже в физике, химии и астрономии не всегда удается повторить условия эксперимента. Как быть с биологией или психологией, где объекты отличаются друг от друга? Можно ли и там требовать повторяемости и воспроизводимости результатов? Да, можно и нужно – без этого нет науки!". В одно и то же время, в одной и той же стране находилось место как настоящему ученому, так и шарлатану. Сколько продуктов настоящей науки осталось от обоих из них? Страшно представить, что может быть и одинаковое.
Надо понимать, что за десятилетия родились сотни трактатов о том, как тренироваться в том или ином виде спорта. Десяток другой монографий, сотни и более научных работ и патентов может быть опубликовано всего одним ученым за десятилетия плодотворной карьеры. На какие исследования опираются опубликованные труды? Представьте себе типичный абзац: "По результатам исследования N статистически достоверно установлено, что у тренированных мужчин (1взр – КМС) гликоген в мышцах пояса верхних конечностей восстанавливается в среднем за N времени, что позволяет нам сформулировать следующие рекомендации относительно планируемого отдыха между нагрузками на схожие мышечные группы". Сколь дотошно тот или иной ученый изучал постановку и интерпретацию выводов эксперимента, прежде чем использовать это исследование для разработки собственных рекомендаций? Убедился ли, что экспериментальная группа состояла не из "трех мышей", по 33,3% процента на каждую? Искал ли случаи экспериментального подтверждения исследования другими исследователями, или просто удовлетворился тем, что у 5-6 мужчин достаточно сильно разнящегося уровня подготовки восстановительные процессы в единичном случае протекли за примерно схожее время? А сколько всего ученых приходится на один вид спорта? Достаточно ли пристрастен и дотошен к своим же теориям каждый из них? Сколько ложных или частично ошибочных выводов было опубликовано за множество лет? Сколько из них были пролоббированы в качестве программ подготовки сборной страны? Вспомните, как ученые с течением времени пересматривают свои взгляды, изменяют рекомендации – безусловно хорошо, что они сомневаются в своих выводах, но как и старые, новые постулаты часто озвучивают с уверенностью. Вот объявили эксперимент несостоятельным спустя 10 лет – и теория, тренировочный метод, основанный на нем – несостоятельны, либо требуют корректировки! Не поленитесь, поищите в сети хотя бы какие-то монографии любимых ученых, вчитайтесь: какие исследования берутся за основу? Если эксперимент ставил сам автор – насколько велики группы исследуемых? Подробно ли описан эксперимент, что выставляется в качестве аргумента достоверности исследования? Проводились ли проверки воспроизводимости эксперимента, или "p <0,05" на полтора десятка испытуемых, по мнению автора, достаточно? Это еще поверхностный взгляд, без серьезного углубления в методику проведения научного эксперимента.
Если воспринять картину всерьез и строже отнестись к любому исследованию, предлагаемому как аргумент в пользу того или иного тренировочного метода, можно понять, что сегодня попросту невозможно быть уверенным в надежности этого научного обоснования. Вполне можно предположить, что большинство реально эффективных на практике учебников по теории и методике ФКиС – ни что иное, как совокупность классических знаний по общей физиологии (подтвержденная столетиями практики медицины и спорта), а так же выявленных закономерностей на основе многолетних наблюдений за тысячами спортсменов. Эмпирика до сих пор занимает львиную долю в спортивной методологии – как бы не убеждали в обратном. Любые попытки взаимодействовать с организмом человека глубже, чем на уровне функционирования отдельной системы – будь то эндокринная, сердечнососудистая или иная – пока что чреваты ненадежной опорой в виде множественных ложных исследований, много лет воспринимаемых, как надежных. Любой тренировочный процесс, опирающийся на глубокую научную обоснованность, может запросто оказаться пустышкой, и долго с комфортом жить, в то время как авторы гипотез будут интерпретировать успехи исследований в своих интересах, подгонять результаты под статистическую достоверность – привет, господин Фишер! – и плодить новые научно-обоснованные ответвления.
К сожалению, часто исследователи не столько ищут ответа на вопрос, сомневаясь в каждом факте, сколько пытаются найти подтверждение собственной теории, и отбрасывают любые сомнения, если найденное исследование соответствует ожиданиям. Ричард Фейнман ратовал за честность ученого: "Но я заметил отсутствие одной черты во всех науках самолетопоклонников. То, что я собираюсь сообщить, мы никогда прямо не обсуждаем, но надеемся, что вы все вынесли это из школы: вся история научных исследований наводит на эту мысль. Поэтому стоит назвать ее сейчас со всей определенностью. Это научная честность, принцип научного мышления, соответствующий полнейшей честности, честности, доведенной до крайности." Как по мне, нынешняя спортивная наука очень похожа на самолетопоклонничество – слишком много спорных утверждений, слишком много опровержений, слишком бросается в глаза, как работают, казалось бы, противоречивые методы. Сплошная подгонка результатов, стремление объявить теорию доказанной и минимум сомнений. Если вам претит идея, что половина современной спортивной науки – пустышка, выросшая из ненадежных исследований, подобранных и подогнанных под очередную теорию, растиражированная на успехе одного-двух спортсменов, причина которого достоверно неизвестна, закройте эту книгу. Дальше вам придется стать самому источником постоянных сомнений, постоянного анализа своих решений, быть предельно честным перед самим собой. Надежного, научно обоснованного вывода не будет.
Научная обоснованность тренировочных методов
В своей книге Ричард Фейнман упоминает интересный опыт из психологии: "Он устроил длинный коридор с дверьми по обе стороны. С одной стороны впускали крыс, а с другой стороны находилась пища. Янг хотел узнать, можно ли научить крыс всегда входить в третью по счету дверь от того места, где их впустили в коридор. Нет. Крысы сейчас же бежали к той двери, за которой еда была в прошлый раз. Возник вопрос: как крысы узнают дверь? Ведь коридор был прекрасно изготовлен и весь был совершенно однообразный. Очевидно, что-то отличало эту дверь от других. Янг очень аккуратно выкрасил все двери, так что поверхность их стала абсолютно одинаковой. Крысы все равно различали двери. Потом Янг подумал, что крысы ориентируются по запаху, и при помощи химических средства стал менять запах после каждого опыта. Крысы все равно находили дверь. Потом он решил, что крысы, как и всякие разумные существа, могут ориентироваться по свету и расположению вещей в лаборатории. Он изолировал коридор, но крысы все равно находили дверь. Наконец, он понял, как крысы это делают: они узнавали дорогу по тому, как под их лапами звучит пол. Этому он смог помешать, установив свой коридор на песке. Таким образом он закрывал одну за другой все лазейки и, в конце концов, перехитрил крыс и научил их входить в третью дверь. И ни одним из условий нельзя было пренебречь. С научной точки зрения это первоклассный эксперимент. Такой эксперимент придает смысл всей деятельности с бегающими крысами, так как выявляет истинные ключи к разгадке их поведения. Кроме того, этот эксперимент показывает, какие условия надо соблюдать, чтобы добиться точности и строгости в экспериментах с крысами. Я изучил дальнейшую историю этих исследований. В следующих экспериментах не было ссылок на Янга. Никто не использовал его приемов – коридор не ставился на песок, и вообще никто не предпринимал таких мер предосторожности. Просто по-старому продолжали запускать крыс, не обращая внимания на великие открытия Янга, а на его работы не ссылались, так как он не открыл ничего нового в поведении крыс. На самом деле он открыл все, что надо делать, чтобы узнать что-то о крысах. Но не замечать подобных экспериментов – типично для науки самолетопоклонников".
Если поизучать различную спортивную литературу, можно обнаружить, что на тему циклических видов спорта методических материалов и исследований опубликовано значительно больше, чем ациклических. Да и в целом, выносливостные виды спорта представляются более изученными. Что характеризует циклическую работу? Регулярно повторяющийся цикл движения, являющийся основой всей деятельности в избранном виде спорта. Беговой шаг в легкой атлетике, гребок в гребле, гребковый мах в плавании, оборот педали в велосипедном спорте и так далее. Не смотря на то, что и в циклическом спорте множество раз повторяющийся цикл движения может прерываться на какой-то другой, в целом любой циклический спорт легче поддается изучению по причине простой структуры, так как состоит из одного типового цикла, изменяющегося в небольшом диапазоне. Представьте себе кирпичную стену – нет необходимости изучать каждый кирпич в ней, очевидно, что она сплошь состоит из идентичных элементов. Достаточно взять два или три экземпляра (например, в начале, середине и окончании стены), изучить их и создать представление об усредненной модели кирпича, а дальше уже искать способы улучшения типового кирпича, из которого будет строиться стена.