Группа психологов,
возглавляемая специалистом в области социальной психологии Брайаном Ноузеком
(Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по
изучению воспроизводимости научных работ: Психология» повторить 100 различных
исследований в разных отраслях психологии, опубликованных в ведущих научных
журналах. Результат получился просто шокирующим – по мнению ученых, им удалось
воспроизвести с разной степенью близости к оригинальному исследованию только 39
из 100 работ.
А полный анализ,
опубликованный в Science, показал, что
статистически значимые результаты были получены только в 36 процентах работ,
при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в
статьях.
Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.
Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.
Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.
В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.
Воспроизводимость результатов исследования считается одним из важнейших критериев научности знания (наряду с критерием фальсифицируемости Карла Поппера). В общем случае ее можно определить как близость результатов повторных экспериментов, при условии, что все их условия были повторены (метод, дизайн исследования, средства, инструменты, алгоритм, выборка испытуемых и прочее). Для обеспечения возможности повторения экспериментов в научных статьях считается обязательным привести их подробные, детальные описания. Результат считается достоверным и надежным, если несколько разных независимых групп ученых смогли повторить эксперимент и получить близкие результаты.В настоящий момент идет отдельная дискуссия о воспроизводимости в социальных и гуманитарных науках, а также такой пограничной области знаний как психология. Считается, что необходимо развести понятия репликация (воспроизводимость исследования так как она описана выше) и воспроизводимость для социальных наук. В этом случае к работе прилагается набор данных, с которым работал исследователь и описания способа их обработки (включая, например, программный код и алгоритмы). Если другой ученый, используя те же данные и тот же способ их обработки, получил сходные результаты – значит работа должна считаться воспроизводимой.
