Портал психологических новостей Psypress на facebook PsyPress on twitter RSS подписка Возрастная категория 16+
 

Результаты более половины психологических исследований оказались невоспроизводимы

Первые психологические эксперименты в лаборатории Вильгельма Вундта. Фотография: Universität LeipzigГруппа психологов, возглавляемая специалистом в области социальной психологии Брайаном Ноузеком (Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. Результат получился просто шокирующим – по мнению ученых, им удалось воспроизвести с разной степенью близости к оригинальному исследованию только 39 из 100 работ. А полный анализ, опубликованный в Scienceпоказал, что статистически значимые результаты были получены только в 36 процентах работ, при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в статьях.

Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.

Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.

Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.

В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.

Результаты первого этапа исследований воспроизводимости 100 психологических работ.

Воспроизводимость результатов исследования считается одним из важнейших критериев научности знания (наряду с критерием фальсифицируемости Карла Поппера). В общем случае ее можно определить как близость результатов повторных экспериментов, при условии, что все их условия были повторены (метод, дизайн исследования, средства, инструменты, алгоритм, выборка испытуемых и прочее).  Для обеспечения возможности повторения экспериментов в научных статьях считается обязательным привести их подробные, детальные описания. Результат считается достоверным и надежным, если несколько разных независимых групп ученых смогли повторить эксперимент и получить близкие результаты.В настоящий момент идет отдельная дискуссия о воспроизводимости в социальных и гуманитарных науках, а также такой пограничной области знаний как психология. Считается, что необходимо развести понятия репликация (воспроизводимость исследования так как она описана выше) и воспроизводимость для социальных наук. В этом случае к работе прилагается набор данных, с которым работал исследователь и описания способа их обработки (включая, например, программный код и алгоритмы). Если другой ученый, используя те же данные и тот же способ их обработки, получил сходные результаты – значит работа должна считаться воспроизводимой.


 
Консультация психолога: Как отвлечь ребенка от виртуального мира? видео 18 февраля 2019

Консультация психолога: Как отвлечь ребенка от виртуального мира?

Мария Фаликман: Процессы и виды памяти видео 24 января 2019

Мария Фаликман: Процессы и виды памяти

Дмитрий Леонтьев «Взросление как становление автономной личности» видео 16 января 2019

Дмитрий Леонтьев «Взросление как становление автономной личности»

Лекция "Психологические проблемы современной семьи" видео 10 января 2019

Лекция "Психологические проблемы современной семьи"

Все медиа-обзоры  |  RSS