Портал психологических новостей Psypress на facebook PsyPress on twitter RSS подписка Возрастная категория 16+
 

Результаты более половины психологических исследований оказались невоспроизводимы

Первые психологические эксперименты в лаборатории Вильгельма Вундта. Фотография: Universität LeipzigГруппа психологов, возглавляемая специалистом в области социальной психологии Брайаном Ноузеком (Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. Результат получился просто шокирующим – по мнению ученых, им удалось воспроизвести с разной степенью близости к оригинальному исследованию только 39 из 100 работ. А полный анализ, опубликованный в Scienceпоказал, что статистически значимые результаты были получены только в 36 процентах работ, при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в статьях.

Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.

Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.

Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.

В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.

Результаты первого этапа исследований воспроизводимости 100 психологических работ.

Воспроизводимость результатов исследования считается одним из важнейших критериев научности знания (наряду с критерием фальсифицируемости Карла Поппера). В общем случае ее можно определить как близость результатов повторных экспериментов, при условии, что все их условия были повторены (метод, дизайн исследования, средства, инструменты, алгоритм, выборка испытуемых и прочее).  Для обеспечения возможности повторения экспериментов в научных статьях считается обязательным привести их подробные, детальные описания. Результат считается достоверным и надежным, если несколько разных независимых групп ученых смогли повторить эксперимент и получить близкие результаты.В настоящий момент идет отдельная дискуссия о воспроизводимости в социальных и гуманитарных науках, а также такой пограничной области знаний как психология. Считается, что необходимо развести понятия репликация (воспроизводимость исследования так как она описана выше) и воспроизводимость для социальных наук. В этом случае к работе прилагается набор данных, с которым работал исследователь и описания способа их обработки (включая, например, программный код и алгоритмы). Если другой ученый, используя те же данные и тот же способ их обработки, получил сходные результаты – значит работа должна считаться воспроизводимой.


 
Медиа: обзоры
Рожденные после СССР. Новый дизайн мозга видео 22 апреля 2017

Рожденные после СССР. Новый дизайн мозга

Анонс монографии Г.М. Бреслава «Психология как наука: новый подход в понимании ее истории». печать 5 апреля 2017

Анонс монографии Г.М. Бреслава «Психология как наука: новый подход в понимании ее истории».

Медиативный подход к работе с молодёжью видео 21 марта 2017

Медиативный подход к работе с молодёжью

Вышла новая книга Хухлаевой О.В. "Трудности детей хороших родителей" печать 20 марта 2017

Вышла новая книга Хухлаевой О.В. "Трудности детей хороших родителей"

Почему мы так привязаны к нашим вещам? видео 18 марта 2017

Почему мы так привязаны к нашим вещам?

Все медиа-обзоры  |  RSS

29 июня
1 июля
Лондон
International Attachment Conference 2017