Пререгистрированные исследования

При проведении обычного исследования авторы сначала проводят все процедуры, затем их описывают и посылают в журнал на рецензирование.

Чтобы тип статьи квалифицировался как пререгистрированное исследование, политика журнала должна включать, по крайней мере, следующие положения:

1. Перед проведением эксперимента проводится экспертная оценка.
2. Рукописи, выдержавшие предварительную экспертизу, получают принципиальное согласие на публикацию, которое не будет отменено на основании результатов исследования, а отказ в публикации может происходить либо в результате сбоя в обеспечении качества, либо при отклонениях от зарегистрированного протокола, либо из-за неразрешимых проблем с прозрачностью или стилем отчетности.

Научные области, в которых проводятся исследования, в формате пререгистрированных исследований:

• Психология
• Биология
• Нейронауки
• Медицина
• Экономика
• Экология
• Лингвистика
• Политика
• и другие

Этапы проведения

Статадии пререгистрированного исследования

• Журналы выигрывают, публикуя работы, которые являются одновременно передовыми и демонстративно воспроизводимыми. Выполнение этих критериев с трудом можно достичь в одном документе, опубликованном обычными средствами.
• Спонсоры получают выгоду благодаря поддержке ряда проектов, которые, почти гарантировано, будут опубликованы в авторитетном журнале, устраняя смещение публикаций и максимизируя прозрачность. Этот механизм также обеспечивает выполнение работы более корректно, с поддержкой спонсора; а также может повысить административную эффективность для спонсора, в котором процесс рассмотрения, по крайней мере частично, управляется журналом (при этом, спонсор сохраняет основную роль в принятии решений, какую работу поддерживать). После одновременного рассмотрения и спонсором и журналом, самые сильные предложения получают финансовую поддержку спонсора и принципиальное согласие на публикацию журналом.
• Авторы получают выгоду от того, что их публикации принимаются в уважаемом журнале до начала проведения исследований, и через механизм, который не только минимизирует предвзятость исследователей, но и устраняет стимул для авторов к предвзятости публикаций . Поэтому документы, скорее всего, окажутся содержательными и хорошо цитируемыми.
• Научное сообщество извлекает выгоду из увеличения объема исследований, которые являются своевременными, важными, транспарантными и воспроизводимыми.

• Формат пререгистрированных исследований соблюдает гипотетико-дедуктивную модель научного метода и исключает различные сомнительные методы исследований, включая низкую статистическую мощность, избирательную отчетность о результатах и предвзятость публикаций, позволяя при этом свободно проводить пилотные (незарегистрированные) анализы и сообщать о полученных результатах.

• Стимулирование прямых репликаций. Репликации могут быть дорогостоящими и приносят немного пользы для карьеры авторов. Для обеспечения убедительности прямой репликации часто требуется гораздо большая выборка, чем в исходном исследовании, а также после завершения репликации, исследование может быть трудно опубликовать, поскольку многие журналы отказываются от нее независимо от результатов. До тех пор, пока не будет обеспечена предварительная публикация, ученые не смогут иметь никакого стратегического смысла проводить прямые репликации. В случае пререгистрированных исследований получение принципиального согласия обеспечивает уверенность в публикации и, таким образом, дает ученым самый сильный стимул к прямому тиражированию предыдущей работы.

• Публикация всех результатов. Поскольку пререгистрированные исследования не подвержены предвзятости к публикации, они гарантируют, что научные исследования высокого качества публикуется независимо от результата. Это означает, что авторы могут публиковать каждый качественный эксперимент, а не выборочно публиковать исследования, которые дали положительные результаты.

• Повышение воспроизводимости исследований. Так как пререгистрированные исследования нейтрализовывают различные сомнительные методы научного исследования, такие как p-hacking и низкую статистическую мощность, вполне вероятно, что результаты таких исследований будут, в среднем, более воспроизводимы, чем в результатах обычных исследований. Это, в свою очередь, поможет сформировать репутацию участвующих ученых, как доверенных генераторов знаний.

Формат пререгистрированых исследований применяется как к клиническим, так и к неклиническим исследованиям, и выходит за рамки регистрации клинических испытаний.

• Во-первых, в случае пререгистрированых исследований процесса рецензирования непрерывен от первого этапа до публикования результатов, что обеспечивает верность авторов зарегистрированному протоколу. Это особенно важно, учитывая, что только 1 из 3 рецензентов клинических исследований сравнивают первоначальные протоколы авторов с их окончательными представленными рукописями (Matieu, Chan, & Ravaud, 2013).
• Во-вторых, в отличие от пререгистрированых исследований, большинство форм регистрации клинических испытаний (например clinicaltrials.gov) не проводит экспертизу изучения протоколов исследования, что дает возможность авторам (даже неосознанно) оставлять достаточного простора для маневра в методах или предлагаемых анализах для выборочного представления желаемых результатов (Джон Левенштейн, & Prelec, 2011) или изменять априорные гипотезы после того, как результаты стали известны (Керр, 1998).
• В-третьих, даже в тех ограниченных случаях когда журналы делают обзор и публикуют первоначальные протоколы испытаний (например, журнал Ланцет, BMC протокол), ни один из этих форматов дает никаких гарантий, что окончательные итоги будут опубликованы в журнале. Эти особенности формата пререгистрированых исследований отличают ее от существующих систем предварительной регистрации клинических испытаний.

И в тех и в других случаях протокол исследования проходит предварительное рецензирование, но существует также несколько различий между этими видами рецензирования.:

• Рецензирование протоколов исследований, финансируемых за счет грантов, как правило, включает только общее или приблизительное описание методов, которые будут использоваться, в то время как первый этап пререгистрированых исследований включает поэтапный отчет экспериментальных процедур и плана анализа.
• Протоколы исследований финансируемых за счет грантов редко публикуются и исследователи часто от них отклоняются.
• Пререгистрированые исследования предназначены для всех вариантов исследований, а не только для исследований, финансируемых за счет грантов.

Формат пререгистрированых исследований не была предложен в качестве “панацеи” для всех областей науки. Данная модель подходит для любой области в которой существует:

• предвзятость публикации (журналы выборочно публикуют результаты, которые являются статистически значимыми или содержащими желательные результаты)
• p-hacking (в исследованиях, где выводы зависят от выбранных методов статистической обработки, исследователи выборочно сообщают о статистически значимых результатах)
• HARKing (изменение первоначальной гипотезы после того как стали известны результаты)
• низкая статистическая мощность (недостаточность размер выборки для обнаружения реального эффекта. Недостаточная статистическая мощность не только уменьшает шанс обнаруживать эффект, но она также уменьшает шанс что наблюдаемый эффект реально существует)
• отсутствие прямой репликации (недостаточное число исследований, направленных на установление воспроизводимости, путем максимально близкого повторения методов предыдущих экспериментов). Если ни одной из этих проблем в этой области нет или применяемый подход не обусловлен гипотезой, то модель пререгистрированых исследований не несет никаких преимуществ.

Экспертная оценка в соответствии с моделью пререгистрированых исследований происходит более тщательно, чем обычное рецензирование. Но в обычном процессе рецензирования рукописи часто последовательно отвергаются несколькими журналами, проходит через многих рецензентов перед тем как будет найден журнал, который опубликует статью. При применении модели пререгистрированых исследований, обходятся по крайней мере две проблемы, которые приводят к такому систематическому отказу, и, следовательно, дополнительной нагрузке на рецензентов. Во-первых, редакторы и рецензенты рукописи на первом этапе имеют возможность помочь авторам исправить методологические недостатки до начала сбора данных. Во-вторых, поскольку публикация статьи не может быть отвергнута из-за результата, это позволяет избежать общей причины обычного отказа: что результаты не считаются достаточно новыми или новаторскими. В целом общая рабочая нагрузка рецензента в рамках модели пререгистрированых исследований примерно аналогична нагрузке при обычной публикации.

Например, в рамках обычного исследования статья представляется последовательно четырем журналам, и первые три журнала отвергают ее после трех рецензий. Четвертый журнал принимает рукопись после 3 рецензий и 3 повторных рецензий. Всего рукопись увидит до 12 рецензентов и пройдет 15 раундов рецензирования. Теперь рассмотрим, что могло бы произойти, если бы исследование было представлено до сбора данных в качестве первого этапа пререгистрированого исследования, оцененного тремя рецензентами. Даже если он проходит через три раунда рассмотрения на первом этапе плюс два раунда рассмотрения втором этапе, общая нагрузка рецензента (15 раундов) совпадает с обычной моделью (15 раундов).

Такая возможность существует, хотя и очень маловероятна. Только небольшая группа людей будет знать об идеях, изложенных в рукописи на первом этапе, включая редакторов и небольшой набор рецензентов; Кроме того рукопись первого этапа не будет опубликована до завершения исследования. После получения принципиального согласия на публикацию журнал не может отклонить статью на заключительном втором этапе рецензирования, на основании того, что аналогичная работа была опубликована в другом месте. Поэтому даже в маловероятном случае, когда рецензент сможет завершить предварительную регистрацию проекта раньше авторов, такая стратегия не даст большого преимущества для карьеры преступника (особенно потому, что в опубликованной статье дата подачи протокола на первый этап рецензирования будет предшествовать дате подачи протокола на первый этап рецензирования у конкурента).

В текущем формате пререгистрированых исследований, попытка зарегистрировать протокол уже проведенного исследования будет являться мошенничеством. Так как, при представлении авторами рукописи на втором этапе, к ней необходимо приложить лабораторный журнал, в котором указан диапазон дат, в течение которых осуществлялся сбор данных. Все авторы также должны подтвердить, что предоставленные данные не были собраны до момента получения принципиального согласия на публикацию (кроме пилотных данных, включенных в представление первого этапа).