Ещё чуть-чуть о воспроизводимости не личном опыте

[grihan]

Говорят, в психологии 50% публикаций не воспроизводятся, а в молекулярной онкологии аж 90%. Ну и спрашивают как там в химии. Отвечаем. За всю химию конечно не скажу, только за свои публикации, числом 14. А лучше ограничусь теми, что с ПхД, числом 10.

Преамбула. Строение молекул в химии определяют всякими спектроскопиями, среди которых, на мой скромный взгляд, cамым крутым был и остаётся pентгеноструктурный анализ (X-ray crystallography). Самый крутой - потому что с сегодняшним уровнем компьютеризации можно всего-лишь засунуть кристалл в прибор и, если повезёт, путём нескольких несложных манипуляций получить сразу картинку молекулы с точным расположением атомов. Когда такая картинка получена - всё, больше никаких доказательств того, что у вас получилась именно эта молекула не требуется. Нужно, конечно, показать с помощью других методов сколько именно такого вещества получилось, что это не случайный кристалл, составляющий 0.0...1% от смеси; нужно иногда поломать голову как именно оно могло там получиться - но сомнений в том, что этот кристалл состоит именно из молекул на картинке - нет.

Вот, например, картинка из последней статьи (атомы водорода не показаны, чтобы не усложнять).



Если вещество достаточно интересное, можно смело его публиковать в самых престижных журналах, строить теории, фантазировать о применениях итд. Eсли ещё раз получится такой же кристалл - прибор выдаст ту же картинку. То есть воспроизводимость как бы есть, всё кошерно. Однако, всегда-ли возможно получить такой же кристалл? (Конец преамбулы)

Так вот, из тех 10 статей в 4-ёх случаях синтез нам воспpоизвести удавалось (включая последнюю - там всё было воспроизведено несколько раз задолго до публикации). B 3-ёх из 10 - некоторые из опубликованных структур не получились, как ни старались. И это только то, что мы сами пытались. Остальные не пробовали. При желании можно сказать, что всё как в психологии - в ~50% были опубликованны невоспроизводимые результаты.

При этом надо учесть следующее:

Все эти "невоспроизводимые" статьи без сомнения доказали возможность получения таких веществ и продвинули понимание процессов в своей области химии. Из всех этих проектов выросли проекты с вполне воспроизводимыми результатами. Более того, попытки воспроизвести результаты, даже если были неудачными, в некоторых случаях привели к разработке новых полезных методов.

Вывод: вопрос о воспроизводимости не первостепенный. Первостепенные вопросы: (а) честно-ли представлены результаты и (б) ведёт-ли их публикация к развитию научной мысли. Интересно, есть-ли польза от невоспроизводимых статей в молекулярной онкологии или психологии?

(На случай, если кто-то пропустил, пост shvarz на ту же тему)

Comments

[motek.livejournal.com]

Надо же, никогда бы не подумала что невоспроизводимый результат это нормально и даже иногда имеет ценность.

В молекулярной онкологии - не, думаю никакой пользы от таких результатов нет, если они действительно "ненастоящие". Т.е. необязательно намерено фабрикуют, а скажем делают опыт 20 раз и выбирают то что подошло. :) Как известно допускается 5% false positive, если я правильно понимаю статистику. Хотя из 20 выбрать три это на грани подделки. Но 3 из 5 вроде окей, хотя тоже может случайно получиться.

Но сейчас с этим строже. Во всяком случае могу сказать за Nature Immunology что там теперь требуют детальный отчет, сколько раз проводился опыт и т.п., и даже raw data, ужас. И с большей готовностью публикуют "опровергательные" статьи в топ-журналах. Раньше считалось, ну не воспроизвелось, мало ли почему. А отрицательный результат никого не интересовал. Обычно про то что что-то вызывает сомнения или не воспроизводится были только слухи.

Насчет психологии как раз читала что там больше половины невоспроизводится, но есть всякие объяснения, типа изначально трудно воспроизвести условия. Но тоже есть слухи, типа то-то и то-то полная фигня на самом деле.

Насчет психологии как раз читала что там больше полови

[zlata-gl.livejournal.com]

А не 99% ?

Re: Насчет психологии как раз читала что там больше поло

[grihanm.livejournal.com]

146%!

Re: Насчет психологии как раз читала что там больше поло

[motek.livejournal.com]

:) не помню точных цифр. Наверное речь шла только о хороших журналах, так что вряд ли 99%. Упоминалось, что многое все-таки воспроизводится.

[affidavid.livejournal.com]

Современная психология крайне идеологизирована, это самая главная причина публикуемого трэша.

[motek.livejournal.com]

Про это кажется в той статье не было. :)
(это была статья в Nature или Science про ситуацию в психологии). Самих исследований по психологии я почти не читаю, но буду иметь ввиду.

[affidavid.livejournal.com]

Еще бы там об этом упомянуть, совесем бы заклевали. И так журналисты заверещали по всем углам, что невоспроизводимость она по всей науке, а не только в психологии.

[motek.livejournal.com]

Не, там про такое бы вряд ли упомянули. :) Там же все левые (я вижу что они сейчас про Иран пишут). А политизация в психологии, я догадываюсь, тоже влево.

А, вот, нашла эту заметку.
http://www.nature.com/news/replication-studies-bad-copy-1.10634

А после нее целый выпуск в Нейчер был посвящен этой теме.
http://www.nature.com/news/reproducibility-1.17552

[affidavid.livejournal.com]

Очень хорошая статья. В политизированных науках многие исследования начинется с палитически правильного вывода, и затем планируется эксперимент, который может его подтвердить. Иногда планирование слабое, и приходится подкручивать результаты. Но даже если результаты не подкручены, то доверять оставшимся 39 процентам надо с очень большой осторожностью.