Ещё чуть-чуть о воспроизводимости не личном опыте

[grihan]

Говорят, в психологии 50% публикаций не воспроизводятся, а в молекулярной онкологии аж 90%. Ну и спрашивают как там в химии. Отвечаем. За всю химию конечно не скажу, только за свои публикации, числом 14. А лучше ограничусь теми, что с ПхД, числом 10.

Преамбула. Строение молекул в химии определяют всякими спектроскопиями, среди которых, на мой скромный взгляд, cамым крутым был и остаётся pентгеноструктурный анализ (X-ray crystallography). Самый крутой - потому что с сегодняшним уровнем компьютеризации можно всего-лишь засунуть кристалл в прибор и, если повезёт, путём нескольких несложных манипуляций получить сразу картинку молекулы с точным расположением атомов. Когда такая картинка получена - всё, больше никаких доказательств того, что у вас получилась именно эта молекула не требуется. Нужно, конечно, показать с помощью других методов сколько именно такого вещества получилось, что это не случайный кристалл, составляющий 0.0...1% от смеси; нужно иногда поломать голову как именно оно могло там получиться - но сомнений в том, что этот кристалл состоит именно из молекул на картинке - нет.

Вот, например, картинка из последней статьи (атомы водорода не показаны, чтобы не усложнять).



Если вещество достаточно интересное, можно смело его публиковать в самых престижных журналах, строить теории, фантазировать о применениях итд. Eсли ещё раз получится такой же кристалл - прибор выдаст ту же картинку. То есть воспроизводимость как бы есть, всё кошерно. Однако, всегда-ли возможно получить такой же кристалл? (Конец преамбулы)

Так вот, из тех 10 статей в 4-ёх случаях синтез нам воспpоизвести удавалось (включая последнюю - там всё было воспроизведено несколько раз задолго до публикации). B 3-ёх из 10 - некоторые из опубликованных структур не получились, как ни старались. И это только то, что мы сами пытались. Остальные не пробовали. При желании можно сказать, что всё как в психологии - в ~50% были опубликованны невоспроизводимые результаты.

При этом надо учесть следующее:

Все эти "невоспроизводимые" статьи без сомнения доказали возможность получения таких веществ и продвинули понимание процессов в своей области химии. Из всех этих проектов выросли проекты с вполне воспроизводимыми результатами. Более того, попытки воспроизвести результаты, даже если были неудачными, в некоторых случаях привели к разработке новых полезных методов.

Вывод: вопрос о воспроизводимости не первостепенный. Первостепенные вопросы: (а) честно-ли представлены результаты и (б) ведёт-ли их публикация к развитию научной мысли. Интересно, есть-ли польза от невоспроизводимых статей в молекулярной онкологии или психологии?

(На случай, если кто-то пропустил, пост shvarz на ту же тему)

Comments

У меня есть бизнесс-идея.

[zloradskij.livejournal.com]

Открыть специально для химиков эдакий "банк спермы", куда можно сдавать образцы уникальных веществ и криогенно там консервировать. Учитывая, что вы их сами в 50% случаев синтезировать не можете, это во-п. продвинет науку (материал для послед. исследований) а во-вт. позволит доказать в случае сомнения, что оно таки было.

[affidavid.livejournal.com]

Кристаллизация это все-таки очень специфическая история. Я вспоминаю, как Ада Йонат рассказывала о том, что они получали кристаллы рибосом используя как затравку волосы одной девушки из лаборатории. У других волосы были не те, и кристаллы не росли.

[buches.livejournal.com]

Поскольку, как замечено в комментах, исходники и руки играют роль, я бы добавил к первостепенным вопросам полноту и точность описания экспериментальных процедур (в т.ч. рутинных) и исходников (в т.ч. самых обыденных), это добавит к пунктам (а) и (б).

[profi.livejournal.com]

Кристаллография биологически молекул дает недостаточную, а, зачастую, и неверную инфрмацию о реальной структуре этих молекул. Увы.

[andresol.livejournal.com]

X-ray хорош, но ограничений у него тоже хватает: водородов не видит, не может отличить близкие тяжелые элементы (N и O), а может только сказать, что в этой области пространства что-то тяжелое сидит. В конце концов, это же не атомы на картинке, а эллипсоиды вероятности, где с (100-N)% вероятностью может ничего и не быть. Ну, и в раствор X-ray'ем не полезешь, нельзя его как ЯМР вместо ТСХ использовать, чтобы мониторить, что там в реакциях получается. Но это уже не об установлении структуры, так что ограничусь тем, что многие вещи фиг закристаллизуешь.

Я уверен, что из 10 моих статей по карбен-боранам должны четко воспроизводиться 8. Насчет еще 2 можно ожидать количественное расхождение, но не качественное.

[motek.livejournal.com]

Надо же, никогда бы не подумала что невоспроизводимый результат это нормально и даже иногда имеет ценность.

В молекулярной онкологии - не, думаю никакой пользы от таких результатов нет, если они действительно "ненастоящие". Т.е. необязательно намерено фабрикуют, а скажем делают опыт 20 раз и выбирают то что подошло. :) Как известно допускается 5% false positive, если я правильно понимаю статистику. Хотя из 20 выбрать три это на грани подделки. Но 3 из 5 вроде окей, хотя тоже может случайно получиться.

Но сейчас с этим строже. Во всяком случае могу сказать за Nature Immunology что там теперь требуют детальный отчет, сколько раз проводился опыт и т.п., и даже raw data, ужас. И с большей готовностью публикуют "опровергательные" статьи в топ-журналах. Раньше считалось, ну не воспроизвелось, мало ли почему. А отрицательный результат никого не интересовал. Обычно про то что что-то вызывает сомнения или не воспроизводится были только слухи.

Насчет психологии как раз читала что там больше половины невоспроизводится, но есть всякие объяснения, типа изначально трудно воспроизвести условия. Но тоже есть слухи, типа то-то и то-то полная фигня на самом деле.

[konevin.livejournal.com]

"Вывод: вопрос о воспроизводимости не первостепенный. Первостепенные вопросы: (а) честно-ли представлены результаты и (б) ведёт-ли их публикация к развитию научной мысли. Интересно, есть-ли польза от невоспроизводимых статей в молекулярной онкологии или психологии?"

Первостепенные вопросы Что такое Наука и Научная мысль?
Из давно известных этих определений(изначально кстати и давно заданных но не всем известных) пропадает смысл этого поста полностью.

[lizasdad.livejournal.com]

Вообще-то воспроизводимость напрямую связана со сложностью и изученностью системы, которую воспроизводят.

Часто чтобы понять почему что-то не воспроизводится надо делать исследование гораздо большее по объему, чем оригинальное исследование, которое не удалось воспроизвести.

Если вы усовершенствуете хорошо идущий синтез малой молекулы, то скорее всего все будет воспроизводиться хорошо. А вот если вы взялись за новую и сложную модель заболевания на животных - ждите приключений.

Из моего опыта - химия как правило воспроизводится неплохо, даже кристаллизация. А вот с биологией очень часто кирдык...

воспроизводимость воспроизводимости

[livejournal.livejournal.com]

User nibope referenced to your post from воспроизводимость воспроизводимости (http://nibope.livejournal.com/571226.html) saying: [...] ти. Мне кажется, что реальная ситуация несколько лучше. Но все равно швах. Между тем, оргсинтез [...]

воспроизводимость воспроизводимости

[livejournal.livejournal.com]

User nibope referenced to your post from воспроизводимость воспроизводимости (http://nibope.livejournal.com/571226.html) saying: [...] [...]

эксперимент

[livejournal.livejournal.com]

User buches referenced to your post from эксперимент (http://buches.livejournal.com/193072.html) saying: [...] Размышляя о воспроизводимости научных результатов [...]