Воспроизводимость

[grihan]

Воспроизводимость эксперимента считается краеугольным камнем науки. Если кто-то вдруг захочет проверить или повторить для своих нужд опубликованный эксперимент, он по идее, повторив в точности всё, что написал автор публикации, должен получить тот же результат.

Но жизнь, как известно, выше всех этих условностей, и воспроизвести опубликованное получается далеко не всегда. Где-то видел, что большинство всех опубликованных новых направлений в лечении рака не получается никак применить именно изза хреновой воспроизводимости. Кто-то считает, что это всё изза мерзкой негодной нехорошей коммерциализированной современной науки - погоней за грантами, позициями и длинным Хиршем. В отличие от годной, хорошей, благочестивой науки прошлого, когда трава была зеленее, девушки добрее, мушшыны сильнее, а гранты и статус никому не были нужны, потому что все питались божьей росой. (Тем кто так думает, вероятно, никогда не надо было попытаться воспроизвести опыты из публикаций 60-70-80-ых).

Злой умысел и подтасовку результатов конечно исключить нельзя, но обвинять бездоказательно - значит клеветать. Скорее всего гдe-то ошиблись, где-то деталь неточно записали, кое на что в пылу работы внимания не обратили - а оно решающую роль играет. Вот забавный пример, который рассказал знакомый недавноиспечённый проф.

Однажды давно, ещё будучи на ПХД в Вайцмане он совершил нобелевское открытие. Да и фиг с ним, с нобелевским - открывай хоть завтра стартап и греби вёдрами бабло. Открытие заключалось в синтезе катализатора, который делает варенье из говна, свинец превращает в золото, а воду в водку хороший очень. Он его со всех сторон проверил, на всякий случай дал проверить парочке коллег - чтоб не облажаться - и сел писать патент паралельно со статьёй в саенс. И вот когда писал - надо было ему какой-то анализ перепроверить. Бутылочка с исходным реагентом, из которого делался тот катализатор, как раз намедни опустошилась и была выброшена. Он открыл новую, такую же от той же фирмы, сделал катализатор по новой, и... Ну вот, думаю продолжение понятно. Они купили ещё бутылочек из той же фирмы и y других. Нифига. И так до сих пор и неизвестно в чём там было дело. Хорошо, что опубликовать не успели, а то был бы эпик фэйл. А сколько других про другое успело? А сколько раз бывает в пределах одной группы, когда одна и та же реакция то получается, то нет, или получается, но всегда с разными выходами. И ктож её знает почему.

А другой знакомый коллега другую байку рассказывал - про то, как в далёкие советские застойные времена он совершил открытие, которое смог тиснуть аж в немецкий журнал. Немцы и всякие японцы засуетились, начали повторять - а нифига не выходит. Начали слать письма редактору и контрпубликации. Короче оказалось, что оператор прибора, который за бутылку сделал знакомомy анализ вне очереди, просто в одно из данных спектра "минус" случайно не поставил. Или поставил, да тот стёрся. А так как именно этого они и хотели сильно - так и не заметили подвоха. Сейчас уже не разобраться, кто там больше накосячил и специально-ли.

Бывает, однако, что сам факт возможности получения определённого результата и гипотетические механизмы, которые привели к тому что получилось - самодостаточны и интересны. Поэтому если не врать, не пририсовывать желаемые пики или атомы и не стирать нежелательные - можно и нужно публиковать, даже если при этом нет 100% уверенности в воспроизводимости.

More:
http://shvarz.livejournal.com/419320.html

Comments

[paladin-sveta.livejournal.com]

60-70-80 - это всё не то. Воспроизводимости надо учиться у тёплых ламповых довоенных немцев.

И потом иногда ещё головой думать приходится.

Понадобился мне как-то 2,6-дихлорнитрозобензол. Читаю пропись: 2,6-дихлоранилин, уксус, перекись, оставить на 3 дня, отфильтровать, перекристаллизовать, выход 70+ %. Повторяю - через 3 дня лёгкое помутнение, через неделю - выход процентов 5. Перечитываю статью полностью и внимательно - Texas A&M University. А у меня питерский февраль, подогрева приточной вентиляции нет, в лаборатории +12 от силы. Ага. Ставлю на 3 дня в термостат на +30 - телемаркет.

[flavorchemist.livejournal.com]

Ага, мы один раз, давно-давно, индусов так пытались воспроизвести, ага. Пока не догадались до 30 погреть. Точнее, мы сами и не догадались - написали им и переспросили. А они уже посоветовали.

[grihanm.livejournal.com]

К сожалению не всегда возможно переспросить

[emuzychenko.livejournal.com]

Хм, вроде ж не семнадцатый век на дворе - разве не принято давным-давно обязательно указывать основные параметры среды (температуру хотя бы)?

[flavorchemist.livejournal.com]

Указано было. Комнатная температура.

[emuzychenko.livejournal.com]

Ну, у индусов +30 еще может быть комнатной температурой, а +12 даже у нас никак не канает, по всем стандартам - минимум +24. :)

[drnovikov.livejournal.com]

Писать в условиях эксперимента "комнатная температура" вместо градусов -- это, как мне кажется, должно быть дурным тоном и показателем недостаточной культуры постановки эксперимента и написания научных текстов.

[korzhimanov.livejournal.com]

Ну да, бывает. В чём-то аналогичный случай слышал недавно на семинаре. Группа проводила эксперимент по спектроскопии, получили какой-то очень высокий результат по точности. А коллеги из другого университета повторить не могут. Оказалось - давление. Они на высоте опыты проводили (в Чили дело было), поэтому теоретически рассчитанные кривые для кислорода лучше соответствовали экспериментальным.

[grihanm.livejournal.com]

знакомо :)

[dimon-aggie.livejournal.com]

ну зачем уж прям так - Texas A&M неплохой универ, и в лабах там точно не +30С
читать внимательнее надо :-)