Воспроизводимость

[grihan]

Воспроизводимость эксперимента считается краеугольным камнем науки. Если кто-то вдруг захочет проверить или повторить для своих нужд опубликованный эксперимент, он по идее, повторив в точности всё, что написал автор публикации, должен получить тот же результат.

Но жизнь, как известно, выше всех этих условностей, и воспроизвести опубликованное получается далеко не всегда. Где-то видел, что большинство всех опубликованных новых направлений в лечении рака не получается никак применить именно изза хреновой воспроизводимости. Кто-то считает, что это всё изза мерзкой негодной нехорошей коммерциализированной современной науки - погоней за грантами, позициями и длинным Хиршем. В отличие от годной, хорошей, благочестивой науки прошлого, когда трава была зеленее, девушки добрее, мушшыны сильнее, а гранты и статус никому не были нужны, потому что все питались божьей росой. (Тем кто так думает, вероятно, никогда не надо было попытаться воспроизвести опыты из публикаций 60-70-80-ых).

Злой умысел и подтасовку результатов конечно исключить нельзя, но обвинять бездоказательно - значит клеветать. Скорее всего гдe-то ошиблись, где-то деталь неточно записали, кое на что в пылу работы внимания не обратили - а оно решающую роль играет. Вот забавный пример, который рассказал знакомый недавноиспечённый проф.

Однажды давно, ещё будучи на ПХД в Вайцмане он совершил нобелевское открытие. Да и фиг с ним, с нобелевским - открывай хоть завтра стартап и греби вёдрами бабло. Открытие заключалось в синтезе катализатора, который делает варенье из говна, свинец превращает в золото, а воду в водку хороший очень. Он его со всех сторон проверил, на всякий случай дал проверить парочке коллег - чтоб не облажаться - и сел писать патент паралельно со статьёй в саенс. И вот когда писал - надо было ему какой-то анализ перепроверить. Бутылочка с исходным реагентом, из которого делался тот катализатор, как раз намедни опустошилась и была выброшена. Он открыл новую, такую же от той же фирмы, сделал катализатор по новой, и... Ну вот, думаю продолжение понятно. Они купили ещё бутылочек из той же фирмы и y других. Нифига. И так до сих пор и неизвестно в чём там было дело. Хорошо, что опубликовать не успели, а то был бы эпик фэйл. А сколько других про другое успело? А сколько раз бывает в пределах одной группы, когда одна и та же реакция то получается, то нет, или получается, но всегда с разными выходами. И ктож её знает почему.

А другой знакомый коллега другую байку рассказывал - про то, как в далёкие советские застойные времена он совершил открытие, которое смог тиснуть аж в немецкий журнал. Немцы и всякие японцы засуетились, начали повторять - а нифига не выходит. Начали слать письма редактору и контрпубликации. Короче оказалось, что оператор прибора, который за бутылку сделал знакомомy анализ вне очереди, просто в одно из данных спектра "минус" случайно не поставил. Или поставил, да тот стёрся. А так как именно этого они и хотели сильно - так и не заметили подвоха. Сейчас уже не разобраться, кто там больше накосячил и специально-ли.

Бывает, однако, что сам факт возможности получения определённого результата и гипотетические механизмы, которые привели к тому что получилось - самодостаточны и интересны. Поэтому если не врать, не пририсовывать желаемые пики или атомы и не стирать нежелательные - можно и нужно публиковать, даже если при этом нет 100% уверенности в воспроизводимости.

More:
http://shvarz.livejournal.com/419320.html

Comments

[leolion-1.livejournal.com]

Вы не криворукий, это они скрытные. Это "другая статья расходов" в расчете на патент, возможно, что он у них уже есть, я бы на Вашем месте поинтересовалась.
Так делают многие, опускается несколько, а то и одна только деталь, но принципиально важная для получения результата - и все, остальные могут убиваться годами, пока сами не сообразят.
Например, в статьях одной группы из Чикаго по электростатической сборке коллоидных кристаллов в экспериментальной части написано "перемешать две фазы" (содержащие разноименно заряженные частицы золота и серебра, соотв.)
Если вы догадаетесь, что это "перемешать" означает прилить по стеночке одну конкретную фазу к другой ооооооочень медленно и оставить перемешиваться до наступления равновесия - ну, вы в дамках, получите то же, что и они. А нет, так это не их проблемы, они же написали "перемешать".
А бывает, что некоторые детали - лишние, и если их опустить, все как раз и получается.

**И именно поэтому как рецензент я всегда сначала читаю абстракт, а потом сразу экспериментальную часть.

[amir-khabib.livejournal.com]

хмм, интересно, может так оно и есть. уж слишком там простой эксперимент, чтобы я вот так взял и откровенно накосячил, тем более что перепробовал разных условий под сотню вариантов и сочетаний.

[grihanm.livejournal.com]

Не торопись соглашаться :) Вот ты можешь себе представить, что к тебе подходит Илья и просит не разглашать все детали публикуемых результатов?

[leolion-1.livejournal.com]

А я бы на вашем месте не торопилась утверждать человека в комплексе профессиональной неполноценности.
Я в приведенном случае догадалась не сама (мне не нужно было, я этой тематикой не занимаюсь) - мне сказали. По-хорошему, я бы не должна была об этом говорить, потому что сказали по личной дружбе, но той статье в Science по нынешним меркам сто лет в обед уже, то есть, пять, так что внезапных конкурентов я никому этим не создаю.

И это большой вопрос обо всех деталях. Люди написали - "перемешать". Они никого не обманули, а что не указали, как именно - ну может еще и ключ дать от той квартиры в NSF, где деньги лежат? Это исключительно ваши трудности, если вы сами не сможете допетрить, вдумчиво читая статью, что при любом другом режиме, кроме медленной взаимной диффузии двух фаз, вы кристаллов такого размера и морфологии не получите.

[amir-khabib.livejournal.com]

с трудом. одно дело разглашать в статье, другое - когда я полгода аспирантку по емайлу доставал с деталями.

[seadevil001.livejournal.com]

+1Е6! Народ просто не понимает, в чем смысл жизни американского профессора и аспиранта.

[amir-khabib.livejournal.com]

ну я сам американский аспирант кагбе. Я могу понять когда профессор пытается что-то там недоговорить в корыстных целях, но в личном разговоре двух аспирантов в огромном числе емайлов - ну не знаю, мне кажется, очень тяжело отвечать криво на прямо поставленные вопросы в личном разговоре, особенно если он длился месяцами. Если бы мы пытались скрыть результаты и со мной бы связался аспирант из другой группы, я бы врядли сумел откровенно врать.

[seadevil001.livejournal.com]

Этому учат, в школе и на первых курсах колледжа. Аспирант не индус был, часом?

[amir-khabib.livejournal.com]

нет, судя по имени, латинская девушка. Прикол в том, что я и они работаем в materials chemsitry и они забабахали эти коллоидные мембранки, которые в целом очень хороши и очень близки к реальной жизни, т.е. это не сферический конь в вакууме, а годный материал, который можно патентовать и продать. Может еще и поэтому я в результате переписки так и не понял как получить то же самое.

[grihanm.livejournal.com]

Проверь их цитируемость, воспроизводилось-ли в других группах итд. Если да - скорее всего проблема в чём-то типа такого http://grihanm.livejournal.com/385173.html?thread=4838037#t4838037

[amir-khabib.livejournal.com]

так как я параллельно несколькими проектами занимаюсь, на этот подзабил уже. попробую еще, конечно, на досуге.

[grihanm.livejournal.com]

Если проверять - то чисто из любопытства. Верить в злой умысел - последнее дело. Пожалуй те, кто в него верят - сами в первую очередь на такое способны.

[grihanm.livejournal.com]

А вот байзевей ещё история - лично от меня. Есть такие полимеры - полиферроценил-силаны - слыхал может. Пропертиз у них - писец какие прикольные для селф-ассемблей всяких. В мире их могут синтезировать только в 7-8 группах, и то с переменным успехом. В половине из них либо сам проф, либо кто-то из рисёрчеров, делал постдок/пхд у одного Бристольского профессора, который первый придумал эти полимеры синтезировать. Ты правильно уже понял, что именно у него я два месяца в прошлом году и провёл. Иначе научиться их синтезировать невозможно в принципе, независимо от пряморукости, подробности опубликованной процедуры итд. Это целая система, которая там построена на жесточайшей дисциплине и групповой ответственности. Небольшое импьюрити - и нихера у тя не выйдет, хоть ты тресни. Даже объяснить этот процесс не реально - пока сам в системе не поработаешь месяцок - не поймёшь.

В синтезе некоторых нанопартиклов та же фишка. И много чего ещё.

[amir-khabib.livejournal.com]

ишь. прям приобщение к святому таинству. вот поэтому я думаю уйти из химии в химический инжиниринг. Там блеать таких вещей нет. То есть, конечно, есть, но все чинно и благородно защищено патентами и т.д., без вот этого вот пакостничества :-)

[misha-makferson.livejournal.com]

Забавно. Прямо какой-то средневековый цех, надо учиться лично у мастера :-)

[seadevil001.livejournal.com]

Знал я одного латиноса - знатный был натягиватель совы на глобус. Но он был уже старший ученый, и потом ушел на директора. Собственно, он один мне и попался, пока, на моем жизненном пути.

Думаю, здесь скорее желание продать технологию, все же.

[grihanm.livejournal.com]

А ищо их там учат убивать русских детей - инфа 100%

[seadevil001.livejournal.com]

Откуда такая информация? Проходили курс или преподавали его?

[grihanm.livejournal.com]

Преподавал конечно. Тех детей, что на мацу не пригодились - тех сразу в класс, как наглядное пособие

(одобрительно)

[seadevil001.livejournal.com]

Добровольное признание, облегчает совесть.