Воспроизводимость

[grihan]

Воспроизводимость эксперимента считается краеугольным камнем науки. Если кто-то вдруг захочет проверить или повторить для своих нужд опубликованный эксперимент, он по идее, повторив в точности всё, что написал автор публикации, должен получить тот же результат.

Но жизнь, как известно, выше всех этих условностей, и воспроизвести опубликованное получается далеко не всегда. Где-то видел, что большинство всех опубликованных новых направлений в лечении рака не получается никак применить именно изза хреновой воспроизводимости. Кто-то считает, что это всё изза мерзкой негодной нехорошей коммерциализированной современной науки - погоней за грантами, позициями и длинным Хиршем. В отличие от годной, хорошей, благочестивой науки прошлого, когда трава была зеленее, девушки добрее, мушшыны сильнее, а гранты и статус никому не были нужны, потому что все питались божьей росой. (Тем кто так думает, вероятно, никогда не надо было попытаться воспроизвести опыты из публикаций 60-70-80-ых).

Злой умысел и подтасовку результатов конечно исключить нельзя, но обвинять бездоказательно - значит клеветать. Скорее всего гдe-то ошиблись, где-то деталь неточно записали, кое на что в пылу работы внимания не обратили - а оно решающую роль играет. Вот забавный пример, который рассказал знакомый недавноиспечённый проф.

Однажды давно, ещё будучи на ПХД в Вайцмане он совершил нобелевское открытие. Да и фиг с ним, с нобелевским - открывай хоть завтра стартап и греби вёдрами бабло. Открытие заключалось в синтезе катализатора, который делает варенье из говна, свинец превращает в золото, а воду в водку хороший очень. Он его со всех сторон проверил, на всякий случай дал проверить парочке коллег - чтоб не облажаться - и сел писать патент паралельно со статьёй в саенс. И вот когда писал - надо было ему какой-то анализ перепроверить. Бутылочка с исходным реагентом, из которого делался тот катализатор, как раз намедни опустошилась и была выброшена. Он открыл новую, такую же от той же фирмы, сделал катализатор по новой, и... Ну вот, думаю продолжение понятно. Они купили ещё бутылочек из той же фирмы и y других. Нифига. И так до сих пор и неизвестно в чём там было дело. Хорошо, что опубликовать не успели, а то был бы эпик фэйл. А сколько других про другое успело? А сколько раз бывает в пределах одной группы, когда одна и та же реакция то получается, то нет, или получается, но всегда с разными выходами. И ктож её знает почему.

А другой знакомый коллега другую байку рассказывал - про то, как в далёкие советские застойные времена он совершил открытие, которое смог тиснуть аж в немецкий журнал. Немцы и всякие японцы засуетились, начали повторять - а нифига не выходит. Начали слать письма редактору и контрпубликации. Короче оказалось, что оператор прибора, который за бутылку сделал знакомомy анализ вне очереди, просто в одно из данных спектра "минус" случайно не поставил. Или поставил, да тот стёрся. А так как именно этого они и хотели сильно - так и не заметили подвоха. Сейчас уже не разобраться, кто там больше накосячил и специально-ли.

Бывает, однако, что сам факт возможности получения определённого результата и гипотетические механизмы, которые привели к тому что получилось - самодостаточны и интересны. Поэтому если не врать, не пририсовывать желаемые пики или атомы и не стирать нежелательные - можно и нужно публиковать, даже если при этом нет 100% уверенности в воспроизводимости.

More:
http://shvarz.livejournal.com/419320.html

Comments

купили ещё бутылочек из той же фирмы и y других. Нифига.

[zloradskij.livejournal.com]

Вот жеж пиздец... Обыдна! Он после этого не спился хоть?

Я бы копал в сторону загрязнений. То есть приперся в ту фирму, подвесил на дыбу технолога и долго вопрошал, не было ли за соотв. смену каких-либо необычностей. Может уборщица не туда тряпкой махнула, может таракан в реактор пролез.
А кроме того, поискал бы бутылочки той же партии химиката на складах. Потом, освещение может в лабе поменяли, УФ из спектра пропал. Сама баночка может должна быть не свежеоткрытая, а постоять после контакта с воздухом.
Раз Нобель и точно было, надо искать, блядь!

Re: купили ещё бутылочек из той же фирмы и y других. Нифиг

[grihanm.livejournal.com]

Ясен пень - загрязнения. Еслиб старую бутылочку не выбросили - можно было бы попытаться определить.

Re: купили ещё бутылочек из той же фирмы и y других. Нифиг

[amir-khabib.livejournal.com]

чувствуется ты до фига химией в лабе занимался:-) в большинстве случаев, имхо, на дыбу вешать надо своих же коллег и их студентов\практикантов. На тему "лазил, сука, пальцами сюда?".

[paladin-sveta.livejournal.com]

60-70-80 - это всё не то. Воспроизводимости надо учиться у тёплых ламповых довоенных немцев.

И потом иногда ещё головой думать приходится.

Понадобился мне как-то 2,6-дихлорнитрозобензол. Читаю пропись: 2,6-дихлоранилин, уксус, перекись, оставить на 3 дня, отфильтровать, перекристаллизовать, выход 70+ %. Повторяю - через 3 дня лёгкое помутнение, через неделю - выход процентов 5. Перечитываю статью полностью и внимательно - Texas A&M University. А у меня питерский февраль, подогрева приточной вентиляции нет, в лаборатории +12 от силы. Ага. Ставлю на 3 дня в термостат на +30 - телемаркет.

[flavorchemist.livejournal.com]

Ага, мы один раз, давно-давно, индусов так пытались воспроизвести, ага. Пока не догадались до 30 погреть. Точнее, мы сами и не догадались - написали им и переспросили. А они уже посоветовали.

[korzhimanov.livejournal.com]

Ну да, бывает. В чём-то аналогичный случай слышал недавно на семинаре. Группа проводила эксперимент по спектроскопии, получили какой-то очень высокий результат по точности. А коллеги из другого университета повторить не могут. Оказалось - давление. Они на высоте опыты проводили (в Чили дело было), поэтому теоретически рассчитанные кривые для кислорода лучше соответствовали экспериментальным.

[grihanm.livejournal.com]

знакомо :)

[leolion-1.livejournal.com]

В качестве успокоительного такие рассуждения сойдут. В качестве руководства к действию - нет.

Привожу только один понятный Вам пример. Мюрали Састри и его весьма известный electrostatic self-assmbly - адсорбция наночастиц, покрытых взаимнопроникающими адслоями тиола и стеариновой кислоты/октадециламина, сорбирующихся к противоположно заряженному монослою амина/кислоты, соответственно. 14 высокоцитируемых статей в общей сложности по этой тематике из этой группы. Эта самая адсорбция, которой мне нужно было воспользоваться по его стопам со своими целями, выпила у меня крови, нервов и без того небогатых ресурсов почти на два года.
Итог - она не работает и не будет. И я теперь знаю, почему. Хотите, можете называть это клеветой, но и Састри это знал, когда публиковал, к моменту написания обзора в AccChemRes так уж наверняка.

Почему не работает и не будет? Опуская подробности моих мытарств, потому, что у них изотерма всегда едет вправо, матричный монослой при адсорбции частиц всегда расширяется. Но не потому, что частицы так красиво зарядами "прилипают" к другим на межфазной границе, как они рисуют во всех статьях, в том числе, самых рейтинговых. А потому, что второй адслой слезает с первого, как только частица попадает на межфазную границу. (Я это проверила и знаю наверняка). Это происходит потому, что верхний слой, несущий заряженные группы, взаимодействует с другим всего четырьмя СН-группами из 18. Это ничтожная стабилизация по сравнению с конденсированным монослоем Ленгмюра, в котором кислота и амин с хвостами по С18 образуют своеобразный двумерный азеотроп за счет гидрофобных взаимодействий по всей длине хвостов и электростатики между разноименными зарядами головных групп. В итоге есть смешанный кислотно-основный слой ПАВ, в котором плавают облысевшие частицы, ориентированные тиолированными "залысинами" в воздух.

Почему Састри знал? А потому, что у них же в одной из ранних работ есть результаты ДСК, которые яснее ясного и говорят, что в частицах, покрытых двойным слоем тиола и стеариновой кислотой, глубина погружения слоя кислоты в слой тиола составляет те самые 4 звена. И потому, что у них ни в одной работе не SEM или AFM на твердой поверхности.
Зато есть больше сотни ссылок на несколько "прорывных" статей.
Когда я это пишу сейчас, кому-то это может показаться очевидным. Мне тогда не показалос, потому что мои рассуждения тогда очень напоминали Ваши. Но жизнь вместе с грантами по 10 тысяч долларов на все быстро учит все расставлять по местам.

Но хорошо уже то, что с всей этой Вашей наивностью от Вас намеренного подвоха в результатах ждать не приходится, я это учту:)

[grihanm.livejournal.com]

"В качестве руководства к действию - нет."

Пожалуй.

По поводу остального - сочувствую.

[shultz-flory.livejournal.com]

Анаников недавно опубликовал статью - они нашли микропримеси Pd в продажном dba что ли. Может, у вашего профа оказалась такая банка?

[zloradskij.livejournal.com]

"Может содержать следы арахиса, других орехов, платины и палладия." (C)

[amir-khabib.livejournal.com]

думаю, такая ситуация всем знакома. Я полгода пытался сделать простенькую инвертированную коллоидную мембрану из полимера по работам одного профа в Колорадо. Реально, пытался и так и сяк, списался с аспирантом, который непосредственно делал работу, достал ее невероятно своим занудством. В итоге у меня не получается, а у них получается. Сомневаться в их результатах не приходится, у них несколько статей со всеми фотками и снимками в SEM и т.д. Это я криворукий, в чем всегда признаюсь.

[grihanm.livejournal.com]

Вот - молодец. А ведь куда легче решить, что эти кологадские жуки всё специально для грантов и длинных хиршей подделали :)

[victor-koldun.livejournal.com]

Помню как только появились, причем массово, производительные компутеры с первыми Пентиумами, оказалось те задачи, что раньше на ЕС-1022 считались буквально годами, (товарищ, вас тут много, а машина одна, в очередь сукины дети, в очередь,) теперь можно сосчитать за пару дней или даже часов, причем не отходя от кассы. Но мало ли какой подвох нам всунут проклятые империалисты. Мало ли чего они там в процессор напихают, чтобы он специально искажал социалистическую действительность. Поэтому в одном солидном НИИ было решено оттестировать партию пентиумов на решении задач, ранее решенных Корифеями на железных феликсах да логарифмических линейках.

Вот тут самый смех и случился.........

[grihanm.livejournal.com]

Отличная история :)

[affidavid.livejournal.com]

Микропримеси палладия в меди, кобальте, и никеле достаточно частое дело. Куча статеек про palladium free catalysts из-за этого нашлепана очень многими людьми.

[misha-makferson.livejournal.com]

Хм, это в смысле в продукции Норильска? Там насколько помню комплексные руды медь-никель-МПГ.

[affidavid.livejournal.com]

В Вейцмане эпик файл так вышел, когда биолухи таки опубликовали статейку про получение стереоселективных кристаллизаций из-за ... нарушения четности в слабых взаимодействиях элементарных частиц. Но напечатали в тухлом журнале, и их заметили немногие.

[grihanm.livejournal.com]

Круто :) Неужели у них самих - биолухоов - ни у кого не возникла идея о загрязнении?

[zlata-gl.livejournal.com]

Меня однажды попросили повторить одно электронное устройство по статье в журнале (10-летней давности).
Которое загоняло в катушку 2 ампера на частоте 10 МГц.
Дабы греть индукционным током железный гвоздик в запаянной пробирке.

Я сразу отнеслась скептично к этой идее. Потому что насчитала 500 вольт.
Да и тяжело сделать мощный усилок на такую частоту (на схеме был квадратик "усилитель").
Тот, кто дал мне задание, пытался найти авторов статьи, но не поймал.
В общем, мы со студентом пыхтели-пыхтели, оно не работало. Грело чуть-чуть.
Я говорю заказчику: не работает !
А он отвечает: дык ведь статья ! У них же работает !

Я занялась чем-то другим, студент решил поиграться, снижая частоту.
На 200 килогерцах заработало так, что аж припой расплавился.

[grihanm.livejournal.com]

Всё хорошо что хорошо кончается

[elenia-gor.livejournal.com]

Моя мама не хотела делать великих открытий, всего лишь сдать зачет по органической химии. Дело было в МГУ в конце 40-х. Ей выдали необходимые реактивы и методичку, опробованную поколениями студентов. Она все сделала по методичке - и ничего не получилось. Вердикт преподавателя: ты, очевидно где-то ошиблась, сделай еще раз. Мама сделала еше раз (а процесс-то длительный, это же не школа, а химфак) - и снова ничего не получилось. Преподаватель сказал:"Давай делать вместе." Мама в третий раз проделала все по методичке. Преподаватель следил за каждым шагом. И снова ничего не получилось. Преподаватель вздохнул и сказал: "Давай зачетку". Мама ушла из лаборатории с полученным зачетом и глубокой убежденностью, что на специализацию по органической химии она не пойдет.

[grihanm.livejournal.com]

Вот так и гробят потенциальных исследователей :(

[jelnovar.livejournal.com]

А уж в общественных науках, ИМХО, воспроизводимость вообще не имеет значения. Тот же самый эксперимент на других людях не дал результат-и что? Это тебе не жидкость в склянке, люди все-таки.

[grihanm.livejournal.com]

Думаю сами учёные-общественники так не думают :) Ну как минимум в идеале и у них должно воспроизводиться с любой случайной подборкой людей из того же культурного слоя.

Ссылки

[livejournal.livejournal.com]

User dok_zlo referenced to your post from Ссылки (http://dok-zlo.livejournal.com/1218666.html) saying: [...] 4. Воспроизводимость Тыц [...]

Воспроизводимость эксперимента, говорите?

[old-leon.livejournal.com]

Один философ сказал: "Для самого существования науки совершенно необходимо, чтобы в одних и тех же условиях всегда получались одни и те же результаты". Так вот, этого не получается. ... Тем не менее, несмотря на это, наука жива, хотя в одних и тех же условиях не всегда получаются одни и те же результаты.
....
Что совершенно необходимо "для самого существования науки" и каковы характеристики природы - все это определяется не напыщенными декларациями, а тем материалом, с которым мы имеем дело, самой природой.
....
Поэтому в действительности для самого существования науки совершенно необходимо вот что - светлые умы, не требующие от природы, чтобы она удовлетворяла каким-то заранее придуманным условиям, как того требует наш философ.

Pичард Фейнман
ХАРАКТЕР ФИЗИЧЕСКИХ ЗАКОНОВ
http://vivovoco.rsl.ru/VV/Q_PROJECT/FEYNMAN/LECTURE6.HTM

Re: Воспроизводимость эксперимента, говорите?

[grihanm.livejournal.com]

Вот и я о том же :)

Ссылки

[livejournal.livejournal.com]

User olenenyok referenced to your post from Ссылки (http://olenenyok.livejournal.com/5861327.html) saying: [...] 4. Воспроизводимость Тыц [...]

Ссылки

[livejournal.livejournal.com]

User karhu53 referenced to your post from Ссылки (http://karhu53.livejournal.com/181052.html) saying: [...] 4. Воспроизводимость Тыц [...]

Воспроизводимость

[livejournal.livejournal.com]

User al_med referenced to your post from Воспроизводимость (http://al-med.livejournal.com/2694656.html) saying: [...] - можно и нужно публиковать, даже если при этом нет 100% уверенности в воспроизводимости. Отсюда [...]

[dr-stockmann.livejournal.com]

Р.Л.Стивенсон "Странная история доктора Джекила и мистера Хайда". Разве на химфаках не изучают это поучительное произведение? Печально, печально.

[migmit.livejournal.com]

Great minds think alike.

[migmit.livejournal.com]

Что-то история этого профессора очень сильно напоминает классику. "Доктор Джекил с почтением заверяет фирму May, что последний образчик содержит примеси и совершенно непригоден для его целей. В 18... году доктор Джекил приобрел у их фирмы большую партию этого препарата. Теперь он просит со всем тщанием проверить, не осталось ли у них препарата точно такого же состава, каковой и просит выслать ему немедленно."

[grihanm.livejournal.com]

Ничего необычного. Вся химия строится на примесях.

Мемуары Фейнмана

[livejournal.livejournal.com]

User zlata_gl referenced to your post from Мемуары Фейнмана (http://zlata-gl.livejournal.com/49498.html) saying: [...] ы, чтобы она удовлетворяла каким-то заранее придуманным условиям, как того требует наш философ. [...]

[leechka-haifa.livejournal.com]

у меня была смешная ситуация - работала в фирме, там использовали некие чипы; вдруг чипы начали постоянно сбоить;
везут чипы на завод изготовитель, там проверяют - все в порядке
возвращаются чипы назад в фирму - опять сбои
муж смеялся, что Иерусалим (где был завод) - это святой город и потому там чипы не сбоят :)
месяца 4 искали причину
в результате, обнаружили, что на одну розетку посадили чипов больше, чем ее ограничение по мощности, а потому начались биения, вот чипы и сбоили.