Psychologie na rozcestí: neověřitelné výzkumy, falešně pozitivní výsledky  
Vědecká metoda se snaží vysvětlit přírodní jevy reprodukovatelným způsobem, čili tak, aby se závěry daly opakovanými výzkumy potvrdit nebo vyvrátit. To je jeden ze základních atributů vědy. Lze tedy tvrdit, že výsledky, které verifikovat nelze, do vědy nepatří. Časopis Nature uveřejnil článek, v němž britský vědecký žurnalista Ed Yong poukazuje na problém, který si podmanil psychologii a projevuje se výrazným nárůstem falešně pozitivních výsledků. Situace je vážná, přesto pravděpodobně vidíme jenom vrchol pomyslného ledovce.

Yong svůj článek začíná u studie Daryla Bema, sociálního psychologa na Cornellově univerzitě v Ithace, v americkém státě New York. Tento dnes již 74letý vědec je známý pokusy, jež v podstatě vědecky potvrzují paranormální jevy. Doslova. Výmluvný je například experiment, v němž Bem dobrovolníkům z řad studentů promítne na stěnu seznam 48 slov. Zakrátko obraz zhasne a studenti mají napsat všechna slova, která si dokážou v paměti vybavit. Poté následuje cvičení, ale jen s polovinou původních slov. Myslíte si, že statisticky významnou měrou si studenti již v prvním testu s plnou sadou slov mohou lépe pamatovat právě ta, s nimiž se až pak setkají v testu druhém? Důkaz předtuchy, kdy vliv předchází vlastní příčinu? Asi si řeknete, že je to nesmysl, že k takovému výsledku může vést jenom cílená manipulace buď s výsledky, nebo již při výběru slov, z nichž část je lépe zapamatovatelná, a právě ta je pak určena pro druhé kolo experimentu. Jenže to byste protiřečili recenzentům, kteří na metodice a závěrech Bemova pokusu a osmi dalších podobných zřejmě žádnou absurditu neshledali, a tak článek vyšel v odborném karentovaném časopise Journal of Personality and Social Psychology (JPSP) pod názvem Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect (Tušení budoucnosti: Experimentální potvrzení anomálního retroaktivního vlivu na poznávání a emoční reakci). 

 

Samozřejmě skeptici na sebe nenechali dlouho čekat a pustili se do prověřování výsledků, opakování pokusů. Jejich negativní závěry nepotvrzující „Bemův efekt“ však již publikovat nechtěl nikdo. Tři týmy, které své výsledky spojily do jednoho článku, obdržely z redakcí časopisů Journal of Personality and Social Psychology (kde původní Bemův článek vyšel), Science a Psychological Science  zamítavé odpovědi. Britský Journal of Psychology sice článek recenzentům, mezi nimiž byl i samotný Bem, poslal, ale nakonec ho odmítl také. Na veřejnost se dostal až na stránkách otevřeného internetovém časopisu PLoS ONE. Podobně dopadla i práce Stephane Doyena, kognitivního psychologa na Svobodné univerzitě v Brusselu (Université Libre de Bruxelles). Ten s negativními výsledky zopakoval experiment Johna Bargha z Yalské univerzity v New Havenu, v Connecticutu, podle něhož lidé prý chodí pomaleji, pokud byli předtím podvědomě ovlivněni slovy souvisejícími se stářím v porovnání s těmi, kterým slova nenápadně navodila představu mládí. Doyenův článek, jenž se v PLoS ONE objevil pod výřečným názvem: Behavioral Priming: It´s All in the Mind, but Whose Mind? (Behaviorální priming (podněcování): Všechno je v mysli, jenže mysli koho?), vyvolal u Bargha velmi ostrou, zlostnou reakci.


Tyto příběhy jsou mementem. „Vědomí, že jistá část zjištění publikovaných v odborné literatuře by se prostě neměla opakovat, jenom potvrzuje, že v ní existuje hodně podobných kontraintuitivních závěrů,“ tvrdí Eric-Jan Wagenmakers, odborník v oblasti matematické psychologie z Amsterdamské university. „Viděl jsem studenty trávicí celou dobu vymezenou pro dizertaci (PhD) neúspěšnou snahou nějaký jev zopakovat, jak opouštějí výzkumnou sféru, protože neměli co v rámci studia prokázat.“


Nejde jen o problém psychologie, i když v ní je, jak se zdá, nejvýraznější. Zabydlelo se v ní vylaďování experimentů tak, aby zajistily pozitivní výsledky, tvrdí ve svém článku Yong. Ironickým způsobem to dokládá Joseph Simmons z Pennsylvanské univerzity, který v loňském listopadu zveřejnil v časopisu Psychological Science článek False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting (Falešně pozitivní psychologie: neodhalená pružnost v získávání dat a jejich analýzách umožňuje prezentování statistické významnosti čehokoli). Pomocí počítačových simulací Simmons a jeho dva kolegové dokazují, jak například experiment můžete navrhnout tak, že v něm se statisticky významnou pravděpodobností prokážete, že ti, co si k poslechu vyberou písničku When I´m Sixty-four od Beatles, fyzicky (skutečně, nejen pocitově) omládnou o jeden a půl roku vůči těm, kteří se rozhodnou pro píseň od Kalimby. Je to velmi vážná kritika vědu dehonestujících postupů, umožňujících tak velkou míru volnosti, že pomocí nich lze na dostatečné statistické úrovni významnosti „prokázat“ předem zvolenou hypotézu. 


Některým ale pro získání výjimečných výsledků „vhodné“ projektování experimentů nestačí, ještě jednodušší je odpovídající data zkreslovat nebo přímo vyfabrikovat. Žel těch několik odhalených velkých podvodů nevytřídily nějaké automatické samoozdravné prověřovací mechanizmy, s nimiž teorie vědy počítá a měly by být modernímu poznávacímu procesu bytostně vlastní. To jen někdo, kdo se o nečestných praktikách dověděl, se rozhodl nemlčet. A to není způsob, na nějž se lze spolehnout, každý podvádějící si zajistí dostatečnou nepřístupnost „vlastní kuchyně“. O případu Marca Hausera jsme na Oslu psali. Koncem loňského roku byl vyšetřován na podezření z rozsáhlého vědeckého podvodu týkajícího se minimálně 30 publikací Diederik Stapel z nizozemské Univerzity v Tilburgu. Jako nadějná hvězda v psychologii získával pozoruhodné výsledky, prokazující, že například prostředí plné zmatků - třeba vlaková nádraží - podporují diskriminaci (zde). Všechny složité faktory, které stěžovaly opakování jeho pokusů, mu pomáhaly zakrýt stopy manipulace. Ti, co se pokoušeli závěry verifikovat a neuspěli, byli přesvědčeni, že je to důsledek chybějících dovedností, jakými Stapel vládne.

Předtím si podobnou ostudu z odhalení užila například Karen Ruggierová, kolegyně zmíněného Marca Hausera z Harvardovy univerzity v Cambridge, Massachusetts. Ve všech těchto případech světlo v temnotách podvodu zažali spolupracovníci – kolegové nebo doktorandi. V našich podmínkách by si asi vysloužili označení udavači a výtky, že poškozují dobré jméno pracoviště, nebo jeho renomovaných pracovníků.


Nicméně, jak naznačuje i Simmonsův článek, popřední psychologové si řekli „dost“ a snaží se svůj obor ozdravit a zajistit podporu opakovaným verifikacím publikovaných studií. A tím myslí doslova co nejvěrnější opakování, ne takzvané koncepční replikace, které se snaží velmi podobnou hypotézu prokázat různými postupy. Díky své schopnosti něco potvrdit, ale ne vyvrátit, koncepční replikace poskytují jen slabé výsledky, které se ale navzájem podporují. Brian Nosek, sociální psycholog z Virginské univerzity v Charlottesville je považuje za „vědecké ztělesnění prokazování předsudků.“ A právě on vyvíjí iniciativu, jež by měla poskytnout základní přehled o míře falešných pozitivních výsledků publikovaných v oblasti psychologie. S několika týmy a ve spolupráci s původními autory plánuje přesně zopakovat nejdůležitější experimenty, jejichž závěry byly zveřejněné v roce 2008. Protože, jak tvrdí, „když chcete prokázat, že A je pravdou, nedělejte B, ale znovu to A“.


Článek Eda Younga podrobněji popisuje velmi závažný jev, jehož lidské pozadí ani nevyžaduje psychologický výzkum, aby byly zřejmé jeho příčiny. I vědci jsou jenom lidé proplétající se spletí konkurenčních i „kamarádských“ vztahů. Také se snaží o kariéru, přičemž jsou tlačeni nelítostným mechanizmem k publikacím, a to často za každou cenu v situaci, kdy pozitivní výsledky – tedy prokázání existence nějakého jevu nebo vztahu – jsou mnohem uznávanější než ty negativní, které nikdo nechce publikovat. Tato deformace k současným problémům hodně přispívá. A přidávají se i čistě osobnostní črty. Nejen těch „chytrolínů“, kteří si našli jednodušší obejití náročného hledání pravdy. Prokazovat někomu, že se mýlí, nebo dokonce podvádí, k tomu se také jen tak někdo neodhodlá, zejména když je jasné, že ho žádný potlesk jako odměna nečeká. Mlčení se v soudnictví vnímá jako forma spoluviny, odhalení podvodu v postižené komunitě zase jako „práskačství“.


V psychologii, která se asi dopracovala k bodu zlomu, možná bude alespoň částečná léčba úspěšná. Problém nekorektního způsobu získávání pozitivních výsledků bude pod pokličkou více nebo méně - což závisí na charakteru konkrétní výzkumné práce - vegetovat dál i v některých jiných vědeckých oborech. Pokud se k negativním zjištěním budeme stavět negativně a považovat je za méně zajímavé a důležité, necitovatelné a nevhodné k publikacím, musíme očekávat, že snaha se za grantové peníze dobrat k těm opačným, bude v mnohých případech silnější než ostrý střípek nepříjemné pravdy uváděné například: Nepodařilo se nám prokázat, že… Na základě analýzy výsledku nelze konstatovat, že…  Cítíte to zklamání na jedné i druhé straně? A od toho se to vše odvíjí.

 

Zdroj: Ed Yong:  Replication studies: Bad copy:   Nature 2012

Datum: 22.05.2012 18:27
Tisk článku


Diskuze:

Díky za tip!

Jan Kment,2012-05-23 17:02:58

A omlouvám se, že jsem stočil diskusi poněkud jiným směrem. Tyhle problémy kolem statistik mě velmi iritují, u mnoha oborů je to dominantní nástroj získávání informací a statistiky často velmi ovlivňují nejen vědecké poznání ale i obecné povědomí. Málokdo ale, včetně výzkumníků umí docenit, jak složitý je to nástroj a jak malá je někdy výpovědní hodnota získaných dat i v případě dokonalého provedení. Ale to by bylo na samostatný článek.
Vaše téma je rozhodně velmi zajímavé a mimo jiné dokazuje, že i dnes v 21. století se topíme v pověrách, ať už vyplývají z podvodů, chyb a nebo prostě proto, že na některé věci naše věda prostě nemá nástroje. Tyhle tři principy se velmi podporují a vytvářejí v člověkozpytných oborech nesmírný chaos.

Odpovědět

Nezpochybnitelný výsledek nestačí

Martin Plec,2012-05-23 10:30:35

Vždy jsem byl ostražitý při čtení (popularizovaných) výsledků psychologických či lékařských výzkumů, právě kvůli pochybnostem o matematických znalostech experimentátorů. Jenže i když jsou vědecké výsledky v pořádku, další překážkou jsou úplně stejné matematické neznalosti praktikantů těchto oborů. Osobní zkušenost mám např. z doby, kdy jsme čekali děti. U žen nad 35 let se provádí amniocentéza (invazivní odběr plodové vody kvůli vyloučení některých vrozených vad) bez ohledu na výsledky triple-testu i ostatních předchozích vyšetření plodu. Riziko poškození plodu je při ní zhruba 1:100. (Souvisí však toto riziko spíše s kondicí matky, nebo se šikovností sestry? Kdo ví...) Nastudoval jsem si tehdy problematiku přímo z odborných článků, teď čísla uvedu jen orientačně, po paměti:

Ultrazvukové vyšetření přibližně v 10. týdnu vyloučí jisté vážné vývojové vady s jistotou zhruba 1:3. Triple-test z krve matky vyloučí tytéž vady (v dané věkové kategorii) s jistotou cca 1:250. Negativní výsledek obou testů má však vypovídací schopnost cca 1:10000, ne pouze 1:750. Přesto nám gynekoložka odmítla (v tom relativně krátkém období, kdy je možné test provést a kdy jsme ještě neměli problematiku nastudovanou) ten ultrazvukový test udělat s tím, že má malou vypovídací schopnost.

Gynekologové prý mají povinnost sbírat o nemocech, věku, vadách svých pacientek a jejich dětí statistická data. Ale protože je to práce navíc, za kterou nedostanou od pojišťovny ani korunu, data si vymýšlejí. Jak moc se pak dá na takto získané statistiky spolehnout?

Nehledě na to, výsledky např. krevních testů závisí i na tom, jak odběr krve proběhnul, jak se sestra vyspala, jestli omylem neprohodila zkumavky, či jak šikovná je laborantka. Takže bez ohledu na teoretické pravděpodobnosti, vždy je lepší udělat těch testů víc než míň.

Odpovědět

Nejde ani jen o biologii :)

Martin Plec,2012-05-23 10:24:41

Podle mých zkušeností se neochota publikovat negativní výsledky nevztahuje jen na psychologii či biologii, ale i třeba na matematiku - kdo by to byl řekl, že?
Kdysi v dobách mých vysokoškolských studií jsem přišel na to, že důkaz jedné často citované matematické věty z oblasti dynamických systémů je špatně.
Tato věta se dostávala i do knih, a to včetně tohoto chybného důkazu, správný důkaz jsem nikde nenašel. Pokusil jsem se tedy opravený důkaz poslat
do nějakého matematického časopisu, ale dostal jsem zamítavou odpověď s vysvětlením, že původní článek je již hodně starý.
Koho by přeci trápil chybný důkaz, hlavně že ta věta platí!

P.S. Toto mělo přijít jako odpověď na jiný příspěvek, ale při "Odpovědět" se mi opakovaně zobrazila téměř prázdná stránka.

Odpovědět


Nejde ani jen o biologii :)

Lubomír Klapka,2012-05-25 21:37:30

Zkušenosti Martina Plece mohu potvrdit. Vím dokonce o případech v teorii diskretních dynamických systémů, kdy nebyly špatně pouze důkazy, ale dokonce i samotná tvrzení. Ta byla časopisecky i knižně opublikována a bohatě citována, aniž by si kdokoliv z věhlasných odborníků všimnul, že ve skutečnosti vůbec neplatí. Nakonec je na to musela až po více než třiceti letech upozornit jedna studentka magisterského studia.

Odpovědět

Nejde jen o psychologii :)

Franta Lacinger,2012-05-23 09:21:27

A nemusíme chodit ani tak daleko:
http://technet.idnes.cz/kamery-zachytily-profesora-bezousku-kdyz-se-vloupal-do-cizi-laboratore-1oe-/veda.aspx?c=A120419_182346_veda_mla

http://www.reflex.cz/clanek/zpravy/46187/bratri-bartove-v-rigoroznich-pracich-podvadeli-a-podvod-jim-posvetil-spickovy-cesky-kriminalista.html

Odpovědět

Keď bla-bla-bla sa stane vedou.

Robert T,2012-05-23 08:21:10

je štatisticky dokázané, že holenie spôsobuje u mužov rakovinu. 95% mužov čo ochoreli na rakovinu sa predtým holili...
je štatisticjy dokázané, že 15% ťažkých dopravných nehôd sposobujú vodiči pod vplyvom alkoholu. Je najvyšší čas tých 85% triezvych darebákov vykázať s našich ciest...
atď...

Odpovědět

Statistika jako nástroj.

Jan Kment,2012-05-22 21:17:50

Dalším problémem je skutečnost, že řada lidí, kteří se pouštějí do nějakého výzkumu statistiku prostě neovládá (o matematických schopnostech psychologů raději pomlčím). Nedávno jsem byl vyzván abych se po internetu zúčastnil ankety o zadlužení domácností. Ale dotazník, který jsem měl vyplnit, v otázce - kolik dlužím, nepřipouštěl nulu a už vůbec ne záporné číslo. Hned jsem autora kontaktoval, ale nepochybuji o tom, že ve své práci použil i výsledky pořízené před odstraněním této kosmetické chybičky. Myslím, že by bylo vhodné uzákonit jako povinnost každého, kdo zveřejní nějakou anketu, zároveň zpřístupnit podrobný mechanizmus získávání dat a způsob výpočtů a umožnit jejich oponenturu. Určitě bychom se hodně divili. Osobně soudím, že by propadla téměř každá statistika z oblasti sociologie, psychologie, zdravovědy..., mám to statisticky ověřené.

Odpovědět


Dagmar Gregorova,2012-05-22 22:05:06

jistě máte pravdu, na tento problém se poukazovalo již mnohokrát. Žel obrovská převaha pozitivních výsledků se tím vysvětlit nedá - ani s tou nejjednodušší a třeba i skrytě chybnou statistikou byste u některých "podezřelých" výzkumů opakovaně pozitivní výsledek nedostal. Ten problém je mnohem obludnější, než kdokoli oficiálně napíše. Jak mohly projít recenzemi Bemovy pokusy??? Proč je problém se zveřejněním výsledků, které i tak kontraintuitivní závěry zpochybňují?
:) Já pro bráchu... brácha pro mně... :)
Odkud to ještě známe? Že by klimatologie... například?

Jestli se Vám chce se tím blíže zabývat, možná by Vás zaujal článek, který Yong zmiňuje v článku, cituji:
"V nyní již slavném článku z roku 2005, John Ioannidis, který je v současné době epidemiologem na Lékařské fakultě Stanfordské univerzity v Kalifornii, na základě statistické logiky tvrdí, že „většina publikovaných výsledků výzkumu je chybných (nepravdivých): Why Most Published Research Findings Are False (Proč většina publikovaných výsledků výzkumu je chybných)"
http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124

Odpovědět


Díky za tip!

Jan Kment,2012-05-23 17:04:50

A omlouvám se, že jsem stočil diskusi poněkud jiným směrem. Tyhle problémy kolem statistik mě velmi iritují, u mnoha oborů je to dominantní nástroj získávání informací a statistiky často velmi ovlivňují nejen vědecké poznání ale i obecné povědomí. Málokdo ale, včetně výzkumníků umí docenit, jak složitý je to nástroj a jak malá je někdy výpovědní hodnota získaných dat i v případě dokonalého provedení. Ale to by bylo na samostatný článek.
Vaše téma je rozhodně velmi zajímavé a mimo jiné dokazuje, že i dnes v 21. století se topíme v pověrách, ať už vyplývají z podvodů, chyb a nebo prostě proto, že na některé věci naše věda prostě nemá nástroje. Tyhle tři principy se velmi podporují a vytvářejí v člověkozpytných oborech nesmírný chaos.

Odpovědět


Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce








Zásady ochrany osobních údajů webu osel.cz