Nezopakovatelné studie jsou podle vědců stokrát citovanější. Problémem je akademický systém
Ani publikování v prestižním odborném časopise není zárukou solidnosti vědecké studie. Objevují se tam práce, které mají atraktivní téma, ale - pokud jde o fakta - poněkud vratký základ. Takové zřejmě chybné analýzy ale kupodivu budí větší zájem než ty ostatní a taky mají větší citovanost. Tvrdí to nová studie.
Chybná studie se pozná tak, že když ji zopakujete, když zvolíte stejný postup, dostanete úplně jiné výsledky, což je znamení, že někde bude chyba. Není to nic nového, vědci tomu říkají replikační krize. A příspěvek k tomuhle tématu je i nová studie otištěná v časopise Science Advances.
Obětí covidu je podle vědců více než dvojnásobek oproti oficiálním statistikám
Číst článek
Naproti tomu solidní studii na bytelných základech můžete opakovat, kolikrát chcete, a vždycky s podobným výsledkem. Odborníci prý umí poměrně přesně odhadnout, zda je vědecká práce replikovatelná, nebo ne.
Autory studie o replikovatelnosti výzkumu jsou dva ekonomové z Kalifornské univerzity v San Diegu, doktorka Marta Serra-Garciová a profesor Uri Gneezy. Píší, že vycházeli z veřejně dostupných zdrojů, jako jsou citační databáze typu JCR (Journal Citation Reports) americké společnosti Clarivate. V ní se dají vyhledávat různé analýzy, například hodnocení dopadu vědeckých výstupů, nejcitovanější odborné časopisy a podobně.
Spočítali, že potenciálně chybné studie citují autoři dalších vědeckých statí průměrně stokrát častěji, než práce se stabilními výsledky. Konkrétně třeba nereplikovatelné studie z oblasti společenských věd otištěné v časopisech Science a Nature mají prý běžně zhruba o 300 citací víc než ty solidní. A jen 12 procent z těch citací obsahuje upozornění, že původní studii nelze zopakovat se stejným výsledkem. Podle autorů to ale na objem citací nemá vliv.
Citace i granty
Autoři to vysvětlují tak, že studie na atraktivní téma snadněji projdou do tisku i v těch nejznámějších vědeckých časopisech. Akademický systém prý ponouká periodika i vědce publikovat vzrušující zjištění. Jenže zkušenost učí, že čím dramatičtější výsledek, tím větší pravděpodobnost chyby.
Nizozemští vědci naučili včely odhalit covid-19. Pozitivní vzorky rozeznají okamžitě
Číst článek
Oba autoři se domnívají, že v případě takových ne moc dobře podložených studií mají někteří editoři laťku trochu níž právě kvůli atraktivitě tématu. Studii otisknou, je o ni zájem, v médiích se mluví o ní i časopise, který ji otiskl, a taky ji citují autoři dalších vědeckých prací. A navíc většina akademických institucí přihlíží k množství citací, má to dopad na kariéru citovaného vědce.
Může s tím souviset i otázka přidělování grantů. Autoři studie se odvolávají se knížku s názvem „Vědecké fikce, aneb Jak podvod, zaujatost a nedbalost vadí při hledání pravdy“. Loni ji vydal skotský psycholog Stuart Richie a mimo jiné v ní píše o tlaku získat grant a medializovat vědeckou práci. I Richie došel k závěru, že i když se ukážou slabé stránky určité studie, nic to nezmění na její oblibě.
Ekonomové Serra-Garciová a Gneezy tvrdí, že právě v tomhle je příčina replikační krize v oblasti společenských věd.
Přínos pro vědu
Jak situaci zlepšit, řešil před šestnácti lety autor studie s názvem „Proč jsou publikované vědecké výzkumy většinou chybné“ profesor John Ioannidis z Lékařské fakulty Stanfordovy univerzity. Doporučoval tehdy třeba nezávislé kontrolní týmy. Jeho článek na serveru PLOS Medicine má přes dva miliony zhlédnutí a přes 5500 citací. Prý by možná pomohlo uvádět u každé práce jméno editora, který ji pustil do tisku, a vůbec zlepšit editorskou práci. Cíl je omezit publikování nereplikovatelných vědeckých prací.
Útlum uhlí v Česku už v roce 2030? ‚Teď se dají využít unijní fondy, pak už nebudou,‘ připomíná odborník
Číst článek
Autoři studie uvádějí příklad z nedávné doby. Časopis Psychological Science stáhl z tisku jednu studii kvůli nespolehlivým údajům. A pochopitelně, takové studie moc citované nejsou.
Na práci obou amerických ekonomů už reagují odborníci. Třeba politolog Gary King z Harvardovy univerzity ji uvítal jako „přínos pro dobrý stav vědecké komunity“.
Naproti tomu americký psycholog Brian Nosek z Univerzity státu Virginia se v této souvislosti zamýšlí nad schopností vědy opravovat vlastní omyly. Zatím prý nic nenasvědčuje tomu, že by ji ztrácela, ale není prý na škodu tuhle schopnost posilovat a víc o ni dbát, píše britský deník The Guardian.
Ekonomové Marta Serra-Garciová a Uri Gneezy podotýkají, že v budoucnu by se mělo prozkoumat, jak dlouho ten trend potrvá, čili jak dlouho budou mít nereplikovatelné studie vyšší počet citací, než ty replikovatelné, a zda jich skutečně ubylo.
