🔓Jak číst ve vědeckých studích s Adamem Obrem (odemknuto)

UPDATE 15. 12. 2022: článek byl na základě připomínek pozorných čtenářů místy opraven, jinde aktualizován a také rozšířen. Díky!

V 10. Q&A callu Klubu Lifehacky jsme si povídali o tom, jak se orientovat a číst ve vědeckých studiích, a obecněji i o tom, jak funguje vědecký výzkum. Jde o komplexní téma, které samo o sobě vystačí na dlouhé studium a mnohaletou praxi – a tak spoustu věcí jsme nestihli, nebo probrali povrchně.

Přesto se nám myslím podařilo se zorientovat aspoň v základních pojmech a modu operandi v jedné z vrstev vědeckého výzkumu. Věřím, že účastníci nyní dokážou lépe oddělit zrno od plev a zvýšili svou odolnost vúči špatným či povrchním interpretacím v médiích i jinde, chybné argumentaci či dokonce manipulaci tvrzeními vytrženými z kontextu. Za mě: odnesl jsem si spoustu zajímavých postřehů!

Níže je podrobný zápis včetně odkazů na zdroje (nejde tedy o klasický článek a tomu odpovídá struktura, která reflektuje chronologii rozhovoru). Výjimečně zápis uvolňuji téměř v plném rozsahu – berte to jako osvětu i teaser na obsah klubových aktivit. Nadále jsou jen členům klubu přístupné záznam callu (včetně jeho poslední části s ukázkou chyb v mediálně profláknuté studii + možnosti klást nadále dotazy hostovi přímo v rámci callu), a také vizuální mapa callu v OrgPadu.

Představení hosta: Adam vědu miluje

RNDr. Adam Obr, Ph.D. je vědec. Je členem oddělení proteomiky na Ústavu hematologie a krevní transfuze, ve výzkumu působí přes deset let.

Zabývá se výzkumem imunoterapie leukémií a adhezními vlastnostmi leukemických buněk. Jeho vědecká práce se odehrává buď v laboratoři nebo u počítače a nesmírně jej baví. Ostatně, také o ní bloguje.

Adam je také členem projektu Zeptej se vědce, jehož hesla zní: Neexistují hloupé otázky! Tápeš v tématech, která spadají do vědy? Zeptej se! Naše facebooková skupina je místo, kde se můžeš potkat s vědci a vědkyněmi! :)

🧑‍🔬 Co to je vědecká metoda?

Nejdokonalejší (i když stále nedokonalá) metoda poznání, kterou máme.

Spousta lidí nechápe, že vědecké poznání je vždy (odborně, technologicky, znalostně) poplatné době, ve které k němu došlo. Typicky: znalosti týkající se covidu byly v daný okamžik vždy jen omezené, a mnohdy i mylné. Dnes už víme více. Pro vědce a odborníky bylo obtížné a nevděčné v krizi komunikovat neúplné znalosti o covidu (např. o jeho nebezpečenství, o účincích očkování atd.), ale bylo to jediné, co jsme měli.

Úkolem vědy je opravovat sama sebe, stále zpochybňovat to, co už víme. A to se na vědě Adamovi líbí.

Aktuální fakta je nutné vnímat na škále od jistějších po po nejméně jistá… 100% jisté ale není prakticky nic.

🤔 Hypotéza jako základ vědeckých studií a jak ji číst

Každá studie by měla začínat hypotézou – dobře a jasně formulovaným předpokladem, který se snažíme ověřit. V praxi to však nebývá vždy explicitně formulováno slovem hypotéza. Namísto „hypotézy“ se setkáme např. s volnější formulací, že „cílem studie je zjistit/ověřit/vyvrátit/potvrdit vztah...” atd.

• nulová hypotéza – výchozí předpoklad, že spolu dva jevy nesouvisejí; tedy není mezi nimi žádná příčinná souvislost. Studie se pak snaží vyvrátit nulovou hypotézu, tedy vztah mezi veličinami potvrdit (např. vliv paracetamolu na úspěch v matematice – nulová hypotéza říká, že tam žádný vztah není; jakmile ale zaznamenáme, že se při užívání paracetamolu zhoršuje školní prospěch, můžeme začít zkoumat, jestli skutečně existuje, zda je tam příčinná souvislost, jak je silná, jak funguje ap.).
• alternativní hypotéza – to je ta, na kterou přistoupíme, když zjistíme, že něco s něčím souvisí (tedy když se nulová hypotéza ukázala jako nepravdivá).

Adamův tip: dobrá vědecká studie se (většinou) pozná už podle kvalitního „peer writingu” – tedy možnosti a schopnosti jasně vyjádřit základní myšlenku (vč. hypotézy), formulovat srozumitelně záměr i postup.

🎲 První z důležitých parametrů, který by nás měl zajímat: p-hodnota

P-hodnota je zjednodušeně řečeno pravděpodobnost, že vztah, který pozoruji mezi proměnnými, je dílem náhody. Jde o zásadní údaj vyjádřený číslem od 0 do 1 (zapisuje se také procentuelně). Čím je hodnota vyšší, tím hůře pro studii – u hodnot blížících se jedničce je pozorovaný jev nejspíše náhoda a lidově řečeno „nic nedokazuje”.

Výzkumníci si stanoví už na začátku studie tzv. hladinu významnosti (alfa) – a pokud vyjde p-hodnota menší než alfa, bude nulová hypotéza vyloučena.

Velmi často používaná hodnota alfa 5 % (0,05 a ne třeba 0,01) byla navržena Ronaldem Fisherem jako doporučená hladina významnosti proto, abychom ze vzorků, se kterými pracujeme, nevyhazovali příliš mnoho falešně pozitivních, které by mohly být pro další rozvoj poznání nějak relevantní.

Ve studiích, kde se ale srovnává příliš moc prvků, by nastavení alfa na 0,05 znamenalo, že z 20 výsledků vyjde jeden jako falešně pozitivní (i kdyby byl dílem náhody). Proto např. genetické studie, kde se srovnává velké množství prvků, nastavují hranici pro statistickou významnost níže (např. p<0,001).

Mnohdy je vypočtená p-hodnota ovlivněná snahou vědce se k této „správné hodnotě“ přiblížit – např. přidáním dalšího pokusu, dalšího ověření atd. Pokud výzkumník neupozorní na opakované testování s různými vzorky (s cílem dostat se pod stanovenou hladinu významnosti), jde o tzv. p-hacking, který je považován za neetickou manipulaci. Podobná praxe vede k tomu, že výsledky mnohých citovaných studií nelze nezávisle zopakovat (tzv. nereplikovatelnost studií).

👊 Druhý důležitý pohled: síla testu (power value)

Zatímco alfa a p-hodnota se vztahují k falešně pozitivním výsledkům, síla (power value, S, 1-β) souvisí s falešně negativními výsledky. Je definována jako S = 1 - β, tj. jako pravděpodobnost, že správně zamítneme hypotézu, která ve skutečnosti neplatí. (Hodnota β je pravděpodobnost, že výsledek označíme jako statisticky nevýznamný, i když ve skutečnosti významný bude)

Síla závisí mj. na velikosti vzorku. Pokud budeme např. testovat jen několik málo jedinců, může být přesnost výběru vzorků i zpracování dat vynikající, ale mnoho se toho o skutečné populaci nedozvíme (síla bude mizivá). Sílu pak zvětšíme jen zvětšením velikosti vzorku.

Adam uvedl příklad: zkoumám-li jev, který je v populaci zastoupen v 1 z milionu případů a já použiji milion vzorků –> pak je síla nízká. Zkoumám-li jev, který se v populaci vyskytuje v 1 z deseti případů a vezmu si milion vzorků, bude síla studie silná.

U síly dovolujeme vyšší hodnoty, 15 či 20%. Síla se zjistí až během výzkumu a ukazuje, jak dobře jsme schopni odhalit skutečný vztah mezi proměnnými. Čím vyšší je síla, tím lepší jsou naše schopnosti odhalit skutečný vztah.

Síla se nevztahuje k celé studii, ale ke konkrétnímu testu v rámci studie.

📜 Základní typy vědeckého výzkumu nejsou žádná velká věda

1. Observační studie – pozoruj, ale nezasahuj

V observačních studích pozorujeme a hledáme vzorec, do studovaného vzorku ale nezasahujeme a nemůžeme jednoduše prokázat příčinnou souvislost (kauzalitu). Tyto studie jsou relativně snadné na realizaci, špatné na kontrolu a riskantní při interpretaci.

K zavádějícím výsledkům dochází, existuje-li nějaký skrytý vliv (zavádějící, confounding factor), který sám není součástí řetězce příčin od expozice k výsledku, přitom je spojený jak s expozicí (např. brali paracetamol), tak s výsledkem (např. měli horší výsledek ve škole). Výsledek pak sugeruje mylný závěr, že paracetamol zhoršuje školní prospěch. Skrytou příčinou (zavádějící proměnnou) je ale nejspíš školní absence kvůli častým onemocněním, na něž byl paracetamol užíván, ne paracetamol samotný.

Existenci zavádějícího faktoru nelze nikdy úplně vyloučit.

Lidé navíc nedělají rozhodnutí osamoceně, ale jejich rozhodnutí jsou vždy součástí dalších, skrytých, vzorců – tím vzniká v observačních studiích bias a snižuje z podstaty jejich vypovídací hodnotu.

Ptáme-li účastníků výzkumů, zejména na otázky z oblasti životního stylu, je obrovský rozdíl mezi lidmi, kteří se např. rozhodnou jíst zeleninu, chodit včas a pravidelně spát – a těmi, kteří to skutečně dělají.

Jsou dva hlavní typy observačních studií:

• Retrospektivní observační studie se dívají do minulosti a hledají vzorec (co se stalo). Například 10 let zpětně sledujeme skupinu lidí, kteří jedli maso, a srovnáváme ji se skupinou vegetariánů – a porovnáváme rozdíl v jejich úmrtnosti.
• Prospektivní studie naopak začínají dnes a sledují nějaké jevy (co se stane). Například budeme odteď sledovat masožrouty a vegetariány a porovnáme jejich úmrtnout za 10 let. Oba typy pozorování se odehrávají bez našeho zasahování.

Nalezení vzorce (korelace) v žádném případě neznamená automaticky potvrzení příčinné souvislosti (kauzality).

2. Individuální případová studie

Jde o studii s jedním subjektem – zvláštní typ observační studie a v žádném případě nemůže být její závěr zobecněný. Přesto může například nastartovat vědeckou kariéru, protože připoutá pozornost k nějakému fenoménu, který se potom obecněji šetří – a možná se tam nějaký vzorec nakonec prokáže.

V kontextu lifehackingu jsou experimenty, které člověk provádí na sobě, zjednodušenou formou individuální případové studie či individuální klinické studie.

Přístupu, kdy s využitím vědeckého přístupu děláme pozorování či experimenty na sobě za účelem řešení vlastních problémů, se říká osobní či občanská věda (personal / citizen science) a vrátím se k němu někdy příště. Legendární komunitou sebe-experimentátorů, kteří svými aktivitami přesahují osobní vědu díky práci s daty celé komunity je Quantifed Self. Sledovat můžete také skvělý blog a newsletter občanského vědce Richarda Sprague.

3. Klinické a experimentální studie

Jde o typ výzkumu schopný odhalit příčinné vztahy, ne jen korelaci. Spočívají v intervenci, tedy v zasahování do průběhu, kdy pomocí ovlivňování ověřujeme platnost hypotézy (ta byla vypracována dřív ve zvláštní, analytické fázi). Snažíme se prokázat, že změna příčiny má za následek i změnu výsledku. V případě pokusů na lidech je nezbytný informovaný souhlas účastníků.

Klinické studie by měly zahrnovat:

• kontrolní skupinu vedle studované skupiny (na té druhé „děláme pokusy“, ta první je pro kontrolu a pro srovnání – např. „dostane placebo”)
• náhodnost výběru členů obou skupin. Existují ale i studie nerandomizované – ne vždy je totiž náhodnost vzorku možná či etická, což pak způsobuje bias. Mnoho studií např. bylo na mužích, protože ženy a zejména premenopauzální ženy, které mají menstruaci, nebyly ideálním subjektem aspoň z pohledu výzkumníků a špatně se normalizovaly.
• užití slepého pokusu – jednou, dvakrát i třikrát zaslepený pokus; v posledním případě ani účastníci, ani experimentátoři, ani zpracovatelé výsledků, neznají, kdo patří do jaké skupiny (opět: je někdy obtížné či neetické výsledky zaslepit)

Adam nás upozornil na fakt, že klinické studie často obsahují mnoho nutného balastu, který tam v některých fázích musí být (např. v prvním kole schvalování léku nelze testovat na těhotných a zároveň je potřeba tam uvést, že jej pro těhotné – zatím – nelze podat atd.).

Někdy se namísto kontrolní skupiny použije slabší nástroj, tzv. „historická kontrola” (například, jak se daný pacient cítil/měl někdy v historii před danou intervencí – lékem). Přestože je tento design citlivý na bias (a zejména např. regresi k průměru), tak má v určitých místech své opodstatnění.
Příkladem budiž například léčba spinální svalové atrofie – jedná se o tak málo pacientů, že v celé ČR by nebyl dostatečný počet na nějakou studii s kontrolním ramenem. Navíc jim v kontrole není moc co dát – a nebylo by to etické. Právě lék v jednoramenné „nekontrolované” studii ukázal, že 20 z 22 dětí, kterým byl lék (Zolgensma) podán, bylo naživu a bez potřeby ventilátoru po 14 měsících, zatímco v historické literatuře by to byla pouze cca třetina, co by si takhle vedla. (díky Lukáši Duškovi za toto doplnění).

4. Metaanalýzy

Jak již název napovídá, jde o „studii studií“. Pokud je metaanalýza postavená na kvalitních vstupech, je to jedna z nejlepších metod poznání a v pomyslné pyramidě stojí na vrcholu. Poctivá analýza skvělých randomizovaných kontrolních studií dá skvělou metaanalýzu. Naopak, jsou-li na vstupu špatná data, výstupem je odpad (a na pyramidě by měla být ještě níže, než studie, které analyzuje).

5. Molekulární/fyzikální (či biologický) mechanismus

Adam s ohledem na svou specializaci vyslovil svůj názor, že ještě výše než dobrá metanalýza je podle něj potvrzení principů pomocí znalosti elementárních a atomárních pochodů.

Na to Lukáš Dušek, člen klubu a farmaceut, dodatečně namítl: „Existuje řada jevů/léků, které prokazatelně 'fungují' (zlepšují zdraví atd.) a přitom mechanismus není znám (nebo dlouho nebyl). Příkladem budiž na dlouhou dobu otázka, jak paralen a aspirin snižují teplotu a bolest. A naopak, existuje řada mechanismů, kolem kterých se napsaly stohy hypotéz, ale buď v reálu nefungují, nebo zatím stále ještě nejsme schopni je uvést do praxe (léčba/zpomalení Alzheimerovy choroby a amyloidová teorie a budiž hlavním příkladem).“

Poznámka: existuje statistický přístup, tzv. kauzální inference a jeho zvláštní případ mendelovská randomizace, které umožňují využít počítačových modelů a korelačních dat k nalezení kauzality v datech observačního charakteru. (Tato habilitační práce pokrývá i českou terminologii v oblasti).

Jaká je hierarchie kvality důkazů?

Pohlédněte na legendární pyramidu:

Všimněte si, že „názor experta“ či jednotlivé případy (case studies) jsou úplně dole, nelze je považovat za důkaz. Sklon ke zkreslení je tam maximální.

Kvalita se zvyšuje postupem nahoru přes observační studie, experimentální studie, přes kritické přijetí vědeckou komunitou, systematické recenze až po metaanalýzy.

Člověka bohužel nepřekvapí, že se v době covidu nikdo z vládních představitelů nepokusil tuto skvěle ilustrativní pyramidu zjednodušit a vysvětlit veřejnosti, podobně jako nás média a učebnice častují „pyramidou zdravé výživy“ či „pyramidou potřeb“. Tahle by byla myslím o dost užitečnější.

⚠️ 14 tipů, na co se zaměřit a na co di dávat pozor při nahlížení do studií (a kde je hledat)

1. Kdo studii platí? Jak je pravděpodobný nežádoucí konflikt zájmů?

Jak vysvětlil Adam, fakt, že má studie přiznaného sponzora, není apriorně špatně – někdo ty studie zaplatit musí.

Vždy je dobré se podívat na možný konflikt zájmů, a v případě pochybností se víc zaměřit na poskytnutou kvalitu důkazů, metodiku, velikost vzorku. Klást si otázky, co ve studii chybí.

Sponzor spojený s pozitivním výsledkem studie je varovný signál u metastudií; u klinických studií to většinou ani jinak nejde.

2. Jak by zkontruován vzorek?

Je potřeba zkontrolovat, jak byl vybrán vzorek (tedy např. zkoumaná experimentální i kontrolní skupina, vzorek dat atd.). Velmi často jsou výsledky zatížené výběrovým zkreslením (selection bias), kdy výzkumníci vybírají systematicky nereprezenativní vzorek. (díky Jan Švancara za doplnění)

3. Prošla studie recenzním řízením?

Za velmi důležitý ukazatel kvality studie lze považovat, pokud prošla recenzním řízením (peer-to-peer review), a také v jak kvalitním časopise byla otištěna (není to 100 % záruka, ale dost to vypovídá).

V období Covidu byl (zejména zpočátku) odborný svět i média vděčná za jakékoli předběžné a a nerecenzované výsledky – což bylo pochopitelné, protože šlo o bezprecedentní situaci a trpělo či umíralo hodně lidí, ekonomiky se hroutily. Nepříznivým vedlejším efektem citování výsledků nerecenzovaných studií však byl obrovský nárůst spekulací, strašení i falešného uklidňování. To vše v důsledku nekvalitních dat na vstupu a jejich následného zesílení.

4. Co se píše v hlavní výzkumné části?

Adam se proto vždy přednostně a nejpodrobněji dívá na tvrdá data (tabulky, grafy, čísla – a jejich zdroje) a pokusí se udělat vlastní závěr, než nahlédne na diskuzi a závěry, které mohou často přehánět (což nám na konci callu ukázal při rozboru vadně interpretované studie z doby covidu – parádní část!).

5. Měla studie apriori registrovaný protokol?

Poměrně hodně důležitý prvek je ten, jestli daná studie měla apriori registrovaný protokol:

• apriori – dříve, než se začne samotná studie provádět
• registrovaný – ideálně na nějakém portálu jako třeba clinical https://trials.gov nebo https://www.clinicaltrialsregister.eu/ctr-search/search
• protokol – neboli seznam všech věcí, které se se studií budou dělat: definice populace, která se zahrne, léků/intervencí, které se budou dělat a parametrů, které se budou vyhodnocovat. V rámci protokolu bývá také stanoven primární parametr (ten nejhlavnější) a webovky umí trackovat, jestli v rámci verzí protokolu se „náhodou” nezměnil (to, kdyby vám třeba nevycházel a vy byste stejně chtěli aby studie takříkajíc vyšla).

Pro některé typy studií je schválení takového protokolu povinné – ve zkratce jsou to studie na lidech (klinické), které mají nějakou intervenci (=nejsou observační a děje se tam něco, co by jinak lidi bez té samotné studie sami nepodstupovali). V některých oblastech je již docela dobrá praxe mít apriori protokol, i když není povinný (dělá se třeba pro některé meta-analýzy, ale nemusí tomu tak být). (za doplnění díky Lukáši Duškovi)

6. Byl naplněn primární cíl studie?

Je potřeba zkontrolovat, zda byl splněn primární cíl studie, protože často jsou zveřejněny i výsledky výzkumů, jejichž primární cíl naplněn nebyl, ale naplnily se podružné cíle – na tyto druhotné cíle ale není celá studie nastavena, takže nejsou relevantní a mohou být úplně zavádějící.

Závěry studie sice mohou být i tak zajímavé, ale je potřeba je brát s rezervou a jako vedlejší, nerelevantní výsledky, dokud nebudou prokázány řádnou studií.