Egyszerűen hagyja figyelmen kívül!
A csokoládé segít a fogyásban? A vörösbor gyógyítja a rákot? Minden nap értelmetlen tanulmányokat tesznek közzé. Mindig három fontos kérdést kell feltennünk magunknak.
A csokoládé karcsúvá tesz! Ki gondolta volna ezt? De a számok egyértelműek: a tesztalanyok három hétig alacsony szénhidráttartalmú étrendet kaptak - az egyik csoportnak azt a feladatot is megadták, hogy egy csokoládét fogyasszon naponta. Íme: a csokoládécsoport nagyobb súlyt fogyott, mint a csokoládémentes csoport. A csokoládé dicsőséges diadala és egy nagyszerű történet, amely világszerte a címlapokra került.
Amikor ilyen tanulmányi eredményeket mutatnak be a tudományban, a legelső kérdés a következő: statisztikailag szignifikáns az eredmény? Két csoport között mindig vannak különbségek - az egyiknek átlagosan valamivel magasabb lesz a vérnyomása, az egyik átlagosan nagyobb cipőt visel, az egyik nagyobb súlyt fog fogyni, mint a másik. Ez elkerülhetetlen. A kérdés az, hogy ezek a különbségek puszta véletlenszerűséggel magyarázhatók-e, vagy valódi, oksági összefüggés eredményei.
Ez statisztikailag kiszámolható - akkor beszélünk „statisztikai szignifikanciáról”, ha alacsony annak a valószínűsége, hogy a két csoport között ilyen véletlenszerűen pusztán véletlenül keletkezik, ok-okozati ok nélkül.
A csokoládé-vizsgálat esetében egyértelmű volt a helyzet: matematikailag az eredmények statisztikailag szignifikánsak voltak. Tehát ez matematikailag bizonyítja, hogy a csokoládé segít a fogyásban? Nem, sokáig nem!
Jelentőség: számított hülyeség
A karcsúsító csokoládé története tiszta ostobaság volt. Olyan újságírók által végzett médiakísérlet volt, amely fel akarta hívni a figyelmet a gyenge tanulmányok rossz ismertetésének problémájára. Szándékosan végeztek egy nyomorúságos vizsgálatot, túl kevés résztvevővel és nevetségesen rövid megfigyelési idővel annak eldöntésére, hogy a média reprodukálja-e ezt a megkérdőjelezhetetlen kérdést.
A paraméterek teljes skáláját mértük - nemcsak a súlyt, hanem a különféle vérértékeket, az általános közérzetet és még néhányat. Bármelyik értéknél annak a valószínűsége, hogy puszta egybeesés alapján nagy különbséget találunk a két csoport között, meglehetősen kicsi, de ha elegendő számú értéket vizsgálunk, akkor végül olyan eltérést találunk, amely statisztikailag szignifikánsnak tűnik. Ezután lelkesen beszámolhat róla, minden másról hallgat.
Jó tanulmányok: Őszinte vagy becsapott?
Ha egy eredmény statisztikailag szignifikáns, a tanulmány csak a legelső akadályt oldotta meg. Fel kell tenni a kérdést is: jól sikerült-e a tanulmány? Tényleg azt méri, amit állítólag mérni kell - vagy csak olyan eredmény, amely véletlenül tetszett a szerzőknek?
Az ilyen piszkos trükkök meglehetősen gyakoriak. Tegyük fel, hogy be akarom bizonyítani, hogy a vörösbor csökkenti a rák kockázatát. Két csoportom van - egy vörösborivó csoport és egy, amelyik nem iszik vörösbort. Bosszantó módon nem találok statisztikailag szignifikáns különbséget a rák gyakoriságában. Az adatokat azonban különböző ráktípusokra bonthatom - a leukémiától a gyomorrákon át a tüdőrákig. Aztán hirtelen sokkal több lehetőségem nyílik véletlenszerűen találni különbségeket a két csoport között. Ha elég hosszú ideig keresgélek, garantáltan találok olyan rákot, amely sokkal ritkábban fordul elő a vörösbor csoportban. (És valószínűleg egy másik, aki gyakrabban jelenik meg ebben a csoportban - de ezt nem kell feltüntetnem a sajtóközleményemben.)
Ezenkívül a statisztikai összefüggés nem azt jelenti, hogy az egyik a másik oka. Talán a gazdagabb emberek több vörösbort isznak, és ugyanakkor jobb egészségügyi ellátást engedhetnek meg maguknak? Az ilyen zavaró tényezőket egy jó tanulmány során figyelembe kell venni.
Klinikai relevancia: Van-e valami különbség?
De még akkor is, ha egy tanulmány statisztikai szempontból szignifikáns eredményeket ad és jól sikerült, mégis jobb lehet figyelmen kívül hagyni. Van egy harmadik kérdés, amelyet fel kell tenni - és amelyet gyakran elfelejtenek: klinikailag releváns-e az eredmény? Elég nagy a hatás, amelyen érdemes egyáltalán gondolkodni?
Tegyük fel, hogy olyan gyógyszert fejlesztünk ki, amely lerövidíti az influenzás fertőzés időtartamát - átlagosan tizennégy napról tizenhárom napra és tizenhat órára. Tegyük fel, hogy tanulmányunk olyan jó, hogy ezt a hatást minden kétséget kizáróan be tudjuk bizonyítani, pedig olyan kicsi. Vajon az orvosok lelkesek lennének ennek a gyógyszernek az ajánlásával? Valószínűleg nem. A betegek nem igazán veszik észre a hatást - még akkor sem, ha ez valóban fennáll.
Gyakran beleesünk ebbe a csapdába - nemcsak pozitív hatások esetén, hanem még gyakrabban, amikor a pánik veszélyekről számol be: A hasábburgonyában lévő akrilamid egészségtelen? Igen, egy kicsit. De ez releváns? Félnie kell attól, hogy ne aggódjon a naponta elszívott tizennégy cigaretta miatt? A dezodorban lévő alumíniumsók növelik-e a rák kockázatát? Valószínűleg nem - de még ha a figyelmeztető hangoknak is igazuk lenne, a hatás olyan kicsi lenne, hogy naponta száz másik döntés, amelyet naponta hozunk, nagyobb hatással lenne egészségünkre. A zsírkréták rákot okoznak? Igen, talán ha sokat eszel belőlük. De a mindennapi élet minden ésszerűen reális forgatókönyvében ez egyáltalán nem számít.
A statisztika önmagában nem elég. Az, hogy valahol az újságban „statisztikailag szignifikáns” áll, nem jelenti azt, hogy lenyűgöznünk kellene. Mindig azt is figyelembe kell vennünk, hogy mekkora a hatás, átfedik-e más hatások, hogyan függ össze más hatásokkal. Csak ezután dönthetünk el attól, hogy mitől kell tartanunk, és mit hagyhatunk figyelmen kívül.
Florian Aigner fizikus és tudós. Nemcsak a természettudomány izgalmas témáival foglalkozik, hanem gyakran az ezoterikával és a babonákkal is, amelyek annyira szeretik magukat tudománynak álcázni. Minden második kedden ír a tudományról, a hülyeségekről és a futurezone e két területe közötti különbségről.