Jaká je skutečná chybovost hladiny významnosti p < 0,05 a proč nepoužívat označení statisticky významný/nevýznamný rozdíl
Abstrakt
Hodnota p poskytuje pouze omezené in formace s vysokou chybovostí v závislosti na předchozí pravděpodobnosti hypotézy. Například hodnota p mezi 0,03 až 0,05 sama o sobě nabízí pouze slabý důkaz proti nulové hypotéze.
Podobně ale ani relativně vysoká hodnota p nemusí znamenat důkaz ve prospěch nulové hypotézy; z těchto důvodů by analýza dat neměla končit výpočtem p hodnoty, pokud jsou vhodné a proveditelné jiné přístupy (1). 1. Hodnota p je důležitá. Čím nižší je hodnota p, tím nižší je chybovost, hodnota p blízko 0,05 má chybovost 25-50 %.
Hodnota p = 0,0027 odpovídá chybovosti 4,5 %, což se blíží míře, kterou mnozí mylně připisují hodnotě p = 0,05. Nižší hodnota p znamená silnější důkaz pro odmítnutí nulové hypotézy.
Hodnota p poblíž 0,05 naznačuje jen to, že výsledek stojí za další pohled, ale teprve, když se dostane k 0,001, bude šance na přijatelnou míru falešné pozitivity. 2. Replikace výsledků.
Původní Fischerova myšlenka byla, že hodnoty p jsou jen jednou částí procesu, který zahrnuje experimentování, statistickou analýzu a replikaci pro validní vědecké závěry. Je nepravděpodobné, že by jediná studie, zejména pokud se hodnota p blíží 0,05, snížila míru falešné pozitivity na přijatelnou úroveň.
Opakované studie vedou k dostatečně nízké chybovosti. Při hodnocení replikačních studií je však nezbytné zahrnout jak významné, tak nevýznamné studie, a ne vybrat pouze významné studie.
Přesvěd čivé prokázání hypotézy jedinou studií je velmi nepravděpodobné. 3. Na velikosti efektu záleží.
Je třeba se zaměřit nejen na hodnotu p, ale pozornost musí být věnována i velikosti efektu. Jen proto, že je efekt statisticky významný, nemusí být smysluplný v reálném světě.
Hodnota p ani neukazuje přesnost odhadované velikosti efektu. 4. Na alternativní hypotéze záleží.
Máme tendenci si myslet, že ekvivalentní hodnoty p z různých studií poskytují stejnou podporu pro alternativní hypotézu. Výzkum ukazuje, že věrohodnost alternativní hypotézy výrazně ovlivňuje míru falešně pozitivních výsledků.
Například vysoce věrohodná alternativní hypotéza a hodnota p = 0,05 jsou spojeny s chybovostí p kolem 12 %, zatímco nepravděpodobná alternativa je spojena s mírou chybovosti kolem 76 %. 5. Odborná znalost je zásadní.
Vědecký úsudek o věrohodnosti hypotéz, výsledcích podobných studií, navrhovaných mechanismech, správném experimentálním designu jsou nepostradatelné pro transformaci statistiky z čísel na smysluplná a důvěryhodná zjištění (13, 14, 15).