(Statistische) Significantie, ook wel P(robability)-waarde, staat voor de kans dat het gevonden resultaat gevonden is terwijl de nulhypothese (er is geen effect, verband of verschil) niet verworpen kan worden. Oftewel, significantie staat voor kans dat het gevonden resultaat gebaseerd is op toeval en wanneer deze kans klein genoeg is, dan kan de nulhypothese verworpen en de alternatieve hypothese aangenomen worden.
Dit is een vervolg op 'Wat is een hypothese?'
Wetenschap gaat allemaal over het leveren van bewijs voor het wel of niet verwerpen van de nulhypothese (er is geen effect, verband of verschil) en het aannemen van de alternatieve hypothese (er is wel een effect, verband of verschil).
P-waarde berekenen
Om te beslissen of we de nulhypothese wel of niet verwerpen wordt de statistische significantie van het resultaat berekend. Statistische significantie wordt ook wel de P(robability)-waarde genoemd. De significantie wordt op basis van twee principes door een statistisch programma berekend:
1. De verwachte waarde wordt berekend. Oftewel, als het resultaat puur op toeval berust zou zijn, wat is dan verwachte waarde? En hoe groot zou de spreiding daar omheen zijn? Dit zijn de verwachte waarde.
2. Daarna wordt er berekend hoe ver de gevonden resultaten afwijken van de verwachte waarde.
Hoe verder de gevonden resultaten afwijken van de verwachte waarde, des te kleiner is de p-waarde, des te groter is de kans dat de nulhypothese verworpen kan worden en de alternatieve hypothese aangenomen kan worden. Oftewel, het gevonden resultaat is geen toeval en is daarmee significant.
Wetenschap is onzekerheid en kansen
Dit legt een fundamenteel principe van wetenschap vast: we weten nooit iets 100% zeker. Het gaat altijd om kansen en onzekerheden. Wetenschappers hebben met elkaar besloten dat we 5% onzekerheid accepteren. Wanneer de p-waarde (kans op toeval) kleiner is dan 5% (P<0.05) zeggen we: de kan is groot genoeg (>0.95) om te stellen dat er een werkelijk effect, verband of verschil is, dus kan de nulhypothese verworpen en de alternatieve hypothese aangenomen worden. Dit betekent dat er 5% kans is dat je de nulhypothese verwerpt, terwijl die eigenlijk niet verworpen kan worden. Oftewel, het bewijs laat zien dat iemand schuldig is (alternatieve hypothese aannemen) terwijl dat niet zo is. Dit noemen we een Type 1 fout: we denken dat er een verband, verschil of effect is terwijl dat niet zo is. Wanneer we nulhypothese niet verwerpen terwijl dat wel nodig was maken we een Type 2 fout.
Voorbeeld
Laten we een hypothese als voorbeeld pakken.
‘Mensen die een vitamine C pil innemen zijn minder vaak verkouden dan mensen die dat niet doen.’
Stel je hebt 200 mensen en maakt twee groepen: een groep neemt elke dag een vitamine C pil (100) en de andere groep niet (100). Vervolgens worden de mensen 5 jaar lang gevolgd en elk jaar wordt er gemeten hoeveel mensen er verkouden waren.
Dan kijken we eerst naar het de verwachte waarde wanneer het op toeval berust zou zijn. Laten we aannemen dat zo’n 25% van de mensen jaarlijks verkouden wordt. Dan betekent dit dat we verwachten dat in beide groepen jaarlijks 25 mensen verkouden zouden worden. Maar we kunnen verwachten dat hier een natuurlijke spreiding in zit: een jaar worden er 20 mensen en een ander jaar 15 mensen verkouden. Toch worden er per jaar gemiddeld 25 mensen verkouden. Het resultaat:
| Vitamine C | Controle |
Verkouden | 25 | 25 |
Niet verkouden | 75 | 75 |
Dit kun je zien als de nulhypothese: er is geen verschil tussen de vitamine C en controle groep.
Maar wanneer we het onderzoek uitvoeren vinden we het volgende:
| Vitamine C | Control |
Verkouden | 15 | 25 |
Niet verkouden | 85 | 75 |
Nu zien we zeker een verschil tussen de twee groepen. Echter, om te berekenen of dit een significant verschil is kijken we niet alleen naar de verschillen tussen de groepen. We kijken ook naar de verschillen binnen de groepen. (Waren er in de vitamine C groep gemiddeld 15 mensen verkouden, maar sommige jaren ook 35? Dan is er een grote spreiding.)
Om het kort te houden: zijn de verschillen binnen de groepen klein (genoeg) en de verschillen tussen de groepen groot (genoeg) dan zal de P-waarde laag uitkomen (en dus significantie aangeven). We stellen dan dat het verschil (het effect van de vitamine C) niet berust is op toeval.
De nulhypothese kan verworpen worden en de alternatieve hypothese aangenomen.
Naast het berekenen van een significantie waarde, wordt er ook een betrouwbaarheidsinterval berekend. Deze leg ik uit in het volgende ‘Wat is’ artikel.