Wat is significantie?

(Statistische) significantie, ook wel P(robability)-waarde, staat voor de kans dat het gevonden resultaat gevonden is terwijl de nulhypothese (er is geen effect, verband of verschil) niet verworpen kan worden. Oftewel, significantie staat voor de kans dat het gevonden resultaat gebaseerd is op toeval en wanneer deze kans klein genoeg is, dan kan de nulhypothese verworpen en de alternatieve hypothese aangenomen worden.

Dit is een vervolg op 'Wat is een hypothese?'

Wetenschap gaat allemaal over het leveren van bewijs voor het wel of niet verwerpen van de nulhypothese (er is geen effect, verband of verschil) en het aannemen van de alternatieve hypothese (er is wel een effect, verband of verschil).

P-waarde berekenen

Om te beslissen of we de nulhypothese wel of niet verwerpen, wordt de statistische significantie van het resultaat berekend. Statistische significantie wordt ook wel de P(robability)-waarde genoemd. De significantie wordt op basis van twee principes door een statistisch programma berekend:

1. De verwachte waarde wordt berekend. Oftewel, als het resultaat puur op toeval berust zou zijn, wat is dan de verwachte waarde? En hoe groot zou de spreiding daar omheen zijn? Dit zijn de verwachte waarden.

2. Daarna wordt er berekend hoe ver de gevonden resultaten afwijken van de verwachte waarde.

Hoe verder de gevonden resultaten afwijken van de verwachte waarde, des te kleiner is de p-waarde, des te groter is de kans dat de nulhypothese verworpen kan worden en de alternatieve hypothese aangenomen kan worden. Oftewel, het gevonden resultaat is geen toeval en is daarmee significant.

Wetenschap is onzekerheid en kansen

Dit legt een fundamenteel principe van wetenschap vast: we weten nooit iets 100% zeker. Het gaat altijd om kansen en onzekerheden. Wetenschappers hebben met elkaar besloten dat we 5% onzekerheid accepteren. Wanneer de p-waarde (kans op toeval) kleiner is dan 5% (P<0.05) zeggen we: de kans is groot genoeg (>0.95) om te stellen dat er een werkelijk effect, verband of verschil is, dus kan de nulhypothese verworpen en de alternatieve hypothese aangenomen worden. Dit betekent dat er 5% kans is dat je de nulhypothese verwerpt, terwijl die eigenlijk niet verworpen kan worden. Oftewel, het bewijs laat zien dat iemand schuldig is (alternatieve hypothese aannemen) terwijl dat niet zo is. Dit noemen we een Type 1 fout: we denken dat er een verband, verschil of effect is terwijl dat niet zo is. Wanneer we de nulhypothese niet verwerpen terwijl dat wel nodig was, maken we een Type 2 fout.

Voorbeeld

Laten we een hypothese als voorbeeld nemen.

‘Mensen die een vitamine C-pil innemen, zijn minder vaak verkouden dan mensen die dat niet doen.’

Stel je hebt 200 mensen en maakt twee groepen: een groep neemt elke dag een vitamine C-pil (100) en de andere groep niet (100). Vervolgens worden de mensen 5 jaar lang gevolgd en elk jaar wordt er gemeten hoeveel mensen er verkouden waren.

Dan kijken we eerst naar de verwachte waarde wanneer het op toeval berust zou zijn. Laten we aannemen dat zo’n 25% van de mensen jaarlijks verkouden wordt. Dan betekent dit dat we verwachten dat in beide groepen jaarlijks 25 mensen verkouden zouden worden. Maar we kunnen verwachten dat hier een natuurlijke spreiding in zit: het ene jaar worden er 20 mensen en een ander jaar 15 mensen verkouden. Toch worden er per jaar gemiddeld 25 mensen verkouden. Het resultaat:

	Vitamine C	Controle
Verkouden	25	25
Niet verkouden	75	75

Dit kun je zien als de nulhypothese: er is geen verschil tussen de vitamine C en controle groep.

Maar wanneer we het onderzoek uitvoeren vinden we het volgende:

	Vitamine C	Control
Verkouden	15	25
Niet verkouden	85	75

Nu zien we zeker een verschil tussen de twee groepen. Echter, om te berekenen of dit een significant verschil is, kijken we niet alleen naar de verschillen tussen de groepen. We kijken ook naar de verschillen binnen de groepen. (Waren er in de vitamine C-groep gemiddeld 15 mensen verkouden, maar sommige jaren ook 35? Dan is er een grote spreiding.)

Om het kort te houden: zijn de verschillen binnen de groepen klein (genoeg) en de verschillen tussen de groepen groot (genoeg), dan zal de P-waarde laag uitkomen (en dus significantie aangeven). We stellen dan dat het verschil (het effect van de vitamine C) niet berust op toeval.

De nulhypothese kan verworpen worden en de alternatieve hypothese aangenomen.

Betrouwbaarheidsinterval

Een betrouwbaarheidsinterval is een statistische maat die een bereik van waarden biedt waarbinnen we met een bepaalde zekerheid de werkelijke waarde van een parameter in de populatie verwachten te vinden. Het interval geeft niet alleen een schatting van de parameter, maar ook een indicatie van de onzekerheid rond die schatting.

Hoe werkt het?

Bij het berekenen van een betrouwbaarheidsinterval wordt meestal een steekproef van data gebruikt. Op basis van deze steekproef wordt een puntenschatting gemaakt (bijvoorbeeld het gemiddelde) en vervolgens wordt er een marge van fout toegevoegd, die afhangt van de standaardafwijking en de steekproefgrootte. Het resultaat is een interval dat de waarschijnlijkheid aangeeft dat de werkelijke waarde binnen dit bereik ligt.

Betrouwbaarheid

Het betrouwbaarheidsinterval wordt meestal gepresenteerd met een betrouwbaarheidpercentage, zoals 95% of 99%. Een 95% betrouwbaarheidsinterval betekent dat als we dezelfde steekproefprocedure herhaaldelijk zouden uitvoeren, 95% van de berekende intervallen de werkelijke parameterwaarde zou bevatten.

Voorbeeld

Stel dat we het gemiddelde gewicht van een populatie willen schatten en we berekenen een 95% betrouwbaarheidsinterval van 70 kg tot 80 kg. Dit betekent dat we met 95% zekerheid kunnen zeggen dat het werkelijke gemiddelde gewicht van de populatie tussen deze twee waarden ligt.

Conclusie

Een betrouwbaarheidsinterval is een nuttig instrument in de statistiek dat helpt om de onzekerheid van een schatting te kwantificeren. Het biedt niet alleen een schatting, maar ook een context voor de betrouwbaarheid van die schatting.