De Piramide van Bewijskracht omvat alle type wetenschappelijk onderzoek gerangschikt op bewijskracht van de resultaten. Wetenschappelijk onderzoek is verdeeld in categorieën: meningen van experts, case reports, in vitro, dierenonderzoek, observationeel, experimenteel, systematische reviews en meta-analyses. Deze categorieën zijn een afspiegeling van de wijze waarop het bewijs tot stand is gekomen en de kracht van het bewijs bepaald de plek in de piramide.
Leestijd: 9 min Luisteren: binnenkort
Dit is een vervolg op 'Wat is de Piramide van bewijskracht? (Deel 1)'.
De Piramide van Bewijskracht is niet absoluut in het bepalen van de bewijskracht van wetenschappelijk onderzoek. De kwaliteit van een onderzoek is net zo belangrijk. In deel 2 van ‘Wat is Piramide van Bewijskracht?’ ga ik dieper in op experimenteel onderzoek, (narratieve versus systematische) reviews, meta-analyses en de kwaliteit van wetenschappelijk onderzoek.
Inhoudsopgave Wat is experimenteel onderzoek? Wat is een review? Wat is een meta-analyse? Kwaliteit en bewijskracht Shit in Shit out
Wat is experimenteel onderzoek?
In experimenteel onderzoek controleren onderzoekers de omgeving en gedrag van deelnemers van het onderzoek zoveel mogelijk. Daarbij veranderen zij bewust één factor in de interventiegroep tegenover de controlegroep waarbij ze andere factoren, die mogelijk van invloed zijn, zoveel mogelijk hetzelfde houden. Hierdoor kan er gekeken worden of de factor die veranderd is wel of niet invloed heeft op de uitkomst van het onderzoek.
Gerandomiseerde gecontroleerde studies (Randomized controlled trials (RCTs)) zijn de gouden standaard in wetenschap. RCTs zijn experimenteel van aard en hebben strenge voorwaarden waar ze aan moeten (en kunnen) voldoen. Hierdoor kan er een causaal verband tussen de interventie (bijvoorbeeld gezonde voeding of individuele voedingstoffen) en de uitkomst (risicofactoren van ziekten of ziekten zelf) van het onderzoek onderzocht worden. De voorwaarden aan RCTs bevatten verschillende aspecten die de uiteindelijke sterkte van het bewijskracht van een RCT bepaalt:
1. Randomisatie: de plaatsing van mensen in de verschillende groepen binnen het onderzoek gebeurt op willekeur. Hierdoor heeft iedereen evenveel kans om in de controle of interventie groep te komen. Hierdoor zijn zoveel mogelijk factoren (bijvoorbeeld geslacht of leefstijl gerelateerde factoren) gelijk verdeeld over beide groepen en ontstaat er geen bias.
2. Dubbel blind: door het blinderen van zowel onderzoeker als participant van het onderzoek weten beide spelers in de studie niet wie in welke groep zit. Hierdoor kunnen onderzoekers participanten niet anders gaan behandelen op basis van de groep waar ze in zitten en zo gaan deelnemers zich niet anders gedragen door kennis over in welke groep ze zitten. Dit is natuurlijk een hele lastige voorwaarden met voedingswetenschap: wanneer mensen een bepaald eetpatroon moeten aanhouden of voedingsmiddel moeten eten kun je de deelnemers moeilijk blinderen.
3. Cross-over: tijdens een cross-over studie verplaatsen mensen van controle groep naar interventie groep en vice versa. Zo wordt het effect van de interventie niet bepaald op basis van een vergelijking tussen groepen met verschillende mensen, maar zijn het dezelfde mensen die zowel in de controle groep als interventie groep hebben gezeten. Hierdoor is het effect van de interventie gebaseerd op de resultaten binnen in dezelfde persoon. Hierdoor kan de invloed van factoren zoals genetische aanleg uitgesloten worden.
4. Multicenter: dit is wanneer het onderzoek op meerdere plekken (bijvoorbeeld ziekenhuizen) uitgevoerd wordt. Hierdoor worden mensen in verschillende steden of landen gerekruteerd en kan er gecheckt worden of dat invloed heeft op het effect van de interventie. Zo kan bijvoorbeeld het ene ziekenhuis in een armer deel van een stad/land staan vergeleken met het andere ziekenhuis, hierdoor wordt ook het effect van de omgeving van het onderzoek zelf meegenomen worden.
5. Placebo: de controle groep krijgt hetzelfde toegediend als de interventie groep, bijvoorbeeld een pil. Echter in de pil van de controle groep zit geen werkzame stof. Placebo is een ongelofelijk sterk effect wat ervoor kan zorgen dat mensen effecten voelen van een pil ondanks dat er geen werkzame stof in zit. Alleen het geloven erin kan al voor effecten zorgen. Zo worden er zelfs nep-operaties uitgevoerd waarbij iemand niet daadwerkelijk geopereerd wordt, maar toch positieve effecten ervaart door de nep-operatie. Door een placebo aan de controle groep te geven kan het effect van de interventie niet toegeschreven worden aan placebo, wanneer placebo in de controle groep niet het zelfde effect laat zien. Ook deze is lastig met voedingswetenschap: er zit altijd een werkzame stof in de placebo.
Experimenteel onderzoek voorbeeld
Zo hebben onderzoekers aan Wageningen Universiteit het gerandomiseerde dubbel blind multicenter placebo gecontroleerde studie ‘SOFA’ opgezet. In dit onderzoek verdeelde de onderzoekers bijna 600 mensen willekeurig over twee groepen (gerandomiseerd): interventie groep kreeg dagelijks 2 gram visolie (interventie) en de controle groep kreeg een pil met 2 gram zonnebloemolie (placebo, maar ook zonnebloemolie bevat werkzame stoffen zoals vetten, kcal en vitamine). De pillen waren niet van elkaar te onderscheiden en ook de onderzoekers wisten niet wie in welke groep zat (dubbel blind). De mensen werden gerekruteerd uit verschillende cardiologie klinieken verspreidt over Europa (multicenter). In totaal werden de mensen 12 maanden lang gevolgd om te kijken of er een verschil was in hart- en vaatziekten en sterfgevallen tussen de twee groepen.
Er zitten veel haken en ogen aan RCTs gericht op voeding en gezondheid. De vraag is of deze gouden standaard wel zo goud is wanneer het over voeding gaat. Hier kom ik later op terug in een ander deel van deze serie.
Wat is een review?
Een review is een literatuurstudie (secundair onderzoek ) die een overzicht geeft van het Lichaam van Bewijs over een specifiek onderwerp. De literatuur wordt samengevat en in sommige gevallen ook beoordeelt.
Grof gezegd zijn er twee verschillende soorten reviews: narratief en systematisch. Een narratieve review geeft een overzicht van de huidige literatuur over een bepaald onderwerp. Een narratieve review bevat meestal een verhaallijn waarbij meerdere aspecten over een onderwerp worden toegelicht zoals de geschiedenis, het mechanisme en onderzoek met dieren en mensen. De auteurs van de review geven niet aan hoe zij bij de literatuur zijn gekomen die zij gebruiken of wat de kwaliteit van de literatuur is. Een systematische review doet dit wel. In een systematische review zijn de auteurs transparant over de methode (zoals zoekwoorden, in- en exclusie criteria en zoekstrategie) die zij gebruikt hebben voor het zoeken en beoordelen van de literatuur, waarna de conclusie op basis van literatuur in context wordt geplaatst. Dit maakt de bewijskracht van een systematische review veel sterker. Dit komt vooral omdat je kunt volgen hoe de auteurs tot hun bevindingen zijn gekomen. Bij een narratieve review heb je geen idee welke studies weg gelaten zijn en waarom waardoor het risico op kersen plukken groot is.
Narratieve review voorbeeld
Een voorbeeld van een narratieve review is een review van JJ, DiNicolantonio et al. waarin er gekeken wordt naar de relatie tussen verzadigd vet, suiker en coronaire hart ziekten. De auteurs gebruiken wetenschappelijk onderzoek om te vertellen over de achtergrond informatie, relaties tussen verzadigd vet en coronaire hartziekten, suiker en coronaire hartziekten, historisch perspectief en sluiten af met een conclusie. Ze vertellen echter niet hoe zij gezocht hebben naar literatuur, welke criteria er gebruikt zijn voor het includeren en excluderen van studies en hoe ze de literatuur beoordeeld hebben op kwaliteit. Dus hoe weet je dan of ze studies hebben weggelaten die tegen het narratief in gaan? Hoe weet je of de studies die meegenomen zijn van goede kwaliteit zijn? Je hebt geen idee -- en dat is een probleem.
Systematische review voorbeeld
Een voorbeeld van een systematische review is een review van L, Hooper et al. waarin gekeken wordt naar de relatie tussen vetten en hart- en vaatziekten. Ze beschrijven precies waar en hoe ze gezocht hebben, hoe de studies beoordeeld zijn, geven een duidelijk beschrijving van de studies, de beperkingen die komen kijken bij de studies en welke conclusie zij eruit trekken.
De conclusies van de twee reviews zijn tegenstrijdig. Echter de review van Hooper is de enige bij wie je kunt checken hoe de conclusie tot stand is gekomen. Je zou het zelfs zelf kunnen herhalen om te kijken of je hetzelfde resultaat krijgt. Daarmee is de bewijskracht van Hooper sterker dan die van DiNicolantonio. Precies om deze reden plaats ik narratieve reviews liever in de categorie ‘Mening van een expert’, zoals ik beschreef in deel 1 van de Piramide van Bewijskracht.
Wat is een meta-analyse?
Een meta-analyse voegt de uitkomsten van primair onderzoek samen en voert een nieuwe analyse uit met een nieuw overkoepelend resultaat als gevolg.
Zo heeft Hooper samen met collega’s, boven op de systematische review, ook een meta-analyse uitgevoerd. Meta-analyses gaan nog een stap verder dan reviews en vatten niet alleen de literatuur samen maar gebruiken de uitkomsten van de geïncludeerd studies om een nieuwe analyse uit te voeren. Daarmee wordt er een nieuwe uitkomst geproduceerd. Hiermee kunnen (kleinere) studies samengevoegd worden om meer kracht te produceren. Daarnaast kan per studie bepaalt worden in hoeverre het resultaat meetelt in de analyse, zo kunnen studies van lagere kwaliteit minder sterk meetellen in de analyse. Zo voegt Hooper alle RCTs samen die gekeken hebben naar het verminderen van verzadigd vet inname versus een eetpatroon zonder verandering en het effect op sterfte en hart- en vaatziekte. Alle uitkomsten van de studies worden samengevoegd in de analyse en geeft een overkoepelend resultaat.
Kwaliteit en bewijskracht
De Piramide van Bewijskracht is oorspronkelijk voor klinisch onderzoek gericht op medicatie ontwikkeld. Zoals ik al eerder aangaf kun je onderzoek naar voeding en medicatie niet 1-op-1 met elkaar vergelijken. Het effect van voeding op onze gezondheid is het gevolg van jarenlange blootstelling (chronisch versus acuut). Daarnaast hebben andere leefstijl gerelateerde factoren ook effect op dezelfde uitkomsten. Echter één van de grootste verschillen tussen voeding en medicatie is dat voeding uit tienduizenden bioactieve stoffen bestaat, die allemaal effect op onze gezondheid en op elkaar kunnen hebben (dit is nog grijs gebied). Plus dat ze ook allemaal standaard aanwezig zijn in ons lichaam, omdat we dagelijks eten. Medicatie gaat vaak om één of enkele werkzame stoffen die vaak niet of in kleine hoeveelheden aanwezig zijn in ons lichaam. Dit maakt dat voedingswetenschap ongelofelijk complex is en de Piramide van Bewijskracht niet genoeg is om studies te beoordelen: de kwaliteit van een onderzoek kan veel belangrijker zijn dan de plek op de piramide. Een lange termijn prospectief observationeel onderzoek kan een veel duidelijker beeld geven van het effect van voeding op onze gezondheid dan een korte termijn RCT. Daarom beoordeelt een systematische review de studies die het samenvat op kwaliteit en opzet, wat cruciaal is om de bewijskracht te kunnen beoordelen.
Het beoordelen van wetenschappelijk onderzoek wordt gedaan door methoden die hiervoor ontwikkelt zijn. Een belangrijk aspect hiervan is het kijken naar risico op bias. Er zijn verschillende methoden voor observationeel en experimenteel onderzoek, maar ze kijken allemaal naar de methodologische opzet van het onderzoek en beoordelen dit op kwaliteit. De beoordeling op kwaliteit richt zich op de invloed van fout of gebreken (die zowel met opzet, per ongeluk of onvermijdelijk kunnen zijn) in de opzet die ervoor kunnen zorgen dat de resultaten van het onderzoek beïnvloed (bias) worden. Maar belangrijke aspecten waar een onderzoek op beoordeelt kan worden zijn ook of er een poweranalyse is gedaan, hoe groot de groep deelnemers is en hoe representatief zijn de deelnemers voor de grotere populatie waar ze uit genomen zijn. De auteurs van een onderzoek zullen altijd zelf deze gebreken meenemen in hun discussie om de resultaten in context te plaatsen, maar auteurs zullen oppassen om hun eigen onderzoek de grond in te werken. Daarom moet je als lezer altijd bewust zijn van de mogelijke gebreken en beoordelen schrijvers van een systematische review elk onderzoek dat ze meenemen op kwaliteit. Later in deze serie zal ik dieper in gaan op de kwaliteit van studies.
Shit in Shit out
Ondanks dat reviews en meta-analyses boven aan in de piramide staan, zijn ze niet altijd van een goede bewijskracht. De bewijskracht van een review en meta-analyse hangt namelijk af van de studies die het bevat. Shit in is shit out. Een review en meta-analyse op basis van laag kwaliteit onderzoek heeft een lage bewijskracht dat niet opeens naar de maan gaat omdat de methoden boven aan de piramide staan. Ookal wordt het soms wel zo gebracht. Daarom moet je altijd kritisch naar de inhoud kijken, en het liefst doen onderzoekers dat zelf door een systematische review te schrijven. Dit is alleen niet altijd het geval.
Het bepalen van de bewijskracht is dus niet zo simpel als de piramide van bewijskracht laat denken. Er zijn dan ook meerdere suggesties gedaan om de piramide aan te passen. Door bijvoorbeeld de onderdelen van de piramide meer golfend te maken. Hierdoor maak je duidelijk dat op basis van de kwaliteit van het onderzoeksopzet een observationeel onderzoek een hogere bewijskracht kan hebben dan een experimenteel onderzoek. Daarnaast is er voorgesteld om reviews en meta-analyse niet op de top van de piramide te zetten, maar als een vergrootglas te gebruiken. Hierdoor wordt duidelijk dat reviews en de meta-analyse instrumenten zijn om resultaten van andere onderzoeken te samenvatten, beoordelen en toepasbaar te maken. Daarmee wordt er geen impliciete kwaliteit aan deze instrumenten gegeven, maar zijn zij zo sterk als de studies die erin aangehaald en beoordeelt worden. Shit in shit out.
Hypothese
Die hele piramide heeft het uiteindelijke doel om een hypothese te bevestigen. Oftewel, een significant resultaat vinden. Meer over hypothese en significantie in het volgende artikel ‘Wat is een hypothese?'.
Wat vond je ervan? Laat het aan mij weten in de vorm van commentaar of een email: info@coenfirmationbias.nl
Ben je een claim tegen gekomen op internet of social media en ben je benieuwd naar een beoordeling van de onderbouwing, laat het mij weten en ik duik erin!
Wil je mij en mijn voedingswetenschapavontuur steunen? Deel mijn artikelen of de podcast op jouw socials!
Alles wat je op deze website leest is mijn mening gebaseerd op kennis en ervaring. De kans is groot dat ik wel eens iets over het hoofd zie, of dat iets beter kan. Ik hoor het graag! Wetenschap doen we samen.
Begrippen
Lichaam van bewijs: Alle resultaten van alle (soorten) studies over een bepaald onderwerp samen. Wanneer we een conclusie willen trekken over het effect van voeding op onze gezondheid moet het bewijs uit alle categorieën uit de Piramide van Bewijskracht samengevoegd worden tot één verhaal. Oftewel het lichaam van bewijs.
Kersen plukken: Wanneer studies of resultaten van studies selectief en subjectief gekozen worden om een claim te onderbouwen spreken we van kersen plukken (cherry picking).