De Piramide van Bewijskracht omvat alle type wetenschappelijk onderzoek gerangschikt op bewijskracht van de resultaten. Wetenschappelijk onderzoek is verdeeld in categorieën: meningen van experts, case-reports, in vitro, dierenonderzoek, observationeel, experimenteel, systematische reviews en meta-analyses. Deze categorieën zijn een afspiegeling van de wijze waarop het bewijs tot stand is gekomen en de kracht van het bewijs bepaald de plek in de piramide.
Leestijd: 11 min Luisteren: binnenkort
Dit is een vervolg op 'Wat is voedingswetenschap?'.
Inhoud
Wat is mening van experts?
Wat is een case-report?
Wat is onderzoek met dieren?
Wat is In Vitro onderzoek?
Wat is observationeel onderzoek?
Wanneer we uitspraken (claims) doen over voeding en gezondheid moet er, net zoals in een rechtszaak, bewijs geleverd worden. Wetenschappelijk onderzoek is dus niet ‘de waarheid’ op zich, maar een methode om bewijs te leveren voor theorieën over de waarheid te onderbouwen of ontkrachten. Maar niet al het bewijs is even sterk, net zoals dat camerabeelden van een moord sterker bewijs zijn dan ooggetuigen. Om de hiërarchie van bewijskracht te visualiseren is de Piramide van Bewijskracht ontwikkelt. Hierin staan de verschillende soorten onderzoek in categorieën gerangschikt om te laten zien hoe sterk het bewijs is dat de resultaten leveren. Hoe hoger een onderzoeksoort in de piramide staat, en dus in de hiërarchie, des te sterker de kracht van het bewijs is. Verschillende factoren spelen hierbij een rol zoals de populatie van de studie (dier of mens), hoeveel controle er is over belangrijke factoren (observationeel of experimenteel) en of het primair onderzoek (zelf data verzamelen) of secundair onderzoek (onderzoek op basis van ander onderzoek) is. De Piramide van Bewijskracht bestaat uit de volgende categorieën: meningen van experts, case reports, onderzoek met dieren, In vitro, observationeel, experimenteel, systematische reviews en meta-analyses.
Wat is mening van experts?
Mening van experts spreekt redelijk voor zichzelf. Maar wie zijn experts? Dat is een goede vraag en zal voor iedereen een andere invulling hebben. Toch verwijst de piramide vooral naar personen met autoriteit bijvoorbeeld professors, hoogleraren en wetenschappers. De mening van deze experts kun je vooral terugvinden in boeken, gepubliceerd in wetenschappelijke tijdschriften of tegenwoordig ook steeds vaker op het internet of in podcasts. Het gaat dan vaak over een onderwerp waar deze expert veel ervaring en kennis van heeft opgedaan in zijn of haar carrière, omdat hij of zij veel wetenschappelijk onderzoek heeft gedaan naar het onderwerp. De mening kan ook als standpunt komen van een organisatie of expert panel, beide worden gepubliceerd in een wetenschappelijk tijdschrift. Bijvoorbeeld een standpunt van de International Society of Sports Nutrition over het effect van cafeïne op sporten of een expert panel die een samenvatting geeft van de huidige literatuur over de relatie tussen bloedwaarden en gezondheid. Ondanks dat deze personen of organisaties experts zijn staan de ‘meningen’ onderaan de piramide. De hiërarchie van de piramide is gebaseerd op de methode achter het bewijs, niet op waar het bewijs vandaan komt. Een autoriteitsargument is nou eenmaal niet veel waard als wetenschappelijk bewijs. Ten eerste omdat ook een expert bewijs moet leveren voor zijn of haar standpunten en het standpunt zo sterk is als het bewijs dat geleverd wordt. Ten tweede omdat het in de piramide gaat om de wetenschappelijke methode die het bewijs zo objectief mogelijk moet maken. Een mening gebaseerd op ervaring of literatuur is misschien waardevol, maar wel erg subjectief. Een narratieve review (literatuur onderzoek) wordt officieel niet genoemd in deze categorie. Dit is in mijn Piramide van Bewijskracht anders. Wat mij betreft is een narratieve review niets anders dan een mening van een expert gepubliceerd in een wetenschappelijk tijdschrift. Experts gebruiken literatuur om hun mening over een theorie te bekrachtigen, echter is er weinig transparantie over de methode achter de review. Hierdoor staat het wat mij betreft onder aan de ladder. Het is heel erg gevoelig voor misleiding of bias, een mooi voorbeeld hiervan is: Plantaardige of plantkwaadaardige oliën?(deel 1)
Is de mening van een expert dan niets waard? Natuurlijk niet. Het is dan geen sterk wetenschappelijk bewijs, maar het voegt zeker wel wat toe aan het totale lichaam van bewijs. Experts zijn interessant om uit te nodigen voor een praatprogramma of debat. Een discussie tussen experts kan erg interessant en informatief zijn. Ook kunnen ze richting geven aan toekomstig onderzoek of helpen met het bouwen van theorieën. Echter wanneer je de mening van een expert beoordeelt als wetenschappelijk bewijs heeft het een lage bewijskracht. Dit komt omdat er geen gebruik is gemaakt van de wetenschappelijke methode. Zo heb je geen idee waar een hoogleraar het standpunt precies op bouwt en welke factoren invloed hebben gehad op deze mening. Misschien heeft de expert wel ongelofelijk last van Confirmation bias en is het moeilijk om na jaren onderzoek doen nog van mening te veranderen in het licht van nieuw bewijs. Zelfs als ze aangeven welke literatuur zij gebruiken, zal je altijd de literatuur zelf moeten beoordelen.
Wat is een case-report?
Case-reports zijn wetenschappelijke studies waarin (meestal) één persoon in een bepaalde context gedetailleerd wordt beschreven. Hierbij gaat het om een uitgebreide omschrijving van de context (wie, wat, waar en hoe) en relevante uitkomsten (gezondheid) die op één mens (dus één case) gebaseerd zijn. Dit gebeurd vaak bij mensen in een unieke situatie, bijvoorbeeld een zeldzame ziekte.
Case-report voorbeeld
Zo hebben onderzoekers een 27-jarige man gevolgd die 382 dagen lang ging vasten onder supervisie van een medische staf. Om de gezondheid van de man te waarborgen werden de bloedglucose, elektrolyten, magnesium en urine excretie gecontroleerd door een medische staf. Daarnaast beschreven zij het gehele proces waarbij de focus lag op de effecten van vasten op de gezondheid en het gewicht van deze persoon. De 27-jarige man verloor 125 kg en de auteurs concluderen dat therapeutisch vasten relatief veilig is met een significante verlaging van gewicht als resultaat.
Wanneer meerdere van deze ‘cases’ met elkaar worden vergeleken en samengevoegd spreek je ook wel van een case-serie. De resultaten uit deze onderzoekvorm kunnen helpen bij het formuleren van een hypothese die later in grotere groepen mensen getest kan worden om iets over grotere populaties te kunnen zeggen.
Wat is onderzoek met dieren?
In onderzoek met dieren wordt er wetenschappelijk onderzoek met dieren gedaan naar het effect van voeding op de gezondheid. Een veel voorkomend dier waar op geëxperimenteerd wordt zijn muizen. Muizen hebben een zeer snel metabolisme en korte levensduur. Hierdoor wordt het effect van voeding op de gezondheid snel zichtbaar en kan er met een formule terug gerekend worden naar jaren in mensenleven. Daarnaast kunnen muizen makkelijk genetisch gemanipuleerd worden. Zo kunnen bepaalde genen aan of uit gezet worden waardoor het effect van deze genen zichtbaar wordt.
Onderzoek met dieren voorbeeld
Een mooi voorbeeld van dit soort onderzoek is het onderzoek van Satchidanada Panda, professor Regulatory Biology Laboratory bij het Salk instituut. Panda doet al jaren onderzoek naar onze biologische klok en vasten. Panda heeft met zijn onderzoek onderzocht welke genen bepalend zijn voor onze biologische klok en hoe desastruis een verstoorde biologische klok (door licht of eten) is voor de gezondheid van muizen. Panda gebruikt vooral muizen in zijn onderzoek omdat muizen in gevangenschap leven (dus het eetpatroon volledig gecontroleerd kan worden) en ze makkelijk genetisch manipuleerbaar zijn. Hij is nu bezig zijn hypotheses te testen in mensen.
Volledige eetpatronen controleren en genetische manipulatie is iets wat we allemaal niet zomaar met mensen kunnen doen. Maar resultaten uit onderzoek met dieren kunnen niet zo maar overgenomen worden voor mensen. Onderzoek met dieren geeft dus vooral richting in onderzoek en wordt gebruik voor het onderzoeken van mechanismen en het formuleren van hypotheses. Deze hypothese kan vervolgens getest worden in mensen.
Wat is In Vitro onderzoek?
In vitro onderzoek is een techniek die het effect van voeding op bijvoorbeeld cellen, doormiddel van reageerbuizen of laboratoriumglaswerk, buiten het lichaam van dier en mens onderzoekt. Zo kunnen de cellen of het bloed van mensen gebruikt worden om te kijken wat voor effect bepaalde stoffen hebben op ons lichaam.
In Vitro onderzoek voorbeeld
Onderzoekers voegde antioxidanten in het bloed van mensen toe. Ze keken vervolgens naar het effect van de antioxidanten op vrije-radicalen in het bloed. Met dit onderzoek willen onderzoekers een mechanisme blootleggen zonder te experimenteren op mensen zelf. De auteurs vertellen dat observationeel onderzoek al liet zien dat het consumeren van producten hoog in antioxidanten geassocieerd was met een goede gezondheid. Doormiddel van hun In Vitro onderzoek laten zij mooi zien wat het mechanisme hier achter kan zijn.
Dieren en In vitro onderzoek wordt ook vaak gebruikt voor onderzoek dat in eerste instantie niet in mensen gedaan kan worden, zoals naar giftige stoffen. Maar daarnaast dus ook om mechanismen te onderzoeken. Wanneer in Vitro een mechanisme blootlegt, is het nog niet gegarandeerd dat het in mensen ook zo werkt. Ons lichaam is een zeer complex systeem dat je reduceert tot iets simpels wanneer je cellen of bloed uit het lichaam haalt en onderzoekt. De mechanismen moeten daarom altijd ook onderzocht worden met mensen.
Wat is observationeel onderzoek?
Observationeel onderzoek bestaat uit ecologisch, cross-sectioneel, case-control en cohort onderzoek. Een kenmerk van observationeel onderzoek is dat er geen interventie uitgevoerd wordt op mensen. Groepen mensen worden geobserveerd, metingen worden afgenomen en op basis van deze informatie worden associatie s tussen verschillende factoren onderzocht.
Ecologisch onderzoek
Ecologisch onderzoek staat ook bekend als geografisch onderzoek. Het kan worden gebruikt om patronen van ziekte en geassocieerde factoren in een grote populatie (bijvoorbeeld op landelijk niveau) aan te tonen.
Ecologisch onderzoek voorbeeld
Een mooi voorbeeld van ecologisch onderzoek is een onderzoek dat keek naar de grondstoffen per land (import en export) van verschillende landen en op basis daarvan een schatting maakte van de omega-3 en omega-6 inname van de inwoners. Vervolgens werd er gekeken of er associaties zijn tussen omega-3 inname (in verhouding tot omega-6 inname) en cardiovasculaire en mentale ziekten, om vervolgens een advies voor omega-3 consumptie op te stellen voor de inwoners van de Verenigde Staten.
Vaak zit er over een lange tijd weinig verandering in het eetpatroon van de inwoners van een land en zijn de verschillen tussen landen heel groot. Dit is een voordeel voor ecologisch onderzoek want hierdoor kunnen er sterke correlaties gevonden worden. Echter kunnen veel andere factoren die invloed hebben op de correlatie zoals genetische aanleg, andere voedingsfactoren, waaronder de beschikbaarheid van de totale energie-inname, en andere omgeving- of levensstijlfactoren niet meegenomen worden in de analyse waardoor het hele ruwe correlaties zijn. Dit soort onderzoek geeft wel goede informatie voor het formuleren van een hypothese.
Cross-sectioneel onderzoek
In cross-sectioneel onderzoek worden op één enkel tijdstip gegevens verzameld over een populatie om de relatie tussen voeding en een bepaalde uitkomst te onderzoeken. Dit is dus vooral gebaseerd op een moment opnamen en kan nooit een causaal verband aantonen. Wel kunnen potentiële confounding factoren meegenomen worden in de analyse. Hierdoor kun je statistisch kijken wat de associatie is tussen twee variabelen waarbij het effect van andere factoren is meegenomen. Echter weet je nooit of je alle potentiële confounding factoren hebt meegenomen. Daarnaast weet je ook niet welke kant de associatie opgaat.
Voorbeeld cross-sectioneel onderzoek
Een voorbeeld hiervan is het overslaan van ontbijt en overgewicht. Cross-sectioneel onderzoek laat namelijk zien dat wanneer een momentopname wordt gemaakt, het overslaan van ontbijt zeker geassocieerd is met het hebben van overgewicht. Echter wanneer er gekeken wordt naar cohort onderzoeken, die mensen over een langere tijd volgen, valt deze associatie weg.
Dit is een mooi voorbeeld van dat cross-sectioneel soms associaties laat zien die wegvallen op het moment dat er sterker bewijs zoals cohort onderzoeken worden meegenomen. Zie hier het belang van het Lichaam van bewijs. Kans is namelijk groot dat het overslaan van ontbijt op zich niet resulteert in overgewicht, maar dat mensen met overgewicht vaker het ontbijt overslaan en daarna compenseren met meer ongezond energiedichte voeding. Cross-sectioneel onderzoek is een manier om een hypothese te testen in grote groepen mensen. Echter het bewijs is nooit sterk genoeg om definitieve conclusie te trekken over een causale relatie tussen twee factoren.
Cohort onderzoek
Cohort onderzoek evalueert een mogelijk verband tussen de blootstelling (bijvoorbeeld aan verzadigd vet) en een uitkomst (bijvoorbeeld hart- en vaatziekten) door een groep mensen gedurende een bepaalde periode (vaak jaren) te observeren. Dit kan door terug te kijken in de tijd (retrospectief) of door mensen vooruit in de tijd te volgen (prospectief). Hierbij wordt gekeken wie wel en wie niet de uitkomst ontwikkelt. Een cohort is een groep personen die een gemeenschappelijk kenmerk hebben, zoals werknemers van dezelfde fabriek of een groep ouderen van dezelfde leeftijd en leefomstandigheden.
Case-control onderzoek
In Case-control onderzoek worden er mensen in groepen geplaatst gebaseerd op de uitkomst van het onderzoek. De uitkomst is vaak een ziekte, waarbij het wel of niet hebben van deze ziekte bepaald in welke groep je zit. Vervolgens worden de groepen vergeleken met elkaar. Vaak zijn er van deze mensen allerlei gegevens beschikbaar omdat ze bijvoorbeeld al een tijd in een ziekenhuis komen voor hun gezondheid. De verzamelde data kan dan geanalyseerd worden, waardoor er terug in de tijd gekeken kan worden of er verschillen tussen de groepen zijn (bijvoorbeeld in eetpatroon). Oftewel een retrospectief cohort onderzoek. Echter een case-control onderzoek kan ook cross-sectioneel zijn doordat de twee groepen worden vergeleken op basis van een momentopname of prospectief zijn door de mensen voor een x tijd te volgen.
Case-control onderzoek voorbeeld
In een onderzoek naar de relatie tussen fruit, groente en diabetes hebben onderzoekers een groep mensen opgesplitst in twee groepen: mensen zonder diabetes en met pre-diabetes. Daarna hebben ze de mensen een Food Frequency Questionnaire (FFQ) in laten vullen waarin mensen aangaven hoeveel fruit en groente ze het afgelopen jaar hebben gegeten. Om vervolgens te kijken of er verschil was in fruit en groente consumptie tussen de twee groepen. Een groot nadeel van dit soort onderzoek is de grote kans op recall-bias . Ga maar eens na wat jij zelf hebt gegeten het afgelopen jaar, veel mensen kunnen het zich niet goed huigen en gaan gokken. Of ze kunnen het van een bepaalde categorie beter herinneren dan andere categorieën. Toch is het wel vaak zo dat mensen redelijk stabiel te weinig of genoeg groente en fruit eten. Dit maakt dat een vragenlijst dus zeker voor grote groepen mensen een redelijke schatting geeft hoeveel groente en fruit ze ongeveer aten.
Prospectief cohort onderzoek
De resultaten uit een prospectief cohort onderzoek heeft de sterkste bewijskracht van observationeel onderzoek. In dit onderzoek worden mensen over een langere tijd (vaak jaren) gevolgd om te kijken wat zij doen op het gebied van voeding en gezondheid, waarbij allerlei factoren worden gemeten. Daarna wordt er gekeken wat het verschil is tussen mensen die na een aantal jaren bepaalde wel of niet ziekten of andere uitkomsten ontwikkelde. Vaak wordt er ook op meerdere tijdsmomenten dezelfde metingen uitgevoerd om de ontwikkelingen in de blootstelling (voeding) en uitkomsten (gezondheid) te volgen. Door mensen die de uitkomst al hebben (bijv. een ziekte) te excluderen van de studie, heb je een betere indicatie over de associaties die je onderzoekt en is er meer zekerheid over de richting en causaliteit van het verband.
Prospectief cohort onderzoek voorbeeld
Zo keken onderzoekers naar de relatie tussen de consumptie van vetten en sterfte over tientallen jaren. Meer dan tachtigduizend vrouwen en veertigduizend mannen werden van 1980 tot 2012 gevolgd waarbij ze aan het begin vrij waren van ziekte. Vervolgens werden ze elke 2 tot 4 jaar gecheckt op voeding, leefstijl, risicofactoren en ziekten. In een onderzoek als deze kun je al veel meer spreken van een causaal verband omdat het onderzoek mensen over een langere tijd volgt en de mensen vrij waren van de uitkomst aan het begin van de studie. Hierdoor ben je zekerder van de chronologische volgorde en weet je zeker dat de blootstelling aan een bepaald eetpatroon voor de uitkomst komt, wat bij cross-sectioneel niet mogelijk is.
Prospectief cohort onderzoek neemt dus veel problemen van ander observationeel onderzoek weg, maar het is niet zo sterk als experimenteel onderzoek.
In DEEL 2 van ‘Wat is de Piramide van bewijskracht?’ bespreek ik experimenteel onderzoek, reviews en meta-analyses.
Wat vond je ervan? Laat het aan mij weten in de vorm van commentaar of een email: info@coenfirmationbias.nl
Ben je een claim tegen gekomen op internet of social media en ben je benieuwd naar een beoordeling van de onderbouwing, laat het mij weten en ik duik erin!
Wil je mij en mijn voedingswetenschapavontuur steunen? Deel mijn artikelen of de podcast op jouw socials!
Alles wat je op deze website leest is mijn mening gebaseerd op kennis en ervaring. De kans is groot dat ik wel eens iets over het hoofd zie, of dat iets beter kan. Ik hoor het graag! Wetenschap doen we samen.
Begrippen
Narratieve review: Een narratieve of systematische review is een literatuur onderzoek dat primair onderzoek samenvat. Een systematische review onderscheidt zichzelf van een narratieve review door de systematische aanpak. In een systematische review wordt volledig beschreven hoe er gezocht is naar literatuur en hoe de literatuur beoordeelt is op kwaliteit. In een narratieve review gebeurt dit niet.
Bias: Bias staat voor een vertekening van de resultaten. Oftewel: de resultaten zijn anders dan ze werkelijk zijn. Vertekening is een moeilijk concept dat zich in allerlei gedaanten kan voorkomen. Zo kan het in de interpretatie van de resultaten zitten doordat de persoon die interpreteert vanwege vooroordelen niet objectief naar de resultaten kijkt (confirmation bias). Maar vertekening kan ook voorkomen door de opzet van een studie. Bijvoorbeeld wanneer de steekproef niet representatief is voor de populatie (selectie bias) of wanneer de onderzochte personen informatie moeten verschaffen op basis van hun geheugen (recall bias).
Lichaam van Bewijs: Alle resultaten van alle (soorten) studies over een bepaald onderwerp samen. Wanneer we een conclusie willen trekken over het effect van voeding op onze gezondheid moet het bewijs uit alle categorieën uit de Piramide van Bewijskracht samengevoegd worden tot één verhaal. Oftewel het lichaam van bewijs.
Associatie/correlatie: De samenhang tussen twee factoren.
Causaal verband: Wanneer een factor de directe oorzaak is van een andere factor noemen we dat een causaal verband.
Recall bias: Een vorm van bias (vertekening) waarbij de resultaten beïnvloed worden doordat de deelnemers van een onderzoek op basis van hun geheugen antwoorden moeten geven op vragen. Het geheugen laat ons nog wel eens in de steek, bijvoorbeeld wanneer we moeten herinneren wat we gegeten hebben, waardoor resultaten vertekent kunnen zijn.