Onderwerp 8.6 — Onderzoek en evaluatie in de praktijk

In gezondheid en zorg is een digitale innovatie slechts zo betrouwbaar als het bewijs dat zij in de praktijk werkelijk werkt — dus u moet dat bewijs vanaf het begin ontwerpen, met een strengheid die past bij het risico en de claims die u doet.

Waarom dit ertoe doet in gezondheid en zorg#

Elk digitaal product dat u inzet doet een impliciete belofte: dit zal patiënten, personeel of het stelsel helpen zonder schade te veroorzaken. In de meeste sectoren kost een onbewezen belofte een klant of een kwartaal omzet. In gezondheid en zorg kan het levens kosten, ongelijkheid vergroten of het publieke vertrouwen uithollen waarop het hele stelsel steunt. Enthousiasme en een goede demo zijn geen bewijs, en een aannemelijk mechanisme is geen bewijs van baat.

De geschiedenis van digitale gezondheid zit vol instrumenten die overtuigend leken en op schaal werden overgenomen voordat iemand had getoond dat ze werkten — en sommige die stilletjes schade veroorzaakten, diagnoses misten of clinici naar omwegen dreven. Toezichthouders, opdrachtgevers en clinici hebben gereageerd door de lat te verhogen: zij verwachten nu geloofwaardig, evenredig bewijs vóór, tijdens en na de inzet. Als u niet kunt aantonen dat uw dienst de uitkomsten levert die u claimt, moet u verwachten dat zij wordt aangevochten, niet meer gefinancierd of teruggetrokken — en terecht.

Bewijs is ook een kwestie van billijkheid en veiligheid en geen bureaucratische hindernis. Een instrument dat gemiddelde uitkomsten verbetert kan toch een subgroep schaden — de digitaal uitgeslotenen, mensen met beperkt Engels of een populatie die ondervertegenwoordigd was in uw trainingsdata. Alleen bewuste evaluatie legt dit bloot. Goed bewijs genereren is daarom deel van uw zorgplicht, uw rentmeesterschap van publiek geld en uw geloofwaardigheid bij de mensen die u dient (zie Onderwerp 1.3 — Op bewijs gebaseerde besluitvorming en Onderwerp 1.6 — Klinische veiligheid en risicobeheer).

Kernbegrippen#

Begin met een onderscheid dat al het andere bestuurt: het verschil tussen onderzoek, evaluatie van een dienst en klinische audit. Onderzoek beoogt nieuwe, generaliseerbare kennis voort te brengen — bevindingen die bedoeld zijn waar te zijn voorbij uw lokale setting. Evaluatie van een dienst vraagt hoe goed deze dienst hier werkt, aan de hand van de normen die de dienst zelf heeft aangenomen. Klinische audit vergelijkt de huidige praktijk met een bestaande, afgesproken norm en sluit de lus met verandering. Het onderscheid is geen academische muggenzifterij: het bepaalt uw bestuurlijke pad. Onderzoek met patiënten, personeel of data van de National Health Service (NHS) vraagt vrijwel altijd formele ethische goedkeuring; de meeste evaluaties van diensten en audits niet. Onderzoek verkeerd classificeren als evaluatie om goedkeuringen te ontlopen is een ernstig falen van bestuur.

In Engeland loopt het bestuur van onderzoek via de Health Research Authority (HRA), een organisatie op afstand van het Department of Health and Social Care. De HRA beschermt en bevordert de belangen van deelnemers en coördineert goedkeuringen zodat een studie voor het hele land eenmaal wordt beoordeeld. Ethische toetsing wordt uitgevoerd door een Research Ethics Committee (REC) — het Britse equivalent van een institutional review board — die beoordeelt of een studie ethisch, evenredig en veilig is voor deelnemers. Aanvragen worden ingediend via het Integrated Research Application System (IRAS), een enkel online portaal dat uw project leidt naar de REC’s, HRA Approval en andere vergunningen die het nodig heeft. De online beslishulpen van de HRA helpen u vaststellen of uw project überhaupt als onderzoek telt.

Veel bewijs in digitale gezondheid wordt nu gebouwd uit data uit de praktijk (real-world data, RWD) — informatie verzameld buiten gecontroleerde trials, zoals elektronische dossiers, logboeken van apparaten, registers en declaratiedata — geanalyseerd om bewijs uit de praktijk (real-world evidence, RWE) voort te brengen over hoe een interventie onder gewone omstandigheden presteert. RWE is krachtig omdat digitale instrumenten als bijproduct rijke gebruiksdata genereren en omdat zij de rommelige werkelijkheid weerspiegelt die trials vaak uitsluiten. Zij is ook kwetsbaar: observationele data zitten vol verstorende factoren en vertekening, zodat een naïeve vergelijking voor-en-na een seizoenstrend of een gelijktijdige verandering voor uw effect kan aanzien.

Daarom doet het ontwerp van de evaluatie ertoe. Het sterkste ontwerp voor causale claims blijft de gerandomiseerde gecontroleerde trial (RCT), die vertekening vermindert door deelnemers willekeurig toe te wijzen. Digitale contexten geven vaak de voorkeur aan pragmatische varianten — cluster-gerandomiseerde trials en de stepped-wedge-trial, waarin locaties in gerandomiseerde golven van controle naar interventie overgaan, wat past bij een gefaseerde uitrol die u toch al van plan was. Waar randomisatie onpraktisch is, helpen quasi-experimentele ontwerpen: analyse van een onderbroken tijdreeks (interrupted time series, ITS) volgt een uitkomst over veel punten vóór en na go-live om veranderingen in niveau en trend te detecteren, en is vaak het best haalbare ontwerp voor een verandering van een digitaal systeem in zijn geheel. Eenvoudige vergelijking voor-en-na is de zwakste en meest misleidende, omdat zij uw effect niet kan scheiden van alles wat er nog meer veranderde.

Twee verdere ankers geven vorm aan het werk. De lat voor bewijs voor digitale gezondheid in Engeland wordt gelegd door het Evidence Standards Framework for Digital Health Technologies, gepubliceerd door het National Institute for Health and Care Excellence (NICE): het rangschikt instrumenten naar potentieel risico en specificeert de sterkte van bewijs die voor elk niveau wordt verwacht. En een hardnekkige vertekening om tegen te waken is publicatiebias — de neiging positieve resultaten te delen en negatieve te begraven, wat het hele veld vleit en toelaat dat ineffectieve instrumenten zich verspreiden.

Beste praktijken#

1. Classificeer uw project voordat u het ontwerpt. Gebruik de beslishulpen van de HRA om vast te stellen of uw werk onderzoek, evaluatie van een dienst of audit is en leg de redenering vast. Deze ene stap bepaalt uw bestuurlijke pad, uw planning en uw vergunningen. Doe het fout in de optimistische richting en u riskeert niet-goedgekeurd onderzoek op patiënten uit te voeren; doe het fout in de voorzichtige richting en u belast een eenvoudige evaluatie met maanden onnodig proces.

2. Bouw evaluatie vanaf het begin in, niet als aanbouw. Besluit tijdens discovery wat “werken” betekent en hoe u het zult meten — vóór een regel productiecode (zie Onderwerp 3.4 — Discoveryfasen). Leg een nulmeting vast vóór go-live, want u kunt haar achteraf nooit reconstrueren, en instrumenteer het product om de uitkomst- en gebruiksdata uit te zenden die uw ontwerp nodig heeft. Evaluatie achteraf aanbrengen op een live dienst levert bijna altijd zwakker bewijs op tegen hogere kosten, en vaak helemaal geen bruikbare nulmeting.

3. Stem de strengheid af op het risico en de claim. Een boekingsinstrument dat een wachtlijst herordent heeft minder bewijskracht nodig dan een algoritme dat pijn op de borst trieert. Gebruik het Evidence Standards Framework van NICE om het risiconiveau van uw instrument te bepalen en doe claims die uw bewijs kan dragen: als u een onderbroken tijdreeks hebt die verminderde no-showpercentages toont, zeg dat dan — impliceer geen baat voor sterfte. Evenredigheid beschermt patiënten tegen onvoldoende onderbouwd risico en beschermt u ervoor inspanning te verspillen aan het te zwaar bewijzen van instrumenten met lage inzet.

4. Kies het sterkste ontwerp dat haalbaar is en benoem de grenzen ervan. Grijp naar randomisatie wanneer u kunt en overweeg een stepped-wedge-ontwerp wanneer een gefaseerde uitrol een gelijktijdige controlegroep onmogelijk maakt. Wanneer randomisatie werkelijk onhaalbaar is, geef dan de voorkeur aan een onderbroken tijdreeks boven naïef voor-en-na en leg uw analyse vooraf vast om de verleiding te weerstaan naar een gunstig resultaat te vissen. Elk ontwerp heeft zwakten; benoem de uwe ronduit zodat lezers het bewijs eerlijk kunnen wegen.

5. Gebruik data uit de praktijk bewust en behandel verstorende factoren als de vijand. Digitale diensten genereren overvloedige RWD, maar overvloed is geen validiteit. Plan welke data u zult gebruiken, hun kwaliteit en volledigheid en de vertekeningen die ze dragen, en betrek vroeg een analist of methodoloog in plaats van achteraf logboeken te delven. Registreer uw uitkomsten en analyse vooraf (pre-register) waar mogelijk zodat de data niet kunnen worden gemarteld om u te vertellen wat u hoopte te horen.

6. Werk samen met mensen die van het genereren van bewijs hun beroep maken. Universiteiten, het National Institute for Health and Care Research (NIHR) en uw regionale Health Innovation Network — de organen die voorheen Academic Health Science Networks (AHSN’s) heetten — brengen methodologische strengheid, onafhankelijkheid, financieringsroutes en geloofwaardigheid die u intern niet kunt fabriceren. Onafhankelijke evaluatie weegt veel zwaarder bij opdrachtgevers en clinici dan de eigen analyse van een leverancier. Betrek hen vroeg, want de beste ontwerpen worden vóór de inzet vastgesteld en niet erna (zie Onderwerp 9.0 — Samenwerken met partnerorganisaties).

7. Meet uitkomsten en economie, niet alleen activiteit. Logins, doorklikken en tevredenheidsscores zijn nodig maar niet voldoende; opdrachtgevers financieren uitkomsten en waarde. Koppel uw evaluatie waar mogelijk aan klinische uitkomsten, veiligheidssignalen, billijkheid over subgroepen en gevolgen voor kosten, en werk met gezondheidseconomen om baat te kaderen in termen die besluitvormers gebruiken (zie Onderwerp 6.1 — Gezondheidseconomie). Splits resultaten altijd uit naar populatie zodat een instrument dat gemiddeld helpt maar een subgroep schaadt zich niet kan verschuilen achter het gemiddelde.

8. Publiceer uw resultaten — ook de teleurstellende. Verbind u er vooraf aan bevindingen te delen, positief of negatief, via een rapport, een preprint of een peer-reviewed artikel. Negatieve resultaten publiceren is een professionele plicht: het spaart andere organisaties het herhalen van uw fouten en gaat de publicatiebias tegen die ineffectieve instrumenten laat woekeren. Een cultuur die kan zeggen “we evalueerden dit en het werkte niet, dus we stopten” is betrouwbaarder, niet minder.

9. Sluit de lus en handel naar wat u leert. Bewijs dat geen enkele beslissing verandert is verspilling. Voed bevindingen terug in uw roadmap, uw businesscase en uw beslissingen over fasering — schaal op wat werkt, herstel wat half werkt en faseer uit wat niet werkt (zie Onderwerp 8.0 — Innovatie gefaseerd invoeren). Evalueer dan opnieuw, want een digitaal instrument dat op schaal van een pilot in één setting werkte kan zich op nationale schaal of in een andere populatie anders gedragen.

Vragen om met uw team te bespreken#

1. Is wat wij gaan doen onderzoek, evaluatie van een dienst of audit — en hoe zeker zijn wij van dat antwoord? Dit is de eerste vraag omdat het antwoord uw hele bestuurlijke pad bepaalt, en het fout hebben heeft ernstige gevolgen. Bespreek wie uw datasubjecten zijn, of u iets randomiseert, of u generaliseerbare kennis wilt produceren en of u van plan bent te publiceren — allemaal signalen die een project naar “onderzoek” duwen. Weersta elke druk iets evaluatie te noemen louter omdat de route voor goedkeuring sneller is; die druk is precies waar falen van bestuur begint. Gebruik de beslishulp van de HRA samen, in de kamer, en schrijf uw redenering op en wie ermee instemde. Een goed antwoord is niet alleen een etiket maar een gedocumenteerd, verdedigbaar oordeel dat uw collega’s van informatiebestuur en klinische veiligheid hebben gezien. Als u werkelijk onzeker bent, is de eerlijke zet de HRA of uw R&D-bureau te vragen in plaats van te gokken in de richting die uw planning uitkomt.

2. Wat zou overtuigend bewijs zijn dat dit werkt — en voor wie? Verschillende doelgroepen eisen verschillend bewijs: een clinicus wil data over veiligheid en uitkomsten, een opdrachtgever wil kosten en waarde, een toezichthouder wil zien dat het toepasselijke niveau van NICE is gehaald en een patiënt wil weten dat het veilig en eerlijk is voor mensen zoals hij. Debatteer wat “werken” voor uw instrument werkelijk betekent en welk resultaat u zou doen stoppen — want een team dat een voorwaarde voor stoppen niet kan verwoorden evalueert niet echt. Overweeg welk ontwerp haalbaar is gegeven uw uitrolplan, uw data en uw budget en wees eerlijk over de afweging tussen strengheid en snelheid. Bespreek of u onafhankelijke evaluatie nodig hebt om geloofd te worden, en zo ja, wie die moet uitvoeren. Een goed antwoord noemt de besluitvormers, de uitkomsten die hen zouden bewegen, het ontwerp dat die uitkomsten geloofwaardig kan produceren en de drempel waarop u zou concluderen dat het instrument heeft gefaald.

3. Hoe gaan wij om met een negatief of teleurstellend resultaat? Vraag dit voordat u het resultaat hebt, want het antwoord is vooraf veel eerlijker. Verken wat u zou doen als de evaluatie geen baat toonde, of baat voor de meerderheid maar schade voor een uitgesloten subgroep, en wie het zou moeten horen. Breng de echte druk aan het licht: gezonken kosten, relaties met leveranciers, zorg om reputatie en de prikkels van loopbanen die mensen goed nieuws doen willen. Bespreek uw eerdere toezegging te publiceren ongeacht de uitkomst en welk bestuur u aan die belofte zou houden wanneer het resultaat beschamend is. Een goed antwoord behandelt een goed uitgevoerde evaluatie die een negatief resultaat oplevert als succes van het proces en niet als falen van het team, en heeft een concreet plan om soepel uit te faseren, openhartig te communiceren en de mensen te beschermen die de eerlijke bevinding leverden.

4. Wat moeten wij vóór go-live vastleggen en instrumenteren — en hebben wij dat werkelijk ingebouwd? Een evaluatie is slechts zo goed als de nulmeting en de data waaruit zij kan putten, en beide zijn veel goedkoper vóór de lancering veilig te stellen dan erna. Werk door welke toestand “vooraf” u nodig hebt — percentages opnames, wachttijden, foutenpercentages, huidige kosten van het traject — en bevestig dat zij nu worden vastgelegd, uitgesplitst naar de subgroepen waar u om geeft, want u kunt een nulmeting die u niet vastlegde nooit reconstrueren. Controleer of het product zelf de uitkomst- en gebruiksdata zal uitzenden die uw gekozen ontwerp nodig heeft, of dat die instrumentatie nog een wens op de backlog is. Debatteer de spanning in timing: druk om op te leveren schrapt vaak meting weg om een datum te halen, en elke zo’n snee verzwakt stilletjes het bewijs dat u later wordt gevraagd te produceren. Betrek een analist of methodoloog terwijl het ontwerp nog zacht is en niet zodra de logboeken al stromen. Een goed antwoord is een concrete lijst van wat wordt vastgelegd, vanaf wanneer, op welke granulariteit en wie heeft bevestigd dat het live is — niet het voornemen het na de uitrol te regelen.

5. Hoe goed zijn de data waarop wij denken te leunen, en wat zou onze conclusie kunnen verstoren? Data uit de praktijk zijn overvloedig maar zelden schoon, en een aannemelijke grafiek kan seizoensinvloed, een gelijktijdige verandering in de dienst, regressie naar het gemiddelde of een verschuiving in codering verbergen die niets met uw instrument te maken heeft. Bevraag de herkomst, volledigheid en kwaliteit van elke bron die u wilt gebruiken en benoem de vertekeningen die elk draagt — wie ontbreekt in elektronische dossiers, welke velden onbetrouwbaar zijn, hoe consistent een code wordt toegepast. Vraag wat er nog meer veranderde in hetzelfde venster als uw go-live, want een onderbroken tijdreeks of voor-en-na die die gebeurtenissen negeert zal uw instrument de effecten van anderen toeschrijven. Besluit vooraf welke vergelijking of welk ontwerp u de eerlijkste tegenfeitelijke situatie geeft en leg de analyse vooraf vast zodat de data niet stilletjes kunnen worden hervormd om het resultaat te vleien. Een goed antwoord toont dat u de zwakten van de data eerlijk in kaart hebt gebracht en een ontwerp hebt gekozen dat een scepticus overleeft die aan elk ervan trekt.

6. Wie moet deze evaluatie uitvoeren, en hoe onafhankelijk moet zij zijn om geloofd te worden? Uw eigen huiswerk nakijken is de snelste manier om geloofwaardige bevindingen te laten wegwuiven, dus besluit vroeg of een analyse van een leverancier of intern zal overtuigen voor de doelgroep die u werkelijk moet bewegen. Weeg de kosten en tijd van een academisch team dat door het NIHR wordt gesteund, een universiteit of een Health Innovation Network af tegen de waarde voor reputatie en commercie van onafhankelijk, publiceerbaar bewijs. Bespreek waar de belangenconflicten zitten — de mensen die het instrument bouwden of kochten zijn zelden de juiste mensen om te beoordelen of het werkt — en hoe u de evaluatie zult afschermen tegen druk om goed nieuws te produceren. Overweeg wat partners behalve onafhankelijkheid brengen: methodologische strengheid, financieringsroutes en aanzien bij opdrachtgevers en clinici dat u intern niet kunt fabriceren. Een goed antwoord stemt de mate van onafhankelijkheid af op de inzet en de scepsis van de besluitvormers en regelt dat partnerschap voordat het ontwerp vaststaat en niet nadat de resultaten tegenvallen.

In de praktijk: een voorbeeld uit gezondheid en zorg#

Een integrated care system (ICS) geeft opdracht tot een app voor monitoring op afstand voor patiënten met chronisch hartfalen, in de hoop ongeplande opnames te verminderen. De dia’s van de leverancier tonen elders een vermindering van 30%, en er is druk om voor de winter snel over alle twaalf wijken uit te rollen.

De leider digitale levering pauzeert om het werk te classificeren. Omdat het ICS generaliseerbare bevindingen wil en van plan is te publiceren, en omdat het identificeerbare patiëntdata voor een nieuw doel zal analyseren, is dit onderzoek en geen evaluatie van een dienst — dus een aanvraag bij IRAS en toetsing door een REC zijn nodig. In plaats van dat als blokkade te behandelen benadert de leider het regionale Health Innovation Network en het door het NIHR gesteunde onderzoeksteam van een lokale universiteit, die helpen de studie te ontwerpen en de aanvraag mee te schrijven. In plaats van alles in één keer aan te zetten kiezen zij een stepped-wedge-ontwerp: de twaalf wijken gaan in gerandomiseerde golven over negen maanden live, zodat elke wijk uiteindelijk de app krijgt terwijl de gespreide start een eerlijke vergelijking biedt. Een nulmeting van percentages opnames, uitgesplitst naar kansarmoede en etniciteit, wordt vastgelegd vóór de eerste golf.

Met het Evidence Standards Framework van NICE plaatst het team het instrument in een niveau dat klinisch risico draagt en stelt het verwachte bewijs daarop af, en registreert vooraf percentages opnames, sterfte als veiligheidssignaal en kosten per vermeden opname als uitkomsten. Negen maanden later is de tussentijdse analyse ontnuchterend: over het geheel dalen opnames bescheiden, maar onder het meest kansarme cohort — dat de app het minst gebruikt — is er geen baat en een zorgwekkende toename van late presentaties. Het team begraaft dit niet. Zij rapporteren het aan het bestuur van het ICS, pauzeren de uitrol naar die cohorten, ontwerpen de onboarding opnieuw en voegen telefonische ondersteuning toe voor digitaal uitgesloten patiënten, en publiceren zowel het tekort als het herontwerp. Het resultaat is een dienst die werkelijk helpt en een bestuur dat het bewijs vertrouwt omdat het het team de waarheid heeft zien vertellen toen dat pijn deed.

Sectorperspectieven#

Startup#

Een klein bedrijf in digitale gezondheid staat of valt met bewijs, maar heeft zelden het geld of de interne methodologie om het alleen te genereren. Uw snelste geloofwaardige route is samenwerking: een academische partner gefinancierd door het NIHR of een evaluatie in de praktijk van een Health Innovation Network geeft u onafhankelijke bevindingen die investeerders en NHS-kopers werkelijk geloven, veel meer dan een zelf gepubliceerd witboek. Wees gedisciplineerd over evenredige claims — overclaimen om een pilot te winnen is de snelste manier om een latere evaluatie te laten mislukken en uw reputatie te verliezen. Bouw het vastleggen van data vanaf dag één in de architectuur van uw product in, want het achteraf aanbrengen na uw seedronde is duur en levert een armere bewijsbasis op.

Klein bedrijf#

Een gevestigde kleine aanbieder — een huisartsenpraktijk, een gemeenschapsapotheek, een verzorgingshuis of een kliniek met één vestiging die een digitaal instrument invoert — wordt verwacht te evalueren wat zij inzet, maar heeft geen R&D-bureau, geen methodoloog en nauwelijks vrije handen. Uw realistische zet is niet een trial te draaien maar een gedisciplineerde evaluatie van een dienst: leg een eenvoudige nulmeting vast voordat u inschakelt, spreek een handvol eerlijke uitkomstmaten af en leg vast wat er werkelijk verandert voor uw patiënten. Leun zwaar op gedeelde infrastructuur die u niet hoeft te bouwen — uw Health Innovation Network, een lokale universiteit of een federatie of primary care network dat data en expertise over meerdere kleine locaties kan bundelen. Wees vooral op uw hoede om de kopclaim van een leverancier voor waar aan te nemen wanneer u die niet onafhankelijk kunt controleren, en wees duidelijk dat de plichten tot classificatie ook op kleine schaal voor u gelden. Evenredig, goed gedocumenteerd lokaal bewijs is zowel haalbaar als genoeg om voortzetten, aanpassen of laten vallen van het instrument te rechtvaardigen.

Grote onderneming#

Een groot NHS-ziekenhuis of ICS heeft een R&D-bureau, machinerie voor informatiebestuur en bestaande academische banden — bezittingen waar een startup jaloers op zou zijn — maar ook de traagheid om instrumenten ziekenhuisbreed in te zetten voordat ze worden geëvalueerd. Uw uitdaging is “evalueer vóór u opschaalt” de standaard te maken en het momentum van een getekend contract in de onderneming te weerstaan wanneer vroeg bewijs zwak is. Gebruik uw schaal als methodologisch voordeel: meerdere locaties maken stepped-wedge- en cluster-gerandomiseerde ontwerpen haalbaar op manieren die een enkele kliniek niet kan opbrengen. Pas op voor de interne politiek van negatieve resultaten, waar een grote investering sterke prikkels schept om succes uit te roepen, wat de uitkomst ook is.

Overheid#

Een nationaal orgaan — NHS England, het Department of Health and Social Care of een gedecentraliseerde overheid — stelt de regels vast die anderen volgen, dus zijn normen voor bewijs vormen de hele markt. Zijn taak is de kaders te beheren (het stelsel van bestuur van de HRA, het Evidence Standards Framework van NICE, DTAC) en de infrastructuur te financieren — NIHR, Health Innovation Networks, vertrouwde onderzoeksomgevingen — waarmee iedereen goed bewijs kan genereren. Wanneer de overheid op nationale schaal inkoopt, is de inzet van bewijs enorm: een slecht onderbouwde uitrol kan schade verankeren bij miljoenen burgers en is politiek vrijwel niet terug te draaien. Zij moet zich daarom houden aan de hoogste lat die zij van anderen vraagt en haar eigen evaluaties publiceren, ook de mislukkingen, om publiek vertrouwen te behouden.

Veelvoorkomende faalpatronen#

• Bewijs als bijzaak. Eerst uitrollen en later vragen “werkte het?”, zonder vastgelegde nulmeting — waardoor u geen geloofwaardige causale claim kunt doen.
• Onderzoek verkeerd classificeren als evaluatie. Het etiket “evaluatie” kiezen om goedkeuringen van HRA en REC te ontlopen, waarmee patiënten worden blootgesteld aan niet-goedgekeurd onderzoek en uw organisatie aan een ernstige schending van bestuur.
• Naïef voor-en-na. Twee momentopnamen vergelijken en alle verandering aan uw instrument toeschrijven, zonder seizoensinvloed, gelijktijdige initiatieven en regressie naar het gemiddelde.
• IJdele maten. Logins, downloads en tevredenheid rapporteren en zwijgen over klinische uitkomsten, veiligheid, billijkheid en kosten.
• Gemiddelden die schade verbergen. Een kopverbetering van het gemiddelde presenteren zonder uitsplitsing naar populatie, waardoor een subgroep die het instrument tekortdoet of schaadt wordt verborgen.
• Uw eigen huiswerk nakijken. Alleen leunen op bewijs van de leverancier zonder onafhankelijke evaluatie, zodat geen enkele sceptische doelgroep het gelooft.
• Slecht nieuws begraven. Alleen positieve bevindingen publiceren, wat publicatiebias voedt en ineffectieve instrumenten zich over het stelsel laat verspreiden.
• Overclaimen. Een bescheiden resultaat met een zwak ontwerp uitrekken tot een sterke klinische claim die het bewijs niet kan dragen.

Volwassenheidsmodel#

Checklist#

• Classificeer het project als onderzoek, evaluatie van een dienst of audit met de beslishulpen van de HRA en documenteer de redenering.
• Plan, als het onderzoek is, vroeg de aanvraag bij IRAS en de toetsing door de Research Ethics Committee.
• Definieer tijdens discovery wat “werken” betekent en de uitkomsten die het zouden bewijzen.
• Leg vóór go-live een nulmeting vast — uitgesplitst naar relevante subgroepen.
• Bepaal het risiconiveau van het instrument in het Evidence Standards Framework van NICE en stem de strengheid daarop af.
• Kies het sterkste haalbare ontwerp (RCT, stepped-wedge of onderbroken tijdreeks) en leg de grenzen ervan vast.
• Plan uw bronnen van data uit de praktijk, hun kwaliteit en vertekeningen; leg de analyse vooraf vast.
• Betrek een onafhankelijke partner (NIHR, universiteit, Health Innovation Network) waar geloofwaardigheid of financiering dat vraagt.
• Neem klinische uitkomsten, veiligheidssignalen, billijkheid en kosten op — niet alleen maten van activiteit.
• Verbind u er vooraf aan resultaten te publiceren, ook negatieve, en noem waar.
• Definieer een voorwaarde voor stoppen en een plan voor soepele uitfasering voordat u begint.
• Voed bevindingen terug in de roadmap, de businesscase en beslissingen over fasering.

Belangrijkste bronnen#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — beslishulpen “Is my study research?”, HRA Approval en richtlijnen voor ethiek van onderzoek.
• Integrated Research Application System (IRAS) — het enige portaal voor aanvragen voor Brits onderzoek in gezondheid en sociale zorg.
• National Institute for Health and Care Research (NIHR) — financiering, ondersteuning bij evaluatie en infrastructuur voor onderzoek.
• Health Innovation Network (voorheen Academic Health Science Networks) — ondersteuning bij evaluatie in de praktijk en adoptie.
• Medicines and Healthcare products Regulatory Agency (MHRA) — richtlijnen over data uit de praktijk en software/AI als medisch hulpmiddel.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (richtlijnen voor het kader).
• EQUATOR Network — richtlijnen voor rapportage (CONSORT, STROBE, TRIPOD) voor transparante rapportage van onderzoek.

Referenties#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/