Onderwerp 1.3 — Op bewijs gebaseerde besluitvorming

In één zin: Op bewijs gebaseerde besluitvorming betekent beslissen wat te bouwen, te kopen en op te schalen op grond van het beste beschikbare bewijs — klinisch en leveringsbewijs — evenredig aan het risico, en de redenering vastleggen zodat zij de mensen overleeft die haar maakten.

Waarom dit ertoe doet in gezondheid en zorg#

In de meeste sectoren kost een slechte productbeslissing geld. In gezondheid en zorg kan zij veiligheid, billijkheid en vertrouwen kosten — en wordt zij genomen met publieke middelen onder wettelijke plicht. Een beslissing om een digitale diagnostische toepassing in te zetten die nooit is geëvalueerd is geen commerciële gok; het is een klinisch risico. Dit verhoogt de lat voor bewijs ver boven “de demo zag er goed uit”.

Het domein is ook onderscheidend omdat het twee soorten bewijs tegelijk vraagt. Klinisch bewijs beantwoordt “werkt deze technologie en is zij veilig en effectief voor patiënten?” Leveringsbewijs beantwoordt “bouwen wij het juiste goed, en wordt het aangenomen en gebruikt?” Een dienst kan klinisch deugdelijk zijn maar een leveringsmislukking (niemand gebruikt haar), of een leveringssucces maar klinisch onbewezen (veel gebruikt, nooit gevalideerd). Senior leiders moeten beide eisen en nooit het ene voor het andere laten doorgaan. En omdat zorgbeslissingen toetsing aantrekken — van toezichthouders, het publiek en clinici — doet het verslag van waarom u besliste er evenveel toe als de beslissing zelf.

Kernbegrippen#

De bewijshiërarchie. Evidence-based medicine rangschikt studieontwerpen naar hoe goed zij bias beheersen: bovenaan systematische reviews en meta-analyses van gerandomiseerde gecontroleerde trials (RCT’s); dan afzonderlijke RCT’s; dan cohort- en patiënt-controleonderzoeken; dan casusreeksen; en onderaan deskundigenmening en anekdote. De hiërarchie is een gids, geen dwangbuis — maar zij disciplineert u op te merken wanneer een bewering op anekdote rust die zich als bewijs voordoet.

Het Evidence Standards Framework (ESF) van NICE voor digitale gezondheidstechnologieën. NICE heeft, met NHS England en partners, het ESF opgesteld om vast te leggen welk niveau bewijs een digitale gezondheidstechnologie (DHT) nodig heeft, evenredig aan haar functie en het risico dat zij draagt. Het deelt DHT’s in lagen naar potentieel risico — van eenvoudige systeemdiensten, via hulpmiddelen die zorg informeren of sturen, tot die welke rechtstreeks diagnosticeren of behandelen — en specificeert het verwachte bewijs van klinische effectiviteit en economisch bewijs op elke laag. Hoe hoger het klinische risico, hoe sterker het vereiste bewijs. Het ESF is het referentiepunt voor opdrachtgevers en ontwikkelaars die beslissen of een DHT gereed is.

Real-world data en real-world evidence. Real-worlddata (RWD) komen uit routinezorg — elektronische dossiers, registers, door patiënten gerapporteerde uitkomsten, apparaattelemetrie — in plaats van gecontroleerde trials. Goed geanalyseerd (via prospectieve observationele studies, pragmatische trials of zorgvuldige analyse van EPD’s) wordt het real-world evidence (RWE) over hoe een technologie in de praktijk presteert. RWE is essentieel voor technologieën die leren of veranderen (AI, wearables), waar een eenmalige trial het voortdurende gedrag niet kan vangen, maar het draagt risico’s van confounding die eerlijk moeten worden aangepakt.

Klinisch bewijs versus leveringsbewijs. Houd deze op afzonderlijke assen. Klinisch bewijs gebruikt de hiërarchie hierboven en het ESF: werkzaamheid, veiligheid, effectiviteit. Leveringsbewijs gebruikt product- en service-analyse: is de dienst bruikbaar, aangenomen, maakt zij de taak van de gebruiker af, vermindert zij faalvraag? Beide zijn nodig; ze verwarren is een klassieke fout (een hoog gebruikscijfer is geen klinisch bewijs).

Evaluatieontwerpen. Een logisch model (of veranderingstheorie) maakt expliciet hoe inputs en activiteiten outputs en uitkomsten moeten voortbrengen — het is de kaart die elke evaluatie toetst. Een RCT geeft het sterkste causale antwoord maar is traag, duur en soms onpraktisch of onethisch voor een snel bewegende dienst. Pragmatische evaluatie — pragmatische trials, onderbroken tijdreeksen, voor/na met controles, serviceevaluatie met gemengde methoden — ruilt wat zekerheid in voor snelheid en relevantie in de praktijk. Kies het ontwerp evenredig aan het risico en de beslissing in het geding.

A/B-testen en analyse. Voor leveringskant-vragen met lager risico (welke formulering verhoogt afspraakaanwezigheid? welke stroom vermindert uitval?) geven gecontroleerde online-experimenten (A/B-tests) snel, causaal leveringsbewijs. Ze zijn krachtig voor optimalisatie maar mogen nooit worden gebruikt om niet-beoordeelde klinische veranderingen door te voeren en moeten de grenzen van toestemming en informatiebeheer respecteren.

HiPPO-beslissingen. “HiPPO” — de mening van de Highest-Paid Person — benoemt het falen waarbij senioriteit bewijs overrulet. Culturen gebaseerd op bewijs maken het veilig en normaal om tegen iedereen in de ruimte te zeggen “wat tonen de data?” en behandelen een senior vermoeden als hypothese om te toetsen, niet als conclusie.

Beslisverslagen. Een beslisverslag (of beslislogboek / architecture decision record) legt beknopt vast: de beslissing, de overwogen opties, het gewogen bewijs, wie besliste en wanneer. Het maakt redenering controleerbaar, overleeft personeelsverloop en voorkomt dat hetzelfde argument elk kwartaal opnieuw wordt gevoerd.

Beste praktijken#

1. Stem de sterkte van het bewijs af op het risicoriveau. Gebruik de lagen van het NICE ESF als maatstaf: een laagrisicosysteemhulpmiddel heeft licht bewijs nodig; een hulpmiddel dat diagnosticeert of behandeling stuurt heeft hoogwaardig bewijs van klinische effectiviteit nodig. Evenredigheid laat u snel bewegen bij het veilige en langzaam bij het gevaarlijke, in plaats van één lat op alles toe te passen.

2. Eis klinisch en leveringsbewijs, en verwar ze nooit. Stel voor elke significante investering twee afzonderlijke vragen — “is het klinisch effectief en veilig?” en “is het bruikbaar en aangenomen?” — en eis bewijs voor elk. Adoptiecijfers zijn geen vervanging voor klinische validatie, en een positieve trial is geen garantie voor gebruik in de praktijk.

3. Begin elk initiatief met een logisch model. Schrijf vóór het bouwen op hoe u gelooft dat de interventie de gewenste uitkomst zal voortbrengen. Dit legt ongetoetste aannames vroeg bloot, definieert de maten die ertoe doen en geeft uw latere evaluatie iets concreets om te toetsen.

4. Gebruik real-world evidence voor technologieën die leren of blijven bestaan. Vul voor AI, algoritmen en langlevende diensten aanvankelijke trials aan of volg ze op met gestructureerde monitoring van routinedata — prospectieve observationele ontwerpen, pragmatische evaluatie — zodat u weet hoe prestaties in de praktijk standhouden en drift kunt vangen.

5. Experimenteer over leveringsvragen; evalueer klinische. Gebruik A/B-testen en analyse vrij voor leveringsoptimalisatie (formulering, stroom, prompts), binnen de grenzen van informatiebeheer en toestemming. Bewaar formele evaluatie (trials, pragmatische studies) voor vragen over klinisch effect. Leid elke vraag naar de juiste methode.

6. Dood HiPPO-beslissingen cultureel, niet alleen procedureel. Maak het expliciet aanvaardbaar om van elke beslisser bewijs te vragen, kader senior opvattingen als hypothesen en leg vooraf vast welk bewijs u van gedachten zou doen veranderen. Een team dat senioriteit veilig kan uitdagen neemt betere beslissingen.

7. Leg beslissingen en hun bewijs vast. Houd een lichtgewicht beslislogboek bij voor elke significante keuze — wat, waarom, welk bewijs, wie, wanneer. Dit creëert controleerbaarheid voor toezichthouders en het publiek, voorkomt eindeloos opnieuw procederen en bewaart institutioneel geheugen door personeelsverloop heen.

8. Besteed aandacht aan data-ethiek. Bewijswerk gebruikt patiëntdata; behandel rechtmatigheid, toestemming, evenredigheid en billijkheid als ontwerpbeperkingen. Waak voor vertekende datasets die ongelijkheid verankeren, respecteer de geheimhoudingsplicht en zorg dat uw bewijspraktijken zelf publieke toetsing zouden overleven.

Vragen om met uw team te bespreken#

1. Kunnen wij voor onze belangrijkste recente beslissing zowel klinisch bewijs als leveringsbewijs aanwijzen — afzonderlijk gehouden — of stond het ene stilletjes in voor het andere? Deze vraag toetst het aandringen van het onderwerp dat klinisch bewijs (“werkt het en is het veilig?”) en leveringsbewijs (“is het bruikbaar en aangenomen?”) op afzonderlijke assen staan en dat ze verwarren een klassieke, gevaarlijke fout is. Het doet ertoe omdat een dienst klinisch deugdelijk maar ongebruikt kan zijn, of veel gebruikt maar klinisch ongevalideerd, en in gezondheid en zorg een hoog gebruikscijfer voor klinisch bewijs aanzien patiënten risico kan laten lopen terwijl het op succes lijkt. De spanning om aan de oppervlakte te brengen is dat leveringsbewijs snel, goedkoop en vleiend is — dashboards met analyse lopen snel vol — terwijl klinisch bewijs traag, duur en vaak niet-doorslaggevend is, zodat er voortdurend druk is adoptiecijfers het argument te laten dragen. Neem een echt bestuursstuk of investeringscase en audit haar: zijn de twee soorten bewijs gescheiden, is elk werkelijk aanwezig en rust de klinische bewering op iets boven de demo van de leverancier of een studie op één locatie? Een goed, eerlijk antwoord identificeert een specifieke beslissing, erkent waar één bewijssoort dun of afwezig was en verbindt zich ertoe in toekomstige significante keuzes beide expliciet en afzonderlijk te eisen in plaats van een sterk gebruikscijfer iedereen te laten geruststellen.

2. Hoe evenredig is onze bewijslat werkelijk — eisen wij trials van de gouden standaard voor veranderingen met laag risico terwijl wij hulpmiddelen met hoger risico op dun bewijs doorlaten? Het onderwerp kadert evenredigheid via de lagen van het NICE ESF: licht bewijs voor een laagrisicosysteemhulpmiddel, hoogwaardig bewijs van klinische effectiviteit voor een hulpmiddel dat diagnosticeert of behandeling stuurt, dus deze vraag controleert of uw organisatie de lat werkelijk op risico afstemt of één botte norm toepast. Het doet ertoe omdat beide faalrichtingen duur zijn — analyseverlamming houdt een nuttige laagrisicocontentwijziging achter een onnodige RCT vast, terwijl een onvoldoende getoetst AI-hulpmiddel dat klinische beslissingen informeert door een overtuigende demo glipt — en elk het vertrouwen in de bewijscultuur ondermijnt. De afweging om te bespreken is dat evenredigheid oordeel en zelfvertrouwen vereist om te verdedigen, wat moeilijker is dan een uniforme regel; een algemeen “alles heeft een trial nodig” of “als het digitaal is, doe gewoon een pilot” is gemakkelijker te beheren maar verkeerd. Werk twee of drie huidige of recente technologieën door, plaats elk samen in zijn ESF-laag en controleer of het bewijs dat u eiste bij de laag paste of werd gedreven door wie het voorstond. Een eerlijk antwoord toont dat het team het risicoriveau van een technologie kan bepalen, erkent waar de lat in beide richtingen verkeerd is gesteld en behandelt evenredigheid als expliciete, verdedigbare norm in plaats van instinct.

3. Hoe veilig is het, cultureel, om de meest senior persoon in de ruimte te vragen “wat is het bewijs?” — en wanneer behandelden wij het laatst het vermoeden van een leider als hypothese om te toetsen in plaats van als beslissing? Deze vraag confronteert het HiPPO-faalpatroon rechtstreeks, waar de mening van de best betaalde persoon bewijs overrulet, en toetst of uw verklaarde toewijding aan bewijs het contact met hiërarchie en de leveranciersdemo overleeft die een gerespecteerde directeur imponeerde. Het doet ertoe omdat in gezondheid en zorg een door een demo gedreven beslissing om een niet-beoordeeld hulpmiddel in te zetten geen commerciële gok is maar een risico voor klinische veiligheid en publiek geld, en het moment waarop uitdagen onveilig wordt het moment is waarop bewijs ophoudt beslissingen te besturen. De echte spanning is dat psychologische veiligheid niet bij beleid kan worden verplicht; zij wordt gebouwd doordat senior leiders zichtbaar uitdaging uitnodigen, hun eigen opvattingen als hypothesen kaderen en vooraf vastleggen welk bewijs hen van gedachten zou doen veranderen — gedrag dat blootstellend voelt en onder tijdsdruk gemakkelijk wordt overgeslagen. Grond het gesprek in specifieke gevallen: herinner u een recente beslissing die meer door senioriteit of enthousiasme dan door data werd gedreven en vraag of iemand haar uitdaagde, of dat veilig voelde en wat een beslisverslag zou hebben vastgelegd. Een goed antwoord is open over waar hiërarchie nu wint, noemt concrete gedragingen die leiders zullen aannemen om uitdaging normaal te maken en koppelt de culturele toezegging aan het lichtgewicht beslislogboek dat redenering controleerbaar maakt en voorkomt dat hetzelfde argument opnieuw wordt gevoerd.

4. Hoe zouden wij voor de technologieën die leren of blijven bestaan — onze AI, onze algoritmen, onze langlevende diensten — werkelijk weten of hun prestaties zijn afgedreven sinds wij ze valideerden, en wie let erop? Het onderwerp is expliciet dat een eenmalige trial het voortdurende gedrag van technologieën die leren of veranderen niet kan vangen, en dat “eenmalige evaluatie” een benoemd faalpatroon is waarvan het tegengif real-world evidence en voortdurende monitoring is. Deze vraag doet ertoe omdat het gevaar stil is: een AI-model voor verslechtering of een triagealgoritme kan vervallen naarmate casemix, coderingspraktijk of datastromen stroomopwaarts verschuiven, en anders dan bij een kapotte functie faalt niets zichtbaar — het hulpmiddel blijft aannemelijke outputs produceren terwijl zijn percentage valse alarmen of gemiste gevallen stilletjes verslechtert. De spanning om aan de oppervlakte te brengen is dat monitoring weinig glamoureus en ongefinancierd is in verhouding tot de opwinding van uitrol: zodra een businesscase is getekend en baten zijn geboekt, voorzien weinig organisaties het prospectieve observationele werk, de driftmaten of de benoemde eigenaar die ze toetst van middelen. Kies één live AI- of algoritmisch hulpmiddel en volg haar leven na inzet concreet — welke routinedata worden gevolgd, tegen welke basislijn, met welke frequentie en wie zou een verslechtering escaleren en aan wie. Een eerlijk antwoord erkent waar validatie bij go-live stopte, onderscheidt de hulpmiddelen die werkelijk voortdurende surveillance nodig hebben van die welke dat niet doen en verbindt zich aan een benoemde eigenaar, een maat en een toetsingsritme in plaats van een vage intentie om “een oogje in het zeil te houden”.

5. Wanneer een beslissing die wij vandaag nemen over twee jaar in twijfel wordt getrokken — door een nieuwe directeur, een toezichthouder of het publiek — wat zal het schriftelijke verslag dan werkelijk tonen, en zou het die toetsing overleven? Het onderwerp behandelt het beslisverslag als kerninfrastructuur: een lichtgewicht logboek van de beslissing, de opties, het gewogen bewijs, wie besliste en wanneer, gewaardeerd omdat het redenering controleerbaar maakt, personeelsverloop overleeft en voorkomt dat hetzelfde argument elk kwartaal opnieuw wordt gevoerd. Deze vraag doet ertoe omdat beslissingen in gezondheid en zorg toetsing door toezichthouders, parlement en publiek aantrekken op een manier die commerciële zelden doen, en het uitgewerkte voorbeeld in dit onderwerp draait precies hierom — twee jaar later trekt een nieuwe directeur een ingezet hulpmiddel in twijfel en “het verslag antwoordt”. De echte spanning ligt tussen de minieme kosten per beslissing van de discipline en de chronische druk haar over te slaan: opschrijven waarom u besliste voelt op het moment bureaucratisch, en de mensen die het verslag het meest nodig hebben zijn toekomstig personeel dat er niet bij is om het te eisen. Toets het aan de werkelijkheid door te proberen de redenering achter een significante keuze van twaalf of achttien maanden geleden te reconstrueren — kunt u vinden welk bewijs werd gewogen en welke alternatieven werden verworpen, of alleen dat een beslissing werd genomen? Een goed antwoord confronteert of verslagen werkelijk voor significante beslissingen worden bijgehouden of alleen voor de gemakkelijke, of ze bewijs en opties vastleggen in plaats van alleen conclusies en of iemand ze ooit terugleest — omdat een ongelezen logboek met alleen conclusies auditorentheater is, geen institutioneel geheugen.

6. Wiens data trainen en valideren ons bewijs, en zijn wij ervan overtuigd dat het geen ongelijkheid zou verankeren — of behandelen wij data-ethiek als formulier om te tekenen in plaats van ontwerpbeperking? Het onderwerp staat erop dat bewijswerk op patiëntdata draait en dat rechtmatigheid, toestemming, evenredigheid en billijkheid ontwerpbeperkingen zijn, geen papierwerk, en waarschuwt specifiek tegen vertekende datasets die ongelijkheid verankeren en tegen “ethiek als papierwerk” als faalpatroon. Deze vraag doet ertoe omdat een technologie gevalideerd op een niet-representatieve bevolking slechter kan presteren voor de groepen die al het slechtst worden bediend — een model voor verslechtering of diagnose getraind waar bepaalde etniciteiten, leeftijden of comorbiditeiten ondervertegenwoordigd zijn kan die bias in elke toekomstige beslissing dragen, en op nationale schaal verankert een goedgekeurde dataset die ongelijkheid stelselbreed. De spanning is dat analyse van billijkheid moeilijker en trager is dan een kopcijfer voor nauwkeurigheid: zij vraagt dat u onderzoekt wie in de data zit en wie ontbreekt, prestaties uitsplitst over subgroepen en soms aanvaardt dat uw bewijs zwakker is voor de bevolkingen die u het meest moet dienen. Maak het concreet door een recent of voorgesteld hulpmiddel te nemen en te vragen op wiens dossiers het werd gebouwd en getest, of prestaties ooit per subgroep werden onderzocht en of de goedkeuring door informatiebeheer zich met billijkheid bezighield of slechts de rechtmatige grondslag bevestigde. Een eerlijk antwoord scheidt echte ethische toetsing van afvinken, erkent waar representativiteit nooit werd gecontroleerd en behandelt bias en billijkheid als vragen die het bewijs zelf moet beantwoorden en niet als nalevingsstap die aan het eind wordt vastgeschroefd.

In de praktijk: een voorbeeld uit gezondheid en zorg#

Een gemeenschapszorgorganisatie krijgt een AI-hulpmiddel aangeboden dat patiënten markeert met risico op verslechtering uit vitale functies. Een HiPPO-beslissing zou het inzetten omdat een gerespecteerde directeur onder de indruk was van de demo van de leverancier.

In plaats daarvan behandelt de organisatie de pitch als hypothese. Zij plaatst het hulpmiddel in de ESF-risicolaag van NICE die past bij een technologie die klinische beslissingen informeert en vraagt de leverancier om bewijs van effectiviteit op dat niveau; het sterkste dat wordt aangeboden is een kleine studie op één locatie. De organisatie schrijft een logisch model (betere vroege waarschuwing → eerdere escalatie → minder vermijdbare verslechteringen) en ontwerpt een pragmatische evaluatie: een inzet in schaduwmodus waarbij de alarmen van het hulpmiddel worden gelogd maar er niet op wordt gehandeld, vergeleken met werkelijke uitkomsten, plus kwalitatieve interviews met verpleegkundigen over de pasvorm in de werkstroom.

Tegelijk verzamelt zij leveringsbewijs: zouden clinici de alarmen werkelijk opmerken en vertrouwen? Zij voert A/B-achtige tests uit op de presentatie van alarmen. De leiders informatiebeheer en klinische veiligheid keuren het datagebruik en het gevarenlogboek goed. Na drie maanden toont het RWE een bescheiden maar echte verbetering en een aanvaardbaar percentage valse alarmen, en toont het leveringsbewijs dat clinici zich bezighouden met de herontworpen alarmen. De beslissing om door te gaan — met gefaseerde uitrol en voortgezette monitoring — wordt vastgelegd in een beslisverslag dat het gewogen bewijs aanhaalt. Twee jaar later, wanneer een nieuwe directeur het hulpmiddel in twijfel trekt, antwoordt het verslag.

Sectorperspectieven#

Iedereen is dezelfde plicht verschuldigd bewijs af te stemmen op risico, maar de middelen, prikkels en verantwoording rond bewijs verschillen sterk per organisatie.

Startup#

De beperking van een startup is dat klinisch bewijs van de gouden standaard traag en duur is terwijl de looptijd kort is, dus de verleiding is adoptiecijfers te verkopen alsof ze bewijs van klinisch effect zijn. De eerlijke zet is het product vroeg in de juiste ESF-laag van NICE te plaatsen en open te zijn tegenover kopers over de bewijskloof, met een duidelijk logisch model en een goedkope pragmatische evaluatie (een pilot in schaduwmodus, een onderbroken tijdreeks tegen één locatie) om het eerste real-world evidence te genereren. Beslisverslagen kosten vrijwel niets en zijn onevenredig waardevol voor een klein team, door redenering te bewaren door snelle pivots heen en investeerders met due diligence en NHS-beoordelaars een controlespoor te geven. De discipline die loont is het HiPPO-vermoeden van de oprichter te weerstaan en elke “de demo viel goed” als hypothese te behandelen om te toetsen.

Klein bedrijf#

Een gevestigde kleine aanbieder — een huisartsenpraktijk, een gemeenschapsapotheek, een verzorgingshuis, een kliniek met één vestiging, een kleine leverancier van gezondheidstechnologie voorbij het startupstadium — draagt dezelfde plicht bewijs op risico af te stemmen maar heeft echte patiënten, krappe kasstroom en weinig of geen toegewijde digitale capaciteit om het mee te doen. De realistische zet is te leunen op bewijs dat anderen al hebben geproduceerd in plaats van eigen te genereren: gebruik de ESF-laag van NICE en de DTAC-beoordeling van een kandidaat-hulpmiddel als kant-en-klare evenredigheid, vraag leveranciers om het bij de laag passende bewijs van klinische effectiviteit en weiger u door een gladde demo een niet-beoordeeld product te laten aanpraten. Leveringsbewijs is waar een kleine organisatie werkelijk voorop kan lopen, omdat zij haar eigen patiënten van dichtbij ziet — enkele weken eerlijke observatie over de vraag of personeel een hulpmiddel werkelijk gebruikt en of het faalvraag vermindert is real-world evidence binnen bereik. Een beslisverslag van één regel — wat wij kozen, welk bewijs wij zagen, wie besliste — kost een klein team vrijwel niets en beschermt het wanneer een partner vertrekt of een inspecteur van de CQC vraagt waarom. De valkuil om te vermijden is aannemen dat klein zijn u vrijstelt van de bewijslat; de plicht aan patiënten is identiek, alleen de middelen niet.

Grote onderneming#

Een NHS-ziekenhuis of ICS heeft de routinedata, de patiëntvolumes en het analytisch vermogen om serieuze evaluatie te doen — en de verantwoording die het eist, omdat een onbewezen hulpmiddel op schaal inzetten tegelijk een risico voor klinische veiligheid en publiek geld is. Het faalpatroon is institutioneel: een gerespecteerde directeur die een leveranciersdemo voorstaat, of een businesscase gebouwd op geprojecteerde baten die niemand later controleert. Het tegengif is het cultureel veilig te maken om van elke beslisser te vragen “wat is het bewijs?”, in elk bestuursstuk klinisch en leveringsbewijs op afzonderlijke assen te houden en voortgezette monitoring van real-world evidence voor AI en langlevende diensten te financieren in plaats van eenmaal te valideren. Een grote onderneming in farmacie of gezondheidstechnologie brengt formele trialmachinerie maar moet waken voor publicatiebias en confounding in het real-world evidence dat zij genereert.

Overheid#

Een nationaal orgaan — NICE, NHS England, DHSC, de MHRA, UKHSA — stelt vaak de bewijslat vast die anderen moeten halen, dus zijn werkwijzen vormen de hele markt: het ESF, DTAC en de regelgeving voor software als medisch hulpmiddel zijn instrumenten van verantwoording op bevolkingsschaal. Beslissingen hier trekken toetsing van toezichthouders, parlement en publiek aan, dus het verslag van waarom een technologie werd aanbevolen of ingekocht doet er evenveel toe als de beslissing, en transparantie over de beperkingen van bewijs is een plicht, geen beleefdheid. Het risico op deze schaal is een technologie stelselbreed verplichten op dun bewijs, of omgekeerd een RCT eisen voor een laagrisicowijziging en nuttige innovatie vertragen. Het tegengif is evenredigheid expliciet gemaakt in gepubliceerde normen, plus aandacht voor data-ethiek en billijkheid, omdat een vertekende dataset die nationaal wordt onderschreven ongelijkheid op schaal verankert.

Veelvoorkomende faalpatronen#

• Door demo’s gedreven beslissingen. Kopen omdat een demonstratie een senior leider imponeerde. Tegengif: behandel pitches als hypothesen; eis bewijs passend bij de laag.
• Gebruik aangezien voor validatie. Adoptiecijfers aanhalen als bewijs dat een hulpmiddel klinisch effectief is. Tegengif: houd klinisch en leveringsbewijs op afzonderlijke assen.
• Eenmalige evaluatie. Eenmaal valideren en nooit monitoren, vooral voor AI die afdrijft. Tegengif: real-world evidence en voortdurende monitoring.
• Analyseverlamming. Een RCT eisen voor een laagrisicocontentwijziging. Tegengif: evenredige methoden; A/B en pragmatische evaluatie waar het risico laag is.
• Niet vastgelegde beslissingen. Geen spoor van waarom een keuze werd gemaakt, zodat zij opnieuw wordt bediscussieerd en niet controleerbaar is. Tegengif: een lichtgewicht beslislogboek.
• Ethiek als papierwerk. Data-ethiek behandelen als formulier om te tekenen in plaats van ontwerpbeperking. Tegengif: bouw rechtmatigheid, toestemming en billijkheid in het bewijsontwerp in.

Volwassenheidsmodel#

Checklist#

• Elke technologie is in een ESF-risicolaag van NICE geplaatst, met bijpassend geëist bewijs.
• Elke significante beslissing heeft zowel klinisch als leveringsbewijs, afzonderlijk gehouden.
• Een logisch model bestaat vóór het bouwen, met de uitkomsten en maten.
• Het evaluatieontwerp is evenredig aan het risico (A/B en pragmatisch voor laag; trials/RWE voor hoog).
• Real-world evidence en monitoring zijn aanwezig voor AI en langlevende diensten.
• Het is cultureel veilig om van elke beslisser te vragen “wat is het bewijs?”
• Elke significante beslissing is vastgelegd in een beslislogboek (wat, waarom, bewijs, wie, wanneer).
• Datagebruik is rechtmatig, met toestemming, evenredig en gecontroleerd op bias en billijkheid.

Belangrijkste bronnen#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — richtlijnen over software en AI als medisch hulpmiddel.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (bewijshiërarchie).
• HM Treasury — The Magenta Book (richtlijnen over evaluatie, logische modellen en evaluatieontwerpen).
• MRC — kader Developing and evaluating complex interventions.
• Ron Kohavi e.a. — Trustworthy Online Controlled Experiments (A/B-testen).
• Michael Nygard — Architecture Decision Records (patroon van het beslislogboek).

Referenties#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/