Onderwerp 10.1 — Kernprestatie-indicatoren (KPI’s)

Een kernprestatie-indicator (KPI) is een klein, zorgvuldig gekozen getal dat u vertelt of een dienst veilig, billijk, effectief en vertrouwd is — en in gezondheid en zorg is het goed kiezen en lezen van die getallen zelf een kwestie van klinische veiligheid en publieke verantwoording, geen administratieve huishouding.

Waarom dit ertoe doet in gezondheid en zorg#

In gezondheid en zorg vormen de getallen die u in de gaten houdt de zorg die mensen krijgen. Een KPI voor de wachtlijst die “ingeplande patiënten” telt maar niet “geziene patiënten” kan een cohort verbergen dat thuis stilletjes verslechtert. Een dashboard van een digitale dienst dat groen is op beschikbaarheid maar zwijgt over de vraag of gebruikers met een beperking een afspraak kunnen voltooien laat een probleem van toegang uitgroeien tot een ongelijkheid in gezondheid. Wat u meet signaleert wat u waardeert, en personeel, leveranciers en algoritmen optimaliseren allemaal naar het gemeten doel — soms ten koste van het ongemeten ding dat er werkelijk toe deed.

De inzet is hier hoger dan in de meeste sectoren omdat de faalpatronen menselijk zijn. De onderzoeken naar Mid Staffordshire en andere vonden herhaaldelijk organisaties die hun financiële en activiteitsdoelen haalden terwijl de kwaliteit van zorg eronder instortte. Maten werden groen naar boven gerapporteerd terwijl patiënten schade leden — het patroon dat nu breed “watermelonrapportage” heet (groen aan de buitenkant, rood vanbinnen), dat Onderwerp 10.4 — Zichtbaarheid voor de CEO en senior leiders diepgaand onderzoekt. Goede KPI’s zijn een van uw verdedigingen tegen die kloof tussen het gerapporteerde en het echte beeld.

KPI’s besteden ook publiek geld en publiek vertrouwen. Elke indicator die u publiceert wordt onderdeel van hoe burgers, toezichthouders en opdrachtgevers het stelsel beoordelen. Overdrijven, selectief kiezen of een streefcijfer manipuleren is niet alleen slecht management; het tast het vertrouwen aan waarvan digitale gezondheid afhangt om mensen data te laten delen en nieuwe diensten te laten gebruiken. Dit onderwerp is de meetpartner van Onderwerp 10.0 — Doelstellingen en kernresultaten (OKR’s): waar OKR’s gerichte verandering sturen, monitoren KPI’s de doorlopende gezondheid van de diensten en systemen die u draait.

Kernbegrippen#

Een prestatie-indicator, of KPI, is een maat die is gekozen omdat zij de voortgang weerspiegelt tegen een doelstelling die ertoe doet. Een prestatiemaat is elke meting van activiteit of toestand; een KPI is de deelverzameling die u bewust hebt verheven tot “let op deze”. Het woord kern draagt gewicht — als alles een KPI is, is niets het. Een nuttige discipline is een handvol KPI’s per dienst te houden, elk met een benoemde eigenaar, een definitie, een gegevensbron en een reden waarom het een plek op het bord verdient.

Een goede KPI heeft vier eigenschappen. Hij is afgestemd op een uitkomst die werkelijk ertoe doet voor patiënten, burgers of clinici, niet louter op interne activiteit. Hij is bruikbaar om op te handelen — wanneer hij beweegt, kan iemand er iets aan doen. Hij is tijdig — hij komt vroeg genoeg om erop te handelen, niet zes weken nadat het kwartaal is afgesloten. En hij is moeilijk te manipuleren — hij kan op papier niet worden verbeterd zonder het echte ding te verbeteren. Maten die de laatste toets niet doorstaan nodigen uit tot de wet van Goodhart: “wanneer een maat een doel wordt, houdt zij op een goede maat te zijn.”

Indicatoren worden gewoonlijk gesplitst in vooruitlopend en achteraf. Een achterlopende indicator bevestigt een uitkomst achteraf (sterfte binnen 30 dagen, jaarlijkse tevredenheid van patiënten). Een vooruitlopende indicator beweegt eerder en voorspelt de achterlopende (volledigheid van medicatieverificatie, frequentie van implementaties, het aandeel verwijzingen dat binnen 24 uur is getrieerd). U hebt beide nodig: achterlopende indicatoren vertellen u of u wint, vooruitlopende indicatoren vertellen u het op tijd om het resultaat te veranderen. Veel economische en operationele kaders beschrijven dit onderscheid tussen vooruitlopend en achterlopend.

Een parallelle en even belangrijke splitsing is die in proces-, output- en uitkomstmaten. Een procesmaat telt of u het ding hebt gedaan (aangeboden afspraken, gemigreerde dossiers). Een outputmaat telt wat is voortgebracht (verzonden brieven, beschikbare testuitslagen). Een uitkomstmaat legt vast wat er werkelijk voor de persoon veranderde — een uitkomstmaat zoals verbetering van symptomen, vermeden opname of een door de patiënt gerapporteerde score voor kwaliteit van leven. Stelsels voor gezondheid en zorg hebben een chronische neiging naar activiteit omdat activiteit gemakkelijk te tellen is en vaak bepaalt hoe geld stroomt. Weersta haar: geef voorrang aan uitkomsten en ervaring en gebruik procesmaten als de vooruitlopende indicatoren die ze verklaren.

Omdat geen enkel getal op zichzelf veilig is, gebruikt u uitgebalanceerd meten. De discipline van de balanced scorecard van Kaplan en Norton koppelt elke prestatiemaat aan andere zodat verbeteren van de ene ten koste van de andere zichtbaar wordt. Het Institute for Healthcare Improvement formaliseert dit als uitkomst-, proces- en balanceringsmaten — de balanceringsmaat let op de schade die uw verbetering elders kan veroorzaken (sneller ontslag afgewogen tegen heropname bijvoorbeeld).

Niet elk getal dat stijgt is vooruitgang. Een ijdelheidsmaat ziet er indrukwekkend uit en stijgt betrouwbaar maar informeert geen beslissing — totaal aantal geregistreerde gebruikers, cumulatieve aanmeldingen, paginaweergaven. De beweging van de lean startup maakte het contrast populair tussen ijdelheidsmaten en bruikbare maten: een bruikbare maat koppelt een verandering die u aanbracht aan een verandering in gedrag of uitkomst waarop u kunt handelen. Cumulatieve tellingen zijn de klassieke verraders — ze stijgen altijd, dus ze kunnen nooit signaleren dat er iets mis is.

Maak ten slotte onderscheid tussen meten voor verbetering en meten voor oordeel. Oordeel vraagt “hebt u het streefcijfer deze maand gehaald?” en reduceert een levend proces tot een rood-of-groene vergelijking van twee punten met de vorige periode — een vergelijking die vrijwel altijd statistisch betekenisloos is omdat zij signaal niet van ruis kan onderscheiden. Verbetering vraagt “verandert dit proces, en kunnen we de verandering vertrouwen?” en beantwoordt dat met statistische procesbeheersing (SPC): een maat in de tijd uitzetten op een verloopgrafiek of regelkaart met controlegrenzen, zodat u kunt zien of variatie gewone ruis (gemeenschappelijke oorzaak) is of een echt signaal (bijzondere oorzaak) waarop gehandeld moet worden. Het programma Making Data Count van NHS England heeft dit de aanbevolen manier gemaakt om operationele data in de NHS te presenteren, juist om de reflex “hoger dan vorige maand, lager dan streefcijfer” te doden die slechte beslissingen aandrijft.

Beste praktijken#

1. Begin bij de uitkomst en werk dan terug naar de indicator. Noem wat waar moet zijn voor een patiënt, burger of clinicus — minder vermijdbare opnames, snellere toegang, veilige medicatie — en vraag pas dan wat u zou vertellen dat het gebeurt. Dit behoedt u voor de standaardvalkuil van meten wat uw systemen toevallig vastleggen. Als u een kandidaat-KPI niet kunt verbinden met een uitkomst waar iemand om geeft, is het waarschijnlijk een ijdelheidsmaat.

2. Houd de set klein en geef elke KPI een eigenaar en een definitie. Een bestuur of dienst moet een handvol KPI’s in de gaten houden, geen vijftig. Elk heeft een precieze definitie nodig (wat telt mee, wat is uitgesloten, over welke periode), een benoemde eigenaar die ervoor verantwoordelijk is en een gedocumenteerde gegevensbron. Dubbelzinnige definities zijn hoe twee teams een maand kibbelen over een getal dat zij verschillend maten.

3. Balanceer elke KPI zodat hij niet geïsoleerd kan worden gemanipuleerd. Vraag bij elke maat “hoe zou een rationeel persoon dit getal kunnen verbeteren zonder het echte ding te verbeteren, en welke balanceringsmaat zou hem betrappen?” Koppel toegang aan veiligheid, doorvoer aan heropname, kosten aan ervaring, snelheid van levering aan het percentage mislukte wijzigingen. Uitgebalanceerde sets maken manipulatie zichtbaar en erkennen de werkelijkheid dat uitkomsten in gezondheid en zorg meerdimensionaal zijn.

4. Geef voorrang aan uitkomst- en ervaringsmaten boven activiteit. Tellingen van activiteit zijn verleidelijk omdat ze overvloedig zijn en vaak aan financiering gekoppeld, maar ze beantwoorden “hoe druk waren we?” en niet “heeft het geholpen?”. Verhef waar u kunt uitkomstmaten en door patiënten gerapporteerde ervarings- en uitkomstmaten (PREM’s en PROM’s) tot de KPI-set en degradeer ruwe activiteit tot de ondersteunende laag. Kies waar een uitkomst traag of moeilijk te meten is een gevalideerde vooruitlopende procesmaat die haar betrouwbaar voorspelt.

5. Presenteer KPI’s als tijdreeksen met SPC, niet als vergelijkingen van twee punten. Neem de aanpak van Making Data Count over: zet de maat uit in de stijl van een verloopgrafiek of regelkaart zodat variatie door gemeenschappelijke oorzaak en signalen van bijzondere oorzaak in één oogopslag te onderscheiden zijn. Dit weerhoudt teams ervan op ruis te reageren, een gelukkige maand te vieren of voor een ongelukkige te worden gestraft. Het verandert ook het gesprek in de bestuurskamer van “waarom misten we?” naar “is het proces werkelijk veranderd?” — wat de vraag van verbetering is (zie Onderwerp 10.2 — Kwaliteitsverbetering en verbeterwetenschap).

6. Segmenteer KPI’s naar populatie om ongelijkheid zichtbaar te maken. Een totaalgetal verbergt de verdeling. Een “goede” gemiddelde wachttijd kan verhullen dat patiënten uit de meest achtergestelde wijken, of die een tolk nodig hebben, veel langer wachten. Splits elke KPI die voor billijkheid relevant is uit naar achterstand, etniciteit, leeftijd, beperking en digitale toegang, in lijn met de plichten rond gezondheidsbillijkheid en kaders als Core20PLUS5 van de NHS. Segmenteer in digitale diensten ook adoptie en voltooiing — een kop-cijfer voor gebruik kan verhullen dat uw dienst juist de mensen uitsluit die haar het meest nodig hebben (zie Onderwerp 4.5 — Data, analyse en beheer van bevolkingsgezondheid).

7. Behandel datakwaliteit als voorwaarde en meet haar. Een KPI is zo betrouwbaar als de data eronder. Volg de datakwaliteit van de velden waarvan uw KPI’s afhangen — volledigheid, geldigheid, tijdigheid, dekking — met instrumenten als de NHS Data Quality Maturity Index en toon kanttekeningen bij datakwaliteit naast het getal. Als in 30% van de dossiers het veld ontbreekt, zeg dat dan op het dashboard; een KPI die zelfverzekerd oogt en op slechte data is gebouwd is erger dan geen KPI.

8. Gebruik leveringsmaten voor de digitale dienst zelf, gekozen met dezelfde nauwgezetheid. Voor de software die u bouwt en draait geven de vier sleutels van DevOps Research and Assessment (DORA) — frequentie van implementaties, doorlooptijd van wijzigingen, percentage mislukte wijzigingen en tijd tot herstel van de dienst — een uitgebalanceerd beeld van snelheid en stabiliteit. Als set zijn ze moeilijk te manipuleren: u kunt niet sneller opleveren door dingen kapot te maken, want het percentage mislukte wijzigingen en de hersteltijd betrappen het. Vul ze aan met KPI’s voor betrouwbaarheid en veiligheid die klinisch ertoe doen, zoals incidentpercentages en beschikbaarheid van functies die kritiek zijn voor veiligheid (zie Onderwerp 3.6 en Onderwerp 3.8).

9. Laag uw rapportage zodat elk publiek de juiste hoogte krijgt. Een team op de werkvloer heeft gedetailleerde procesmaten in real time nodig; een bestuur van de dienst een uitgebalanceerd handvol met SPC; het leiderschap van het stelsel een samengesteld aantal uitkomst- en billijkheidsmaten. Ontwerp de lagen bewust zodat het bovenste beeld een eerlijke aggregatie is van de onderliggende, geen met de hand gekozen vleiende deelverzameling. Dit is uw structurele verdediging tegen watermelonrapportage (Onderwerp 10.4).

10. Toets en schaf KPI’s af volgens een schema. Indicatoren verouderen: een maat die echte verbetering dreef kan een gemanipuleerd ritueel worden zodra het gedrag waarop zij mikte is ingebed, en er ontstaan nieuwe risico’s die niets in de gaten houdt. Zet KPI’s op een regelmatige toetsing waarin u van elk vraagt “vertelt dit ons nog iets waarop we handelen?” en schaf het dode hout af. Een verouderde set KPI’s is niet neutraal — zij stuurt de aandacht actief verkeerd.

Vragen om met uw team te bespreken#

1. Hoe zou iemand voor elk van onze belangrijkste KPI’s het getal kunnen verbeteren zonder de werkelijkheid te verbeteren — en zouden wij het merken? Dit is de stresstest van de wet van Goodhart, en hij wordt het best gedaan als bewust tegenwerkende oefening. Neem elke KPI en laat het team de rol spelen van een overbelaste dienst die hem probeert te halen: ontslaan vóór middernacht om de klok te herstellen, een wachtende patiënt herindelen, een ticket sluiten en heropenen om de oplostijd te herstellen, gebruikers in bulk registreren die nooit terugkomen. Het punt is geen cynisme over collega’s maar erkenning dat druk plus een streefcijfer met één getal voorspelbare vertekeningen oplevert, vooral wanneer beloning, reputatie of contractuele boetes aan het getal hangen. Een goed antwoord noemt voor elke KPI de specifieke route voor manipulatie en identificeert de balanceringsmaat of datacontrole die haar zou ontmaskeren — en wijst eerlijk elke KPI aan waarvoor u nu geen zo’n waarborg hebt. Als een maat zo niet te verdedigen is, moet de discussie eindigen met een besluit hem te koppelen, te herdefiniëren of te laten vallen.

2. Welke van onze getallen rapporteren wij voor verbetering en welke voor oordeel — en presenteren wij elk op een manier die erbij past? Teams nemen routinematig een maat die was gebouwd om een dienst te helpen leren en geven hem ongewijzigd aan een commissie die hem gebruikt om iemand ter verantwoording te roepen, of omgekeerd. De spanning is echt: leiders hebben geruststelling nodig en verbetering heeft veiligheid nodig om problemen eerlijk te zien, en dezelfde grafiek kan niet altijd beide dienen zonder vertekening. Loop uw werkelijke pakketten voor bestuur en operatie door en label het werkelijke doel van elke maat, en vraag dan of de presentatie past — toont u een rood/groene vergelijking van twee punten waar een SPC-grafiek reacties uit de losse pols op ruis zou voorkomen? Een goed, eerlijk antwoord geeft toe waar een cultuur van oordeel is binnengeslopen in fora voor verbetering (waardoor personeel problemen verbergt) en waar vage verhalen over verbetering worden gebruikt om legitieme verantwoording te ontlopen. Het doel is een bewuste keuze per maat, met SPC als standaardpresentatie, in plaats van een toevallige warboel.

3. Onthullen of verhullen onze KPI’s ongelijkheid, en wiens ervaring ontbreekt er helemaal in? Totale KPI’s zijn comfortabel juist omdat ze de mensen aan de rand wegmiddelen, en in gezondheid en zorg is de rand waar vermijdbare schade zich concentreert. Bespreek welke van uw indicatoren zijn gesegmenteerd naar achterstand, etniciteit, beperking, leeftijd en digitale toegang — en welke nog slechts worden gerapporteerd als één cijfer voor het hele stelsel dat gezond kan lijken terwijl een subgroep tekort wordt gedaan. Duw verder naar de mensen die helemaal nooit in uw data komen: patiënten die niet voorbij de aanmelding kwamen, die het digitale formulier opgaven, die nooit werden verwezen, die weigerden het demografische veld te delen waarop u segmenteert. Een sterk antwoord identificeert ten minste één KPI waarbij segmentatie het verhaal veranderde of zou veranderen, erkent eerlijk de grenzen van datakwaliteit en toestemming bij segmentatie en verbindt zich tot een specifieke stap — zelfs een proxy of een klein kwalitatief onderzoek — om het nu onzichtbare te zien. Minder riskeert een dashboard dat technisch juist en moreel blind is.

4. Hoeveel KPI’s houden wij werkelijk in de gaten, en welke zouden wij kunnen afschaffen zonder iets te verliezen? Het woord kern betekent alleen iets als de set klein is, maar indicatoren stapelen zich sneller op dan iemand ze verwijdert — hier een nationale opgave, daar een contractuele maat, een getal dat een voormalige directeur ooit vroeg en dat niemand sindsdien durfde te laten vallen. De spanning is dat elke KPI op zichzelf verdedigbaar voelt, zodat de set groeit tot de bestuurspapieren honderd pagina’s zijn die niemand leest en de werkelijk belangrijke signalen zijn begraven tussen zombiematen die uit gewoonte worden geproduceerd. Loop uw werkelijke rapportage door en tel de indicatoren eerlijk, en vraag dan van elke of iemand er het afgelopen jaar op handelde en welke beslissing hij informeert; de maten die geen van beide toetsen doorstaan zijn dood hout dat nog steeds tijd van analisten verbruikt en de aandacht verdunt. Een goed antwoord noemt een specifiek aantal dat u per dienst zult aanhouden, identificeert ten minste één KPI om rechtstreeks af te schaffen en zet een geplande toetsing op zodat de set samengesteld blijft en niet stilletjes weer opzwelt. Wees op uw hoede voor de reflex dat een maat afschaffen een bekentenis van falen is — gedisciplineerd aftrekken is een teken van volwassenheid, niet van verwaarlozing.

5. Hoeveel vertrouwen wij werkelijk de data onder elke belangrijke KPI, en zegt het dashboard dat? Een zelfverzekerd ogend getal gebouwd op een veld dat voor 30% onvolledig is, is gevaarlijker dan helemaal geen getal, omdat het uitnodigt tot beslissingen die de data niet kunnen dragen terwijl het het gezag van een schoon cijfer draagt. In gezondheid en zorg is dit acuut: demografische velden die nodig zijn voor segmentatie naar billijkheid zijn vaak schaars, de praktijk van codering verschilt tussen locaties en de daad van een papieren proces digitaliseren kan verschuiven wat wordt vastgelegd en wanneer. Bespreek voor elke KPI of u de volledigheid, geldigheid, tijdigheid en dekking kent en of die kanttekeningen met het getal meereizen naar het bestuurspakket of stilletjes worden weggestript terwijl het omhoog gaat. Een sterk antwoord wijst op een concreet instrument — een datakwaliteitscontrole, de DQMI, een drempel voor volledigheid waaronder een maat wordt gemarkeerd — en toont ten minste één plek waar een kanttekening over datakwaliteit naast de KPI wordt getoond in plaats van verborgen. De eerlijke versie geeft toe waar u nu een getal rapporteert waarachter u niet volledig kunt staan en behandelt het herstellen van de data als onderdeel van de KPI, niet als afzonderlijk punt van de achterstand.

6. Rollen de lagen van onze rapportage eerlijk op, en waar zou rood groen kunnen worden op weg naar het bestuur? Verschillende doelgroepen hebben terecht verschillende hoogtes nodig — een team op de werkvloer wil gedetailleerde procesmaten in real time, een bestuur een uitgebalanceerd handvol met SPC, een stelsel een samengesteld aantal uitkomsten — maar elke aggregatie is een kans dat het onderliggende beeld wordt gladgestreken, uitgemiddeld of met de hand gekozen tot iets comfortabelers dan de waarheid. Dit is de structurele wortel van watermelonrapportage: hoe meer lagen tussen de afdeling en het bestuur, hoe meer plekken waar een verdeling kan worden platgeslagen tot een geruststellend gemiddelde, of een worstelende locatie kan worden weggestreept tegen een sterke. Volg één KPI van zijn bron op de werkvloer helemaal naar het bovenste beeld en vraag of het getal voor het management een getrouwe aggregatie is of een vleiende deelverzameling, en wie — als iemand — die samenvoeging controleert. Een goed antwoord toont dat de lagen van rapportage bewust zijn ontworpen met afgesproken definities en eigenaren, identificeert ten minste één punt waar de aggregatie een probleem zou kunnen maskeren en noemt de balanceringsmaat of de uitsplitsing die het bovenste beeld waarheidsgetrouw houdt. Eerlijkheid betekent hier toegeven waar de samenvoeging nu op vertrouwen is genomen in plaats van gecontroleerd (zie Onderwerp 10.4).

In de praktijk: een voorbeeld uit gezondheid en zorg#

Een integrated care system (ICS) lanceert een digitale verwijsdienst waarmee huisartsen rechtstreeks kunnen verwijzen naar gemeenschapsfysiotherapie voor het bewegingsapparaat (MSK), ter vervanging van een proces met papier en fax. Het instinct van het programmabestuur is twee KPI’s te rapporteren: het aantal ontvangen digitale verwijzingen en de beschikbaarheid van het systeem. Binnen drie maanden zijn beide sterk groen — duizenden verwijzingen, 99,9% beschikbaarheid — en het bestuur staat klaar succes uit te roepen.

De klinisch directeur is onrustig en vraagt het analyseteam (werkend met het patroon in Onderwerp 4.5) de set KPI’s rond uitkomsten opnieuw op te bouwen. Zij komen uit op een uitgebalanceerd handvol: tijd van verwijzing tot eerste contact (toegang, getoond als SPC-grafiek), het aandeel verwijzingen dat als onvolledig wordt teruggestuurd of afgewezen (een vooruitlopend signaal van kwaliteit), een door de patiënt gerapporteerde uitkomstscore bij ontslag (uitkomst), een korte ervaringsmaat (voelde u zich betrokken bij beslissingen?) en het percentage mislukte wijzigingen voor de releases van de dienst (stabiliteit van de levering). Elke maat voor toegang en uitkomst wordt gesegmenteerd naar decielen van achterstand en naar de vraag of de patiënt digitale ondersteuning nodig had.

Het herbouwde beeld vertelt een heel ander verhaal. De beschikbaarheid is werkelijk prima, maar het percentage terugsturingen naar de verwijzer is 22% — een op de vijf verwijzingen stuit af omdat het digitale formulier een voorgeschiedenis in vrije tekst verplicht stelt, zodat huisartsen het manipuleren door “zie bijlage” te typen en het triageteam ze afwijst. De SPC-grafiek toont dat de toegangstijd stabiel is maar ruim boven het streefcijfer ligt zonder verbeterende trend. En segmentatie onthult dat patiënten in de twee meest achtergestelde decielen half zo vaak de route van zelfverwijzing voltooien waar de dienst mensen stilletjes naartoe duwde, waardoor een kloof wordt vergroot waarvan het programma aannam dat het die dichtte. Niets hiervan was zichtbaar in de oorspronkelijke twee groene getallen. Het bestuur ontwerpt het formulier opnieuw, voegt een pad met bijgestane verwijzing toe en houdt de uitgebalanceerde, gesegmenteerde, op SPC gebaseerde set KPI’s als vast beeld — met het ruwe aantal verwijzingen gedegradeerd tot een ondersteunende maat waar het hoort.

Sectorperspectieven#

Startup#

Een startup in digitale gezondheid leeft of sterft bij enkele bruikbare maten, dus de discipline is meedogenloze focus en eerlijkheid. Oprichters worden verleid investeerders ijdelheidsmaten te tonen — cumulatieve downloads, totaal aantal geregistreerde gebruikers — omdat ze alleen maar stijgen; weersta, en open met activatie, behoud en, waar u kunt meten, klinische uitkomst of een gevalideerde proxy. Met kleine aantallen zijn SPC en segmentatie moeilijker maar nog belangrijker: een handvol slechte ervaringen kan uw hele signaal voor veiligheid zijn. Instrumenteer het product vanaf dag één zodat elke KPI een verandering die u opleverde koppelt aan een verandering in echt gedrag, en wees openhartig tegenover klinische en regelgevende partners over de grenzen van datakwaliteit in plaats van een dunne dataset op te poetsen.

Klein bedrijf#

Een gevestigde kleine aanbieder — een huisartsenpraktijk, een gemeenschapsapotheek, een verzorgingshuis, een thuiszorgbureau, een kliniek met één vestiging of een kleine leverancier van health-tech voorbij het stadium voor omzet — draagt dezelfde plichten rond meten en billijkheid als een groot ziekenhuis maar zonder eigen analist en met weinig tijd over. De valkuil is verdrinken in de KPI’s die nationale opgaven, de CQC en opdrachtgevers al eisen terwijl u niets meet wat helpt de dienst te runnen; het tegengif is een werkelijk klein handvol uitkomst- en ervaringsmaten te kiezen waarop u kunt handelen en te leunen op wat uw bestaande klinische systeem of praktijksysteem al vastlegt in plaats van nieuwe instrumentatie te bouwen. SPC is zelfs met de hand of in een spreadsheet de moeite waard — een eenvoudige verloopgrafiek van bijvoorbeeld de wekelijkse tijd tot afspraak stopt u ervan de ruis van één slechte week na te jagen. Segmentatie telt op deze schaal even zwaar, maar met kleine aantallen kunnen een paar individuele patiënten een percentage doen zwaaien, dus lees uitsplitsingen als aanleiding om nader te kijken en niet als oordeel. Wees eerlijk tegenover opdrachtgevers over de grenzen van datakwaliteit van een slanke organisatie en weersta het overnemen van het dashboard met vijftig maten van een grote organisatie wanneer vijf goedgekozen getallen uw patiënten beter dienen.

Grote onderneming#

Een groot NHS-ziekenhuis of leverancier van health-tech verdrinkt al in indicatoren — nationale opgaven, contractuele KPI’s, maten voor het bestuur, operationele dashboards — dus de uitdaging is samenstelling en samenhang, niet verzameling. Neem SPC over in de rapportage voor bestuur en operatie (zoals Making Data Count bedoelt) om het maandelijkse najagen van ruis te stoppen en bouw expliciete lagen van rapportage zodat het beeld voor het management een eerlijke samenvoeging is van dat op de werkvloer. Watermelonrapportage is het risico op schaal van de grote onderneming: hoe meer lagen tussen de afdeling en het bestuur, hoe gemakkelijker rood onderweg groen wordt, dus investeer in de balanceringsmaten en kanttekeningen bij datakwaliteit die het bovenste beeld waarheidsgetrouw houden. Schaf verouderde KPI’s bewust af; grote organisaties stapelen zombiematen op waarop niemand handelt maar die iedereen nog steeds produceert.

Overheid#

Een nationaal of lokaal publiek orgaan stelt KPI’s vast die over een heel stelsel uitdijen en politieke streefcijfers worden, wat de wet van Goodhart een systemisch gevaar maakt en geen lokaal — een nationaal streefcijfer voor wachttijden hervormt van de ene op de andere dag klinische prioriteiten overal. Ontwerp gepubliceerde indicatoren in het besef dat ernaar zal worden geoptimaliseerd, koppel ze aan balanceringsmaten en segmentatie naar billijkheid en wees transparant over definities en datakwaliteit omdat publiek vertrouwen daarvan afhangt. Kaders als het NHS Outcomes Framework en Core20PLUS5 bestaan juist om de nationale aandacht op uitkomsten en ongelijkheden te houden in plaats van op ruwe activiteit. De overheid draagt ook een plicht die de anderen niet hebben: de mensen meten die haar diensten uitsluiten, niet alleen de mensen die zij dienen, omdat de uitgeslotenen zelden in de administratieve data verschijnen.

Veelvoorkomende faalpatronen#

• Activiteit tellen en het succes noemen. Ontvangen verwijzingen, aanmeldingen, aangeboden afspraken — druk is niet hetzelfde als effectief. Verhef uitkomsten en ervaring; degradeer activiteit tot de ondersteunende laag.
• Het ene getal zonder balanceringsmaat. Elke alleenstaande KPI onder druk zal worden gemanipuleerd. Koppel maten altijd zodat verbeteren van de ene ten koste van de andere zichtbaar is.
• Rood/groene rapportage met twee punten. “Lager dan vorige maand, onder het streefcijfer” vertelt u vrijwel niets over of het proces veranderde. Gebruik SPC-verloopgrafieken en regelkaarten.
• Watermelondashboards. Aggregatie die onderliggend rood tot groen aan de oppervlakte maakt. Bouw eerlijke lagen van rapportage en controleer de samenvoeging (Onderwerp 10.4).
• IJdelheidsmaten. Cumulatieve, steeds stijgende tellingen die geen probleem kunnen signaleren. Geef de voorkeur aan bruikbare maten gekoppeld aan een beslissing.
• Ongesegmenteerde blindheid voor billijkheid. Gemiddelden die de mensen verbergen die tekort worden gedaan. Segmenteer naar populatie en zoek wie er helemaal ontbreekt.
• KPI’s gebouwd op niet-onderzochte data. Een zelfverzekerd getal op slechte data misleidt. Meet en maak datakwaliteit bekend naast de KPI.
• Zombie-KPI’s. Maten die uit gewoonte nog worden geproduceerd en waarop niemand handelt. Toets en schaf af volgens een schema.

Volwassenheidsmodel#

Checklist#

• Elke KPI is te herleiden tot een uitkomst die ertoe doet voor een patiënt, burger of clinicus.
• De set KPI’s per dienst is klein en elk heeft een eigenaar, een schriftelijke definitie en een benoemde gegevensbron.
• Elke KPI heeft ten minste één balanceringsmaat zodat hij niet geïsoleerd kan worden gemanipuleerd.
• Uitkomst- en ervaringsmaten krijgen voorrang; ruwe activiteit zit in de ondersteunende laag.
• Operationele KPI’s worden gepresenteerd als SPC-verloopgrafieken/regelkaarten, niet als rood/groene vergelijkingen van twee punten.
• KPI’s die voor billijkheid relevant zijn, zijn gesegmenteerd naar achterstand, etniciteit, beperking, leeftijd en digitale toegang.
• Datakwaliteit voor de velden achter elke KPI wordt gevolgd en van kanttekeningen voorzien op het dashboard.
• De levering van de digitale dienst wordt gemeten met een uitgebalanceerde set (bijv. de vier sleutels van DORA plus veiligheid/betrouwbaarheid).
• Lagen van rapportage zijn zo ontworpen dat het bovenste beeld een eerlijke samenvoeging is van dat op de werkvloer.
• KPI’s worden volgens een schema getoetst, met dode of gemanipuleerde maten afgeschaft.
• U hebt voor elke KPI gevraagd: “wie ontbreekt er helemaal in dit getal?”

Belangrijkste bronnen#

• NHS England — Making Data Count (statistische procesbeheersing voor operationele data van de NHS)
• Institute for Healthcare Improvement — Science of Improvement: uitkomst-, proces- en balanceringsmaten
• NHS England — NHS Outcomes Framework; aanpak Core20PLUS5 om ongelijkheden in de gezondheidszorg te verminderen
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (DORA-maten); de rapporten State of DevOps van Google Cloud DORA
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — Succes meten / de prestaties van uw dienst meten
• The Health Foundation — richtlijnen over meten voor verbetering

Referenties#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php