Sujet 10.1 — Indicateurs clés de performance (KPI)
Un indicateur clé de performance (KPI) est un petit chiffre soigneusement choisi qui vous dit si un service est sûr, équitable, efficace, et digne de confiance — et dans la santé et l'action sociale, bien choisir et lire ces chiffres est en soi une question de sécurité clinique et de responsabilité publique, pas un entretien administratif.
Pourquoi c'est important dans la santé et l'action sociale#
Dans la santé et l'action sociale, les chiffres que vous observez façonnent les soins que les gens reçoivent. Un KPI de liste d'attente qui compte « patients réservés » mais pas « patients vus » peut cacher une cohorte se détériorant discrètement à domicile. Un tableau de bord de service numérique qui est vert sur le temps de disponibilité mais silencieux sur si les utilisateurs handicapés peuvent compléter une réservation laissera un problème d'accès grandir en une inégalité de santé. Ce que vous mesurez signale ce que vous valorisez, et le personnel, les fournisseurs, et les algorithmes optimisent tous vers la cible mesurée — parfois au détriment de la chose non mesurée qui comptait réellement.
Les enjeux sont plus élevés ici que dans la plupart des secteurs car les modes d'échec sont humains. Mid Staffordshire et d'autres enquêtes ont trouvé répétitivement des organisations qui atteignaient leurs cibles financières et d'activité vedettes tandis que la qualité des soins s'effondrait en dessous. Les métriques étaient rapportées vers le haut comme vertes tandis que les patients étaient lésés — le motif maintenant largement appelé « reporting pastèque » (vert à l'extérieur, rouge à l'intérieur), que le Sujet 10.4 — Visibilité pour le PDG et les dirigeants seniors examine en profondeur. De bons KPI sont l'une de vos défenses contre cet écart entre le tableau rapporté et le réel.
Les KPI dépensent aussi de l'argent public et de la confiance publique. Chaque indicateur que vous publiez devient une partie de comment les citoyens, régulateurs, et commissionnaires jugent le système. Surrevendiquer, trier sur le volet, ou jouer une cible n'est pas juste une mauvaise gestion ; cela érode la confiance dont la santé numérique dépend pour amener les gens à partager des données et adopter de nouveaux services. Ce sujet est le partenaire de mesure du Sujet 10.0 — Objectifs et résultats clés (OKR) : là où les OKR pilotent le changement focalisé, les KPI surveillent la santé continue des services et systèmes que vous exploitez.
Concepts fondamentaux#
Un indicateur de performance, ou KPI, est une métrique sélectionnée car elle reflète le progrès contre un objectif qui compte. Une métrique de performance est toute mesure d'activité ou d'état ; un KPI est le sous-ensemble que vous avez délibérément élevé à « observez celui-ci ». Le mot clé porte la charge — si tout est un KPI, rien ne l'est. Une discipline utile est de tenir une poignée de KPI par service, chacun avec un propriétaire nommé, une définition, une source de données, et une raison pour laquelle il gagne une place sur le tableau.
Un bon KPI a quatre propriétés. Il est aligné à un résultat qui compte véritablement pour les patients, citoyens, ou cliniciens, pas simplement à l'activité interne. Il est actionnable — quand il bouge, quelqu'un peut faire quelque chose à ce sujet. Il est opportun — il arrive assez tôt pour agir dessus, pas six semaines après la clôture du trimestre. Et il est difficile à jouer — il ne peut pas être amélioré sur papier sans améliorer la véritable chose. Les métriques qui échouent le dernier test invitent la loi de Goodhart : « quand une mesure devient une cible, elle cesse d'être une bonne mesure ».
Les indicateurs sont communément divisés en avancés et retardés. Un indicateur retardé confirme un résultat après coup (mortalité à 30 jours, satisfaction patient annuelle). Un indicateur avancé bouge plus tôt et prédit le retardé (complétude de réconciliation médicamenteuse, fréquence de déploiement, proportion d'orientations triées dans les 24 heures). Vous avez besoin des deux : les indicateurs retardés vous disent si vous gagnez, les indicateurs avancés vous le disent à temps pour changer le résultat. De nombreux cadres économiques et opérationnels décrivent cette distinction avancé/retardé.
Une division parallèle et également importante est mesures de processus, de livrable, et de résultat. Une mesure de processus compte si vous avez fait la chose (rendez-vous offerts, dossiers migrés). Une mesure de livrable compte ce qui a été produit (lettres envoyées, tests résultés). Une mesure de résultat capture ce qui a réellement changé pour la personne — une mesure de résultat telle que l'amélioration de symptôme, l'admission évitée, ou un score de qualité de vie rapporté par le patient. Les systèmes de santé et action sociale ont un biais chronique vers l'activité car l'activité est facile à compter et souvent comment l'argent circule. Résistez-y : privilégiez les résultats et l'expérience, et utilisez les mesures de processus comme les indicateurs avancés qui les expliquent.
Parce qu'aucun chiffre unique n'est sûr seul, utilisez la mesure équilibrée. La discipline de tableau de bord équilibré de Kaplan et Norton associe chaque mesure de performance avec d'autres afin qu'améliorer une au détriment d'une autre devienne visible. L'Institute for Healthcare Improvement formalise cela comme mesures de résultat, de processus, et d'équilibrage — la mesure d'équilibrage surveille le dommage que votre amélioration pourrait causer ailleurs (sortie plus rapide équilibrée contre la réadmission, par exemple).
Tout chiffre qui monte n'est pas un progrès. Une métrique de vanité semble impressionnante et monte fiablement mais n'informe aucune décision — utilisateurs enregistrés totaux, connexions cumulées, vues de page. Le mouvement lean startup a popularisé le contraste entre vanité et métriques actionnables : une métrique actionnable lie un changement que vous avez fait à un changement de comportement ou résultat sur lequel vous pouvez agir. Les comptages cumulés sont le signe classique — ils ne font toujours que monter, donc ils ne peuvent jamais signaler que quelque chose ne va pas.
Enfin, distinguez la mesure pour l'amélioration de la mesure pour le jugement. Le jugement demande « avez-vous atteint la cible ce mois-ci ? » et réduit un processus vivant à une comparaison à deux points, rouge-ou-vert contre la dernière période — une comparaison qui est presque toujours statistiquement sans signification car elle ne peut pas distinguer le signal du bruit. L'amélioration demande « ce processus change-t-il, et pouvons-nous faire confiance au changement ? » et y répond avec le contrôle statistique de processus (SPC) : tracer une métrique dans le temps sur un graphique de séquence ou graphique de contrôle avec des limites de contrôle, afin que vous puissiez voir si la variation est un bruit ordinaire (cause commune) ou un véritable signal (cause spéciale) valant la peine d'agir dessus. Le programme Making Data Count de NHS England a fait de cela la façon recommandée de présenter les données opérationnelles à travers le NHS, précisément pour tuer le réflexe « en hausse par rapport au mois dernier, en dessous de la cible » qui pilote les mauvaises décisions.
Bonnes pratiques#
Commencez par le résultat, puis remontez vers l'indicateur. Nommez la chose qui doit être vraie pour un patient, citoyen, ou clinicien — moins d'admissions évitables, accès plus rapide, médication sûre — et seulement ensuite demandez ce qui vous dirait que cela se produit. Cela vous garde du piège par défaut de mesurer ce que vos systèmes se trouvent enregistrer. Si vous ne pouvez pas connecter un KPI candidat à un résultat auquel quelqu'un se soucie, c'est probablement une métrique de vanité.
Gardez l'ensemble petit et donnez à chaque KPI un propriétaire et une définition. Un conseil d'administration ou service devrait observer une poignée de KPI, pas cinquante. Chacun a besoin d'une définition précise (ce qui compte, ce qui est exclu, sur quelle période), un propriétaire nommé responsable, et une source de données documentée. Les définitions ambiguës sont comment deux équipes se disputent pendant un mois sur un chiffre qu'elles mesuraient différemment.
Équilibrez chaque KPI afin qu'il ne puisse pas être joué isolément. Pour chaque mesure, demandez « comment une personne rationnelle améliorerait-elle ce chiffre sans améliorer la véritable chose, et quelle mesure d'équilibrage l'attraperait ? » Associez l'accès à la sécurité, le débit à la réadmission, le coût à l'expérience, la vitesse de livraison au taux d'échec de changement. Les ensembles équilibrés rendent le jeu visible et honorent la réalité que les résultats de santé et action sociale sont multidimensionnels.
Privilégiez les mesures de résultat et d'expérience par-dessus l'activité. Les comptages d'activité sont séduisants car ils sont abondants et souvent liés au financement, mais ils répondent à « à quel point étions-nous occupés ? » pas « cela a-t-il aidé ? ». Partout où vous le pouvez, élevez les mesures de résultat et les mesures d'expérience et de résultat rapportées par le patient (PREM et PROM) dans l'ensemble KPI, et rétrogradez l'activité brute à la couche de soutien. Là où un résultat est lent ou difficile à mesurer, choisissez une mesure de processus avancée validée qui le prédit fiablement.
Présentez les KPI comme des séries temporelles avec SPC, pas des comparaisons à deux points. Adoptez l'approche Making Data Count : tracez la métrique en style graphique de séquence ou graphique de contrôle afin que la variation de cause commune et les signaux de cause spéciale soient distinguables d'un coup d'œil. Cela arrête les équipes de réagir au bruit, célébrer un mois chanceux, ou être punies pour un mois malchanceux. Cela change aussi la conversation de conseil d'administration de « pourquoi avons-nous manqué ? » à « le processus a-t-il réellement changé ? » — qui est la question d'amélioration (voir Sujet 10.2 — Amélioration de la qualité et science de l'amélioration).
Segmentez les KPI par population pour révéler l'inégalité. Un chiffre agrégé cache la distribution. Un « bon » temps d'attente moyen peut dissimuler que les patients des quartiers les plus précaires, ou ceux ayant besoin d'un interprète, attendent bien plus longtemps. Décomposez chaque KPI pertinent à l'équité par précarité, ethnicité, âge, handicap, et accès numérique, en ligne avec les devoirs d'équité en santé et cadres tels que NHS Core20PLUS5. Dans les services numériques, segmentez aussi les taux d'adoption et d'achèvement — un chiffre d'adoption vedette peut masquer que votre service exclut exactement les personnes qui en ont le plus besoin (voir Sujet 4.5 — Données, analytique et gestion de la santé de la population).
Traitez la qualité des données comme une précondition, et mesurez-la. Un KPI n'est aussi digne de confiance que les données en dessous. Suivez la qualité des données des champs dont vos KPI dépendent — complétude, validité, opportunité, couverture — en utilisant des instruments comme le NHS Data Quality Maturity Index, et montrez les mises en garde de qualité des données aux côtés du chiffre. Si 30 % des dossiers manquent le champ, dites-le sur le tableau de bord ; un KPI d'apparence confiante construit sur de mauvaises données est pire qu'aucun KPI.
Utilisez des métriques de livraison pour le service numérique lui-même, choisies avec la même rigueur. Pour le logiciel que vous construisez et exploitez, les quatre clés du DevOps Research and Assessment (DORA) — fréquence de déploiement, délai pour le changement, taux d'échec de changement, et temps pour restaurer le service — donnent une vue équilibrée de la vitesse et de la stabilité. Elles résistent au jeu en ensemble : vous ne pouvez pas livrer plus vite en cassant des choses, car le taux d'échec de changement et le temps de restauration l'attraperont. Complétez-les avec des KPI de fiabilité et de sécurité qui comptent cliniquement, tels que les taux d'incident et la disponibilité des fonctions critiques en sécurité (voir Sujet 3.6 et Sujet 3.8).
Superposez votre reporting afin que chaque audience obtienne la bonne altitude. Une équipe de première ligne a besoin de mesures de processus granulaires et en temps réel ; un conseil de service a besoin d'une poignée équilibrée avec SPC ; un leadership systémique a besoin de quelques mesures de résultat et d'équité organisées. Concevez les couches délibérément afin que la vue supérieure soit une agrégation honnête de celles en dessous, pas un sous-ensemble flatteur trié sur le volet. C'est votre défense structurelle contre le reporting pastèque (Sujet 10.4).
Révisez et retirez les KPI sur un calendrier. Les indicateurs se dégradent : une mesure qui a piloté une véritable amélioration peut devenir un rituel joué une fois le comportement qu'elle ciblait intégré, et de nouveaux risques émergent sur lesquels rien ne veille. Mettez les KPI sur une révision régulière où vous demandez de chacun « cela nous dit-il encore quelque chose sur lequel nous agissons ? » et retirez le bois mort. Un ensemble de KPI périmé n'est pas neutre — il désoriente activement l'attention.
Questions à discuter avec votre équipe#
Pour chacun de nos KPI vedettes, comment quelqu'un améliorerait-il le chiffre sans améliorer la réalité — et le remarquerions-nous ? C'est le test de résistance de la loi de Goodhart, et il est mieux fait comme un exercice délibérément adversarial. Prenez chaque KPI et faites jouer à l'équipe le rôle d'un service étiré essayant de l'atteindre : sortir avant minuit pour réinitialiser l'horloge, re-classer un patient en attente, fermer et rouvrir un ticket pour réinitialiser le temps de résolution, enregistrer en lot des utilisateurs qui ne reviennent jamais. Le point n'est pas le cynisme sur les collègues mais la reconnaissance que la pression plus une cible à chiffre unique produit des distorsions prévisibles, particulièrement quand la rémunération, la réputation, ou les pénalités de contrat dépendent du chiffre. Une bonne réponse nomme la voie de jeu spécifique pour chaque KPI et identifie la mesure d'équilibrage ou vérification de données qui l'exposerait — et signale honnêtement tout KPI où vous n'avez actuellement pas un tel garde-fou. Si une métrique ne peut pas être défendue ainsi, la discussion devrait se terminer par une décision de l'associer, redéfinir, ou l'abandonner.
Lesquels de nos chiffres rapportons-nous pour l'amélioration, et lesquels pour le jugement — et présentons-nous chacun d'une façon qui correspond ? Les équipes prennent routinièrement une métrique construite pour aider un service à apprendre et la remettent, inchangée, à un comité qui l'utilise pour tenir quelqu'un responsable, ou vice versa. La tension est réelle : les dirigeants ont besoin d'assurance, et l'amélioration a besoin de sécurité pour voir les problèmes honnêtement, et le même graphique ne peut pas toujours servir les deux sans distorsion. Parcourez vos véritables paquets de conseil d'administration et opérationnels et étiquetez le véritable but de chaque métrique, puis demandez si la présentation convient — montrez-vous une comparaison rouge/vert à deux points où un graphique SPC préviendrait les réactions réflexes au bruit ? Une bonne réponse honnête admettra où la culture de jugement s'est infiltrée dans les forums d'amélioration (faisant cacher les problèmes au personnel) et où de vagues narratifs d'amélioration sont utilisés pour éviter une responsabilité légitime. Le but est un choix conscient par métrique, avec SPC comme présentation par défaut, plutôt qu'un embrouillamini accidentel.
Nos KPI révèlent-ils ou cachent-ils l'inégalité, et l'expérience de qui manque-t-elle entièrement ? Les KPI agrégés sont confortables précisément parce qu'ils moyennent les personnes en marge, et dans la santé et l'action sociale, ces marges sont là où le dommage évitable se concentre. Discutez de lesquels de vos indicateurs sont segmentés par précarité, ethnicité, handicap, âge, et accès numérique — et lesquels sont encore rapportés seulement comme un chiffre unique à l'échelle du système qui pourrait sembler sain tandis qu'un sous-groupe est échoué. Poussez plus loin vers les personnes qui n'entrent jamais dans vos données du tout : patients qui n'ont pas pu passer la connexion, qui ont abandonné le formulaire numérique, qui n'ont jamais été orientés, qui ont refusé de partager le champ démographique par lequel vous segmentez. Une réponse forte identifie au moins un KPI où la segmentation a changé ou changerait l'histoire, reconnaît honnêtement les limites de qualité des données et de consentement sur la segmentation, et s'engage à une étape spécifique — même un proxy ou une petite étude qualitative — pour voir l'actuellement invisible. Tout moins risque un tableau de bord qui est techniquement précis et moralement aveugle.
Combien de KPI observons-nous réellement, et lesquels ne perdrions-nous rien à retirer ? Le mot clé ne signifie quelque chose que si l'ensemble est petit, pourtant les indicateurs s'accumulent plus vite que quiconque ne les retire — un retour national ici, une métrique contractuelle là, un chiffre qu'un ancien directeur a un jour demandé et que personne n'a osé abandonner depuis. La tension est que chaque KPI semble défendable isolément, donc l'ensemble grandit jusqu'à ce que les paquets de conseil d'administration soient cent pages que personne ne lit et que les signaux véritablement importants soient enterrés parmi des métriques zombies produites par habitude. Parcourez votre véritable reporting et comptez les indicateurs honnêtement, puis demandez de chacun si quelqu'un a agi dessus l'année dernière et quelle décision il informe ; les métriques qui survivent à aucun test sont du bois mort qui consomme quand même le temps d'analyste et dilue l'attention. Une bonne réponse nomme un nombre spécifique que vous tiendrez par service, identifie au moins un KPI à retirer entièrement, et met en place une révision planifiée afin que l'ensemble reste organisé plutôt que discrètement se regonfler. Méfiez-vous du réflexe que retirer une métrique est un aveu d'échec — une soustraction disciplinée est un signe de maturité, pas de négligence.
À quel point faisons-nous réellement confiance aux données en dessous de chaque KPI vedette, et le tableau de bord le dit-il ? Un chiffre d'apparence confiante construit sur un champ complet à 30 % est plus dangereux qu'aucun chiffre du tout, car il invite des décisions que les données ne peuvent pas soutenir tout en portant l'autorité d'un chiffre propre. Dans la santé et l'action sociale, c'est aigu : les champs démographiques nécessaires pour la segmentation d'équité sont souvent clairsemés, la pratique de codage varie entre sites, et l'acte même de numériser un processus papier peut décaler ce qui est enregistré et quand. Discutez, pour chaque KPI, si vous connaissez sa complétude, validité, opportunité, et couverture, et si ces mises en garde voyagent avec le chiffre jusqu'au paquet du conseil d'administration ou sont discrètement retirées à mesure qu'il monte. Une réponse forte pointe vers un instrument concret — une vérification de qualité des données, le DQMI, un seuil de complétude en dessous duquel une métrique est signalée — et montre au moins un endroit où une mise en garde de qualité des données est affichée aux côtés du KPI plutôt que cachée. La version honnête admet où vous rapportez actuellement un chiffre que vous ne pouvez pas entièrement soutenir, et traite la correction des données comme une partie du KPI, pas un élément de backlog séparé.
Les couches de notre reporting s'agrègent-elles honnêtement, et où le rouge pourrait-il devenir vert en chemin vers le conseil d'administration ? Différentes audiences ont légitimement besoin de différentes altitudes — une équipe de première ligne veut des mesures de processus granulaires en temps réel, un conseil d'administration veut une poignée équilibrée avec SPC, un système veut quelques résultats organisés — mais chaque agrégation est une opportunité pour le tableau sous-jacent d'être lissé, moyenné, ou trié sur le volet en quelque chose de plus confortable que la vérité. C'est la racine structurelle du reporting pastèque : plus il y a de couches entre le service et le conseil d'administration, plus il y a d'endroits où une distribution peut être aplatie en une moyenne rassurante, ou un site en difficulté peut être compensé contre un fort. Tracez un KPI de sa source de première ligne jusqu'à la vue supérieure et demandez si le chiffre exécutif est une agrégation fidèle ou un sous-ensemble flatteur, et qui — si quelqu'un — audite cette agrégation. Une bonne réponse montre que les couches de reporting ont été conçues délibérément avec des définitions et propriétaires convenus, identifie au moins un point où l'agrégation pourrait masquer un problème, et nomme la mesure d'équilibrage ou l'analyse détaillée qui garde la vue supérieure véridique. L'honnêteté ici signifie admettre où l'agrégation est actuellement prise sur la foi plutôt que vérifiée (voir Sujet 10.4).
En pratique : un exemple de santé et d'action sociale#
Un système de soins intégrés (ICS) lance un service d'orientation numérique qui permet aux médecins généralistes d'orienter directement vers la physiothérapie musculo-squelettique (MSK) communautaire, remplaçant un processus papier et fax. L'instinct du conseil de programme est de rapporter deux KPI : nombre d'orientations numériques reçues, et temps de disponibilité système. En trois mois, les deux sont fortement verts — des milliers d'orientations, 99,9 % de disponibilité — et le conseil d'administration est prêt à déclarer le succès.
Le directeur clinique est mal à l'aise et demande à l'équipe d'analytique (travaillant avec le motif au Sujet 4.5) de reconstruire l'ensemble de KPI autour des résultats. Ils atterrissent sur une poignée équilibrée : temps de l'orientation au premier contact (accès, montré comme graphique SPC), la proportion d'orientations retournées ou rejetées comme incomplètes (un signal de qualité avancé), un score de résultat rapporté par le patient à la sortie (résultat), une courte mesure d'expérience (vous êtes-vous senti impliqué dans les décisions ?), et le taux d'échec de changement pour les releases du service (stabilité de livraison). Chaque mesure d'accès et de résultat est segmentée par décile de précarité et par si le patient avait besoin de support numérique.
La vue reconstruite raconte une histoire très différente. Le temps de disponibilité est véritablement bon, mais le taux de retour à l'orienteur est de 22 % — une orientation sur cinq rebondit car le formulaire numérique rend un historique en texte libre obligatoire, donc les médecins généralistes le jouent en tapant « voir en pièce jointe » et l'équipe de triage les rejette. Le graphique SPC montre que le temps d'accès est stable mais siège bien au-dessus de la cible sans tendance d'amélioration. Et la segmentation révèle que les patients dans les deux déciles les plus précaires sont deux fois moins susceptibles de compléter la voie d'auto-orientation vers laquelle le service poussait discrètement les gens, élargissant un écart que le programme supposait fermer. Rien de tout cela n'était visible dans les deux chiffres verts originaux. Le conseil d'administration reconçoit le formulaire, ajoute un parcours d'orientation assistée, et garde l'ensemble de KPI équilibré, segmenté, et basé sur SPC comme sa vue permanente — avec le comptage d'orientation brut rétrogradé à une métrique de soutien où il appartient.
Angles sectoriels#
Startup#
Une startup de santé numérique vit ou meurt par quelques métriques actionnables, donc la discipline est le focus impitoyable et l'honnêteté. Les fondateurs sont tentés de montrer aux investisseurs des métriques de vanité — téléchargements cumulés, utilisateurs enregistrés totaux — car elles ne font toujours que monter ; résistez, et menez avec l'activation, la rétention, et, là où vous pouvez le mesurer, le résultat clinique ou un proxy validé. Avec de petits nombres, SPC et la segmentation sont plus difficiles mais encore plus importants : une poignée de mauvaises expériences peut être tout votre signal de sécurité. Instrumentez le produit dès le premier jour afin que chaque KPI lie un changement que vous avez livré à un changement de véritable comportement, et soyez franc avec les partenaires cliniques et réglementaires sur les limites de qualité des données plutôt que de polir un jeu de données mince.
Petite entreprise#
Un prestataire établi de petite taille — un cabinet de médecins généralistes, une pharmacie communautaire, une maison de retraite, une agence de soins à domicile, une clinique monosite, ou un petit fournisseur de santé technologique passé le stade pré-revenu — porte les mêmes devoirs de mesure et d'équité qu'un grand trust mais sans analyste dédié et peu de temps libre. Le piège est de se noyer dans les KPI que les retours nationaux, la CQC, et les commissionnaires exigent déjà tout en ne mesurant rien qui vous aide à gérer l'endroit ; l'antidote est de choisir une poignée véritablement petite de mesures de résultat et d'expérience sur lesquelles vous pouvez réellement agir, et de vous appuyer sur ce que votre système clinique ou de gestion de cabinet existant capture déjà plutôt que de construire une nouvelle instrumentation. SPC en vaut toujours la peine même à la main ou dans une feuille de calcul — un simple graphique de séquence de, disons, délai hebdomadaire de rendez-vous vous empêchera de poursuivre le bruit d'une seule mauvaise semaine. La segmentation compte tout autant à cette échelle, mais avec de petits nombres, quelques patients individuels peuvent faire basculer un pourcentage, donc lisez les décompositions comme une invite à regarder de plus près plutôt qu'un verdict. Soyez honnête avec les commissionnaires sur les limites de qualité des données d'une opération allégée, et résistez à adopter le tableau de bord de cinquante métriques d'une grande organisation quand cinq chiffres bien choisis serviront mieux vos patients.
Entreprise#
Un grand trust du NHS ou fournisseur de santé technologique se noie déjà dans les indicateurs — retours nationaux, KPI contractuels, métriques de conseil d'administration, tableaux de bord opérationnels — donc le défi est l'organisation et la cohérence, pas la collecte. Adoptez SPC à travers le reporting de conseil d'administration et opérationnel (comme Making Data Count le prévoit) pour arrêter la poursuite mensuelle de bruit, et construisez des couches de reporting explicites afin que la vue exécutive soit une agrégation honnête de celle de première ligne. Le reporting pastèque est le risque à l'échelle de l'entreprise : plus il y a de couches entre le service et le conseil d'administration, plus il est facile pour le rouge de devenir vert en chemin vers le haut, donc investissez dans les mesures d'équilibrage et mises en garde de qualité des données qui gardent la vue supérieure véridique. Retirez les KPI hérités délibérément ; les grandes organisations accumulent des métriques zombies sur lesquelles personne n'agit mais que tout le monde produit encore.
Gouvernement#
Un organisme public national ou local fixe des KPI qui ondulent à travers tout un système et deviennent des cibles politiques, ce qui rend la loi de Goodhart un danger systémique plutôt que local — une cible nationale de temps d'attente remodèle les priorités cliniques partout du jour au lendemain. Concevez les indicateurs publiés en sachant qu'ils seront optimisés vers, associez-les à des mesures d'équilibrage et une segmentation d'équité, et soyez transparent sur les définitions et la qualité des données car la confiance publique en dépend. Des cadres comme le NHS Outcomes Framework et Core20PLUS5 existent précisément pour garder l'attention nationale sur les résultats et les inégalités plutôt que l'activité brute. Le gouvernement porte aussi un devoir que les autres n'ont pas : mesurer les personnes que ses services excluent, pas seulement les personnes qu'ils servent, car les exclus apparaissent rarement dans les données administratives.
Modes d'échec courants#
- Compter l'activité et l'appeler succès. Orientations reçues, connexions, rendez-vous offerts — occupé n'est pas la même chose qu'efficace. Élevez les résultats et l'expérience ; rétrogradez l'activité à la couche de soutien.
- Le chiffre unique sans mesure d'équilibrage. Tout KPI solitaire sous pression sera joué. Associez toujours les mesures afin qu'améliorer une au détriment d'une autre soit visible.
- Reporting rouge/vert à deux points. « En baisse par rapport au mois dernier, en dessous de la cible » vous dit presque rien sur si le processus a changé. Utilisez des graphiques de séquence et de contrôle SPC à la place.
- Tableaux de bord pastèque. L'agrégation qui transforme le rouge sous-jacent en vert de surface. Construisez des couches de reporting honnêtes et auditez l'agrégation (Sujet 10.4).
- Métriques de vanité. Des comptages cumulés et toujours croissants qui ne peuvent pas signaler un problème. Préférez les métriques actionnables liées à une décision.
- Aveuglement d'équité non segmenté. Des moyennes qui cachent les personnes échouées. Segmentez par population et chassez qui manque entièrement.
- KPI construits sur des données non examinées. Un chiffre confiant sur de mauvaises données induit en erreur. Mesurez et divulguez la qualité des données aux côtés du KPI.
- KPI zombies. Des métriques encore produites par habitude sur lesquelles personne n'agit. Révisez et retirez sur un calendrier.
Modèle de maturité#
| Dimension | Initier | Développer | Standardiser | Gérer | Orchestrer |
|---|---|---|---|---|---|
| Ce qui est mesuré | Quel que soit ce que les systèmes se trouvent enregistrer ; majoritairement l'activité | Un mélange d'activité et quelques résultats, choisis ad hoc | Un petit ensemble équilibré de mesures de résultat, processus, expérience et équilibrage par service | L'ensemble équilibré est suivi contre des cibles explicites, avec des propriétaires responsables de la performance de chaque KPI | KPI menés par les résultats et l'équité, révisés et retirés sur un cycle, liés à la stratégie et aux OKR |
| Comment il est présenté | Tableaux rouge/vert, comparaisons à deux points | Quelques lignes de tendance, majoritairement à un instant donné | Graphiques de séquence/contrôle SPC standard pour les données opérationnelles | Graphiques SPC révisés sur une cadence gouvernée, avec signaux triés et actions enregistrées et suivies | SPC intégré dans la prise de décision ; bruit vs signal compris par les dirigeants |
| Équité | Chiffres agrégés seulement | Décompositions ad hoc occasionnelles | Segmentation routinière des KPI clés par population | Écarts d'équité suivis contre des cibles, avec propriétaires nommés et actions correctives surveillées jusqu'à la clôture | Segmentation plus effort délibéré pour voir les exclus et agir sur les écarts |
| Jeu et qualité des données | Non considéré ; cibles uniques sous pression | Conscience du jeu ; qualité des données inégale et non divulguée | Mesures d'équilibrage en place ; qualité des données suivie et mise en garde | Mesures d'équilibrage et seuils de qualité des données activement assurés, avec violations escaladées et contrôlées | Métriques testées pour la résistance au jeu ; qualité des données mesurée comme son propre KPI |
| Couches de reporting | Une vue flatteuse envoyée vers le haut | Paquets séparés, définitions incohérentes | Reporting en couches avec définitions et propriétaires convenus | Agrégation routinièrement réconciliée contre les données source, avec toute divergence investiguée et corrigée | Agrégation honnête et auditée de la première ligne au conseil d'administration ; aucun écart pastèque |
Liste de contrôle#
- Chaque KPI est traçable à un résultat qui compte pour un patient, citoyen, ou clinicien.
- L'ensemble de KPI par service est petit, et chacun a un propriétaire, une définition écrite, et une source de données nommée.
- Chaque KPI a au moins une mesure d'équilibrage afin qu'il ne puisse pas être joué isolément.
- Les mesures de résultat et d'expérience sont priorisées ; l'activité brute siège dans la couche de soutien.
- Les KPI opérationnels sont présentés comme des graphiques de séquence/contrôle SPC, pas des comparaisons rouge/vert à deux points.
- Les KPI pertinents à l'équité sont segmentés par précarité, ethnicité, handicap, âge, et accès numérique.
- La qualité des données pour les champs derrière chaque KPI est suivie et mise en garde sur le tableau de bord.
- La livraison du service numérique est mesurée avec un ensemble équilibré (par exemple les quatre clés DORA plus sécurité/fiabilité).
- Les couches de reporting sont conçues afin que la vue supérieure soit une agrégation honnête de celle de première ligne.
- Les KPI sont révisés sur un calendrier, avec les métriques mortes ou jouées retirées.
- Vous avez demandé, pour chaque KPI, « qui manque entièrement à ce chiffre ? »
Sources clés#
- NHS England — Making Data Count (statistical process control for NHS operational data)
- Institute for Healthcare Improvement — Science of Improvement: outcome, process, and balancing measures
- NHS England — NHS Outcomes Framework; Core20PLUS5 approach to reducing healthcare inequalities
- NHS England — Data Quality Maturity Index (DQMI)
- Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
- Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (DORA metrics); Google Cloud DORA State of DevOps reports
- Jerry Z. Muller — The Tyranny of Metrics
- Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
- GOV.UK Service Manual — Measuring success / measuring the performance of your service
- The Health Foundation — guidance on measurement for improvement
Références#
- Performance indicator — Wikipédia — https://en.wikipedia.org/wiki/Performance_indicator
- Goodhart's law — Wikipédia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Statistical process control — Wikipédia — https://en.wikipedia.org/wiki/Statistical_process_control
- Control chart — Wikipédia — https://en.wikipedia.org/wiki/Control_chart
- Balanced scorecard — Wikipédia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Outcome measure — Wikipédia — https://en.wikipedia.org/wiki/Outcome_measure
- Health equity — Wikipédia — https://en.wikipedia.org/wiki/Health_equity
- Data quality — Wikipédia — https://en.wikipedia.org/wiki/Data_quality
- DevOps Research and Assessment — Wikipédia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
- Lean startup (vanity vs actionable metrics) — Wikipédia — https://en.wikipedia.org/wiki/Lean_startup
- Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
- Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
- NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
- Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
- Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
- The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
- Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
- DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
- The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
- Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
- Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php