Sujet 1.3 — Décisions fondées sur les preuves

En une phrase : La prise de décision fondée sur les preuves signifie décider quoi construire, acheter et faire passer à l'échelle sur la force des meilleures preuves disponibles — cliniques et de livraison — proportionnées au risque, et consigner le raisonnement afin qu'il survive aux personnes qui l'ont fait.

Pourquoi cela compte dans la santé et l'action sociale#

Dans la plupart des secteurs, une mauvaise décision produit coûte de l'argent. Dans la santé et l'action sociale, elle peut coûter la sécurité, l'équité et la confiance — et elle est prise avec des fonds publics sous devoir statutaire. Une décision de déployer un diagnostic numérique qui n'a jamais été évalué n'est pas un pari commercial ; c'est un risque clinique. Cela élève la barre de preuve bien au-delà de « la démonstration avait l'air bonne ».

Le domaine est aussi particulier parce qu'il exige deux types de preuve à la fois. La preuve clinique répond à « cette technologie fonctionne-t-elle, et est-elle sûre et efficace pour les patients ? » La preuve de livraison répond à « construisons-nous la bonne chose correctement, et est-elle adoptée et utilisée ? » Un service peut être cliniquement solide mais un échec de livraison (personne ne l'utilise), ou un succès de livraison mais cliniquement non prouvé (largement utilisé, jamais validé). Les dirigeants seniors doivent exiger les deux et ne jamais laisser l'un se faire passer pour l'autre. Et parce que les décisions de santé attirent un examen minutieux — des régulateurs, du public et des cliniciens — le registre de pourquoi vous avez décidé compte autant que la décision.

Concepts clés#

La hiérarchie des preuves. La médecine fondée sur les preuves classe les designs d'étude selon leur capacité à contrôler le biais : au sommet, les revues systématiques et méta-analyses d'essais contrôlés randomisés (ECR) ; puis les ECR individuels ; puis les études de cohorte et cas-témoins ; puis les séries de cas ; et à la base, l'opinion d'expert et l'anecdote. La hiérarchie est un guide, pas une camisole de force — mais elle vous discipline à remarquer quand une affirmation repose sur une anecdote déguisée en preuve.

NICE Evidence Standards Framework (ESF) pour les technologies de santé numérique. NICE, avec NHS England et des partenaires, a créé l'ESF pour énoncer quel niveau de preuve une technologie de santé numérique (DHT) nécessite, proportionné à sa fonction et au risque qu'elle porte. Il classe les DHT par risque potentiel — des simples services système, en passant par les outils qui informent ou pilotent les soins, jusqu'à ceux qui diagnostiquent ou traitent directement — et spécifie l'efficacité clinique et la preuve économique attendues à chaque niveau. Plus le risque clinique est élevé, plus la preuve exigée est forte. L'ESF est le point de référence pour les commissionnaires et développeurs décidant si une DHT est prête.

Données du monde réel et preuve du monde réel. Les données du monde réel (RWD) proviennent des soins de routine — dossiers de santé électroniques, registres, résultats rapportés par les patients, télémétrie de dispositifs — plutôt que d'essais contrôlés. Bien analysées (par des études observationnelles prospectives, des essais pragmatiques, ou une analyse soigneuse des dossiers électroniques), elles deviennent une preuve du monde réel (RWE) sur la performance d'une technologie en pratique. La RWE est essentielle pour les technologies qui apprennent ou changent (IA, objets connectés), où un essai ponctuel ne peut pas capturer le comportement continu, mais elle porte des risques de facteurs confondants qui doivent être traités honnêtement.

Preuve clinique contre preuve de livraison. Gardez-les sur des axes séparés. La preuve clinique utilise la hiérarchie ci-dessus et l'ESF : efficacité, sécurité, effectivité. La preuve de livraison utilise l'analytique produit et service : le service est-il utilisable, adopté, complète-t-il la tâche de l'utilisateur, réduit-il la demande d'échec ? Les deux sont nécessaires ; les confondre est une erreur classique (un chiffre d'usage élevé n'est pas une preuve clinique).

Designs d'évaluation. Un modèle logique (ou théorie du changement) rend explicite comment les intrants et activités sont censés produire des extrants et résultats — c'est la carte que toute évaluation teste. Un ECR donne la réponse causale la plus forte mais est lent, coûteux, et parfois impraticable ou contraire à l'éthique pour un service évoluant rapidement. L'évaluation pragmatique — essais pragmatiques, séries temporelles interrompues, avant/après avec contrôles, évaluation de service à méthodes mixtes — échange un peu de certitude contre de la vitesse et de la pertinence en situation réelle. Choisissez le design proportionné au risque et à la décision en jeu.

Tests A/B et analytique. Pour les questions à risque plus faible, côté livraison (quelle formulation augmente la présence aux rendez-vous ? quel flux réduit l'abandon ?), les expériences en ligne contrôlées (tests A/B) donnent une preuve de livraison causale et rapide. Elles sont puissantes pour l'optimisation mais ne doivent jamais être utilisées pour faire des changements cliniques non évalués, et doivent respecter le consentement et les limites de gouvernance de l'information.

Décisions HiPPO. « HiPPO » — l'opinion de la personne la mieux payée (Highest-Paid Person's Opinion) — nomme l'échec où l'ancienneté prime sur la preuve. Les cultures fondées sur les preuves rendent sûr et normal de demander « que montrent les données ? » à quiconque dans la salle, et traitent une intuition senior comme une hypothèse à tester, pas une conclusion.

Registres de décision. Un registre de décision (ou journal de décision / registre de décision d'architecture) capture, brièvement : la décision, les options considérées, la preuve pesée, qui a décidé, et quand. Cela rend le raisonnement auditable, survit au turnover du personnel, et évite que le même argument soit rejoué chaque trimestre.

Bonnes pratiques#

1. Faites correspondre la force de la preuve au niveau de risque. Utilisez les niveaux de l'ESF de NICE comme votre étalon : un outil système à faible risque a besoin d'une preuve légère ; un outil qui diagnostique ou pilote un traitement a besoin d'une preuve d'efficacité clinique de haute qualité. La proportionnalité vous permet d'avancer vite sur le sûr et lentement sur le dangereux, plutôt que d'appliquer une seule barre à tout.

2. Exigez la preuve clinique et de livraison, et ne les confondez jamais. Pour tout investissement significatif, posez deux questions séparées — « est-ce cliniquement efficace et sûr ? » et « est-ce utilisable et adopté ? » — et exigez une preuve pour chacune. Les métriques d'adoption ne remplacent pas la validation clinique, et un essai positif n'est pas une garantie d'usage en situation réelle.

3. Commencez chaque initiative par un modèle logique. Avant de construire, consignez comment vous pensez que l'intervention produira le résultat que vous voulez. Cela expose tôt les hypothèses non testées, définit les métriques qui comptent, et donne à votre évaluation ultérieure quelque chose de concret à tester.

4. Utilisez la preuve du monde réel pour les technologies qui apprennent ou persistent. Pour l'IA, les algorithmes et les services durables, complétez ou suivez les essais initiaux par une surveillance structurée des données de routine — designs observationnels prospectifs, évaluation pragmatique — afin de savoir comment la performance tient en pratique et de détecter la dérive.

5. Expérimentez sur les questions de livraison ; évaluez les questions cliniques. Utilisez les tests A/B et l'analytique librement pour l'optimisation de livraison (formulation, flux, invites), dans les limites de gouvernance de l'information et de consentement. Réservez l'évaluation formelle (essais, études pragmatiques) aux questions d'effet clinique. Orientez chaque question vers la bonne méthode.

6. Éliminez les décisions HiPPO culturellement, pas seulement procéduralement. Rendez explicitement acceptable de demander à tout décideur la preuve, encadrez les avis seniors comme des hypothèses, et engagez-vous à l'avance sur quelle preuve changerait votre avis. Une équipe qui peut défier l'ancienneté en toute sécurité prend de meilleures décisions.

7. Consignez les décisions et leur preuve. Tenez un journal de décision léger pour chaque choix significatif — quoi, pourquoi, quelle preuve, qui, quand. Cela crée une auditabilité pour les régulateurs et le public, évite les re-débats sans fin, et préserve la mémoire institutionnelle à travers le turnover du personnel.

8. Soyez attentif à l'éthique des données. Le travail de preuve utilise des données patients ; traitez la légalité, le consentement, la proportionnalité et l'équité comme des contraintes de conception. Prémunissez-vous contre les jeux de données biaisés qui enracinent l'inégalité, respectez le devoir de confidentialité, et assurez-vous que vos pratiques de preuve survivraient elles-mêmes à un examen public.

Questions à discuter avec votre équipe#

1. Pour notre décision récente la plus significative, pouvons-nous montrer à la fois une preuve clinique et une preuve de livraison — gardées distinctes — ou l'une a-t-elle discrètement tenu lieu de l'autre ? Cette question teste l'insistance du sujet sur le fait que la preuve clinique (« est-ce que cela fonctionne et est-ce sûr ? ») et la preuve de livraison (« est-ce utilisable et adopté ? ») se situent sur des axes séparés et que les confondre est une erreur classique et dangereuse. Elle compte parce qu'un service peut être cliniquement solide mais inutilisé, ou fortement utilisé mais cliniquement non validé, et dans la santé et l'action sociale, confondre un chiffre d'usage élevé avec une preuve clinique peut mettre des patients en danger tout en ayant l'air d'un succès. Le tiraillement à faire surgir est que la preuve de livraison est rapide, bon marché et flatteuse — les tableaux de bord analytiques se remplissent vite — tandis que la preuve clinique est lente, coûteuse et souvent peu concluante, donc il y a une pression constante pour laisser les métriques d'adoption porter l'argument. Prenez un vrai document de conseil d'administration ou un dossier d'investissement et auditez-le : les deux types de preuve sont-ils séparés, chacun est-il réellement présent, et l'affirmation clinique repose-t-elle sur quelque chose au-delà de la démonstration du fournisseur ou d'une étude à site unique ? Une bonne réponse honnête identifie une décision précise, admet où un type de preuve était mince ou absent, et s'engage à exiger les deux explicitement et séparément dans les futurs choix significatifs plutôt que de laisser un chiffre d'usage fort rassurer tout le monde.

2. Notre barre de preuve est-elle vraiment proportionnée — exigeons-nous des essais de référence pour des changements à faible risque tout en laissant passer des outils à risque plus élevé sur des preuves minces ? Le sujet encadre la proportionnalité à travers les niveaux de l'ESF de NICE : preuve légère pour un outil système à faible risque, preuve d'efficacité clinique de haute qualité pour un outil qui diagnostique ou pilote un traitement, donc cette question vérifie si votre organisation calibre réellement la barre au risque ou applique une norme uniforme et rigide. Elle compte parce que les deux directions d'échec coûtent cher — la paralysie d'analyse bloque un changement de contenu à faible risque mais utile derrière un ECR inutile, tandis qu'un outil d'IA sous-examiné qui informe les décisions cliniques passe grâce à une démonstration convaincante — et chacune sape la confiance dans la culture de preuve. Le compromis à débattre est que la proportionnalité exige du jugement et de la confiance pour être défendue, ce qui est plus difficile qu'une règle uniforme ; un « tout a besoin d'un essai » ou « si c'est numérique, pilotez-le simplement » général est plus facile à administrer mais faux. Travaillez sur deux ou trois technologies actuelles ou récentes, placez chacune dans son niveau ESF ensemble, et vérifiez si la preuve que vous avez exigée correspondait au niveau ou était pilotée par qui la défendait. Une réponse honnête montre que l'équipe peut situer le niveau de risque d'une technologie, admet où la barre a été mal calibrée dans un sens ou dans l'autre, et traite la proportionnalité comme une norme explicite et défendable plutôt qu'un instinct.

3. À quel point est-il sûr, culturellement, de demander à la personne la plus senior de la salle « quelle est la preuve ? » — et quand avons-nous traité pour la dernière fois l'intuition d'un dirigeant comme une hypothèse à tester plutôt qu'une décision ? Cette question confronte directement l'échec HiPPO, où l'opinion de la personne la mieux payée prime sur la preuve, et teste si votre engagement affiché envers la preuve survit au contact de la hiérarchie et de la démonstration du fournisseur qui a impressionné un directeur respecté. Elle compte parce que dans la santé et l'action sociale une décision pilotée par démonstration de déployer un outil non évalué n'est pas un pari commercial mais un risque de sécurité clinique et d'argent public, et le moment où la contestation devient non sûre est le moment où la preuve cesse de gouverner les décisions. Le vrai tiraillement est que la sécurité psychologique ne peut pas être imposée par une politique ; elle se construit par des dirigeants seniors invitant visiblement à la contestation, encadrant leurs propres avis comme des hypothèses, et s'engageant à l'avance sur quelle preuve changerait leur avis — des comportements qui semblent exposants et faciles à sauter sous la pression du temps. Ancrez la conversation dans des cas précis : rappelez-vous une décision récente pilotée plus par l'ancienneté ou l'enthousiasme que par les données, et demandez si quelqu'un l'a contestée, si cela semblait sûr, et ce qu'un registre de décision aurait capturé. Une bonne réponse est franche sur où la hiérarchie gagne actuellement, nomme des comportements concrets que les dirigeants adopteront pour rendre la contestation normale, et associe l'engagement culturel au journal de décision léger qui rend le raisonnement auditable et évite que le même argument soit rejoué.

4. Pour les technologies qui apprennent ou persistent — notre IA, nos algorithmes, nos services durables — comment saurions-nous réellement si leur performance avait dérivé depuis leur validation, et qui surveille ? Le sujet est explicite qu'un essai ponctuel ne peut pas capturer le comportement continu des technologies qui apprennent ou changent, et que l'« évaluation une-fois-et-terminé » est un mode de défaillance nommé dont l'antidote est la preuve du monde réel et la surveillance continue. Cette question compte parce que le danger est silencieux : un modèle de détérioration par IA ou un algorithme de triage peut se dégrader à mesure que la composition des cas, la pratique de codage, ou les pipelines de données en amont changent, et contrairement à une fonctionnalité cassée, rien n'échoue visiblement — l'outil continue de produire des résultats plausibles tandis que son taux de fausses alertes ou de manqués s'aggrave discrètement. Le tiraillement à faire surgir est que la surveillance est peu séduisante et non financée par rapport à l'excitation du déploiement : une fois qu'un dossier d'analyse est signé et que les bénéfices sont comptabilisés, peu d'organisations financent le travail observationnel prospectif, les métriques de dérive, ou le propriétaire nommé qui les revoit. Choisissez un outil d'IA ou algorithmique en production et retracez concrètement sa vie post-déploiement — quelles données de routine sont surveillées, contre quelle référence, à quelle cadence, et qui escaladerait une dégradation et vers qui. Une réponse honnête admet où la validation s'est arrêtée à la mise en production, distingue les outils qui ont véritablement besoin d'une surveillance continue de ceux qui n'en ont pas besoin, et s'engage sur un propriétaire nommé, une métrique, et un rythme de revue plutôt qu'une vague intention de « garder un œil dessus ».

5. Quand une décision que nous prenons aujourd'hui est questionnée dans deux ans — par un nouveau directeur, un régulateur, ou le public — que montrera réellement le registre écrit, et survivrait-il à cet examen ? Le sujet traite le registre de décision comme une infrastructure essentielle : un journal léger de la décision, des options, de la preuve pesée, qui a décidé et quand, valorisé parce qu'il rend le raisonnement auditable, survit au turnover du personnel, et arrête le même argument d'être rejoué chaque trimestre. Cette question compte parce que les décisions de santé et d'action sociale attirent un examen réglementaire, parlementaire et public d'une façon que les décisions commerciales font rarement, et l'exemple concret de ce sujet repose exactement là-dessus — deux ans plus tard, un nouveau directeur questionne un outil déployé et « le registre répond ». Le vrai tiraillement est entre le coût minuscule par décision de la discipline et la pression chronique de la sauter : consigner pourquoi vous avez décidé semble bureaucratique sur le moment, et les personnes qui ont le plus besoin du registre sont les futurs membres du personnel qui ne sont pas dans la salle pour l'exiger. Testez-le face à la réalité en essayant de reconstruire le raisonnement derrière un choix significatif fait il y a douze ou dix-huit mois — pouvez-vous trouver quelle preuve a été pesée et quelles alternatives ont été rejetées, ou seulement qu'une décision a été prise ? Une bonne réponse confronte si les registres sont réellement tenus pour les décisions significatives ou seulement pour les faciles, s'ils capturent la preuve et les options plutôt que seulement les conclusions, et si quelqu'un les relit jamais — car un journal non lu, ne contenant que des conclusions, est un théâtre d'audit, pas une mémoire institutionnelle.

6. Quelles données entraînent et valident notre preuve, et sommes-nous confiants qu'elles n'enracineraient pas l'inégalité — ou traitons-nous l'éthique des données comme un formulaire à signer plutôt qu'une contrainte de conception ? Le sujet insiste sur le fait que le travail de preuve fonctionne sur des données patients et que légalité, consentement, proportionnalité et équité sont des contraintes de conception, pas de la paperasse, mettant spécifiquement en garde contre les jeux de données biaisés qui enracinent l'inégalité et contre l'« éthique comme paperasse » en tant que mode de défaillance. Cette question compte parce qu'une technologie validée sur une population non représentative peut moins bien performer pour les groupes déjà les moins bien servis — un modèle de détérioration ou de diagnostic entraîné là où certaines ethnies, âges, ou comorbidités sont sous-représentés peut porter ce biais dans chaque future décision, et à l'échelle nationale un jeu de données endossé enracine cette inégalité à l'échelle du système. Le tiraillement est que l'analyse d'équité est plus difficile et plus lente qu'un chiffre de précision affiché : elle exige d'interroger qui est dans les données et qui manque, de désagréger la performance par sous-groupe, et parfois d'accepter que votre preuve soit plus faible pour les populations que vous avez le plus besoin de servir. Rendez cela concret en prenant un outil récent ou proposé et en demandant sur les dossiers de qui il a été construit et testé, si la performance a jamais été examinée par sous-groupe, et si la validation de gouvernance de l'information s'est engagée avec l'équité du tout ou a simplement confirmé la base légale. Une réponse honnête sépare l'examen éthique véritable de la case cochée, admet où la représentativité n'a jamais été vérifiée, et traite le biais et l'équité comme des questions auxquelles la preuve elle-même doit répondre plutôt qu'une étape de conformité ajoutée à la fin.

En pratique : un exemple de santé et d'action sociale#

Un trust communautaire se voit proposer un outil d'IA qui signale les patients à risque de détérioration à partir des données de signes vitaux. Une décision HiPPO le déploierait parce qu'un directeur respecté a été impressionné par la démonstration du fournisseur.

Au lieu de cela, le trust traite l'argumentaire comme une hypothèse. Il place l'outil dans le niveau de risque ESF de NICE approprié à une technologie qui informe les décisions cliniques, et demande au fournisseur une preuve d'efficacité à ce niveau ; la chose la plus forte proposée est une petite étude à site unique. Le trust écrit un modèle logique (meilleure alerte précoce → escalade plus précoce → moins de détériorations évitables) et conçoit une évaluation pragmatique : un déploiement en mode fantôme où les alertes de l'outil sont journalisées mais sans action, comparées aux résultats réels, plus des entretiens qualitatifs avec des infirmières sur l'adéquation au flux de travail.

En parallèle, il réunit une preuve de livraison : les cliniciens remarqueraient-ils et feraient-ils réellement confiance aux alertes ? Il mène des tests de style A/B sur la présentation des alertes. Les responsables de la gouvernance de l'information et de la sécurité clinique valident l'usage des données et le journal des dangers. Après trois mois, la RWE montre une amélioration modeste mais réelle et un taux de fausses alertes acceptable, et la preuve de livraison montre que les cliniciens s'engagent avec les alertes redessinées. La décision de poursuivre — avec un déploiement échelonné et une surveillance continue — est écrite dans un registre de décision citant la preuve pesée. Deux ans plus tard, quand un nouveau directeur questionne l'outil, le registre répond.

Angles sectoriels#

Tout le monde doit le même devoir de faire correspondre la preuve au risque, mais les ressources, les incitations et la responsabilité autour de la preuve diffèrent nettement selon l'organisation.

Startup#

La contrainte d'une startup est que la preuve clinique de référence est lente et coûteuse tandis que la trésorerie disponible est courte, donc la tentation est de vendre les métriques d'adoption comme si elles prouvaient l'effet clinique. Le mouvement honnête est de placer le produit dans le bon niveau ESF de NICE tôt et d'être franc avec les acheteurs sur l'écart de preuve, en utilisant un modèle logique clair et une évaluation pragmatique bon marché (un pilote en mode fantôme, une série temporelle interrompue contre un site unique) pour générer la première preuve du monde réel. Les registres de décision ne coûtent presque rien et sont disproportionnellement précieux pour une petite équipe, préservant le raisonnement à travers des pivots rapides et donnant aux investisseurs soucieux de diligence et aux évaluateurs du NHS une piste d'audit. La discipline qui paie est de résister à l'intuition fondatrice HiPPO et de traiter chaque « la démonstration a bien atterri » comme une hypothèse à tester.

Petite entreprise#

Un petit prestataire établi — un cabinet de médecine générale, une pharmacie communautaire, un établissement de soins, une clinique à site unique, un petit fournisseur de technologie de santé passé le stade de startup — porte le même devoir de faire correspondre la preuve au risque mais a de vrais patients, une trésorerie serrée, et peu ou pas de capacité numérique dédiée pour le faire. Le mouvement réaliste est de s'appuyer sur la preuve que d'autres ont déjà produite plutôt que de générer la sienne : utiliser le niveau ESF de NICE et l'évaluation DTAC d'un outil candidat comme proportionnalité toute faite, demander aux fournisseurs la preuve d'efficacité clinique appropriée au niveau, et refuser de se laisser convaincre par une démonstration soignée d'un produit non évalué. La preuve de livraison est là où une petite organisation peut véritablement mener, car elle voit ses propres patients de près — quelques semaines d'observation honnête sur si le personnel utilise réellement un outil et s'il réduit la demande d'échec est une preuve du monde réel à portée de main. Un registre de décision d'une ligne — ce que nous avons choisi, quelle preuve nous avons vue, qui a décidé — coûte presque rien à une petite équipe et la protège quand un partenaire part ou qu'un inspecteur de la CQC demande pourquoi. Le piège à éviter est de supposer qu'être petit vous exempte de la barre de preuve ; le devoir envers les patients est identique, seules les ressources ne le sont pas.

Grande entreprise#

Un trust NHS ou un ICS a les données de routine, les volumes de patients, et la capacité analytique pour faire une évaluation sérieuse — et la responsabilité qui l'exige, car déployer un outil non prouvé à l'échelle est un risque de sécurité clinique et d'argent public simultanément. Le mode de défaillance est institutionnel : un directeur respecté défendant une démonstration de fournisseur, ou un dossier d'analyse construit sur des bénéfices projetés que personne ne vérifie ensuite. Le correctif est de rendre culturellement sûr de demander à tout décideur « quelle est la preuve ? », de garder la preuve clinique et de livraison sur des axes séparés dans chaque document de conseil d'administration, et de financer une surveillance continue du monde réel pour l'IA et les services durables plutôt que de valider une seule fois. Une grande entreprise pharmaceutique ou de technologie de santé apporte une machinerie d'essai formelle mais doit se prémunir contre le biais de publication et les facteurs confondants dans la preuve du monde réel qu'elle génère.

Gouvernement#

Un organisme national — NICE, NHS England, le DHSC, la MHRA, l'UKHSA — fixe souvent la barre de preuve que d'autres doivent franchir, donc ses façons de travailler façonnent tout le marché : l'ESF, le DTAC, et la réglementation des logiciels en tant que dispositif médical sont des instruments de responsabilité à l'échelle de la population. Les décisions ici attirent un examen réglementaire, parlementaire et public, donc le registre de pourquoi une technologie a été recommandée ou acquise compte autant que la décision, et la transparence sur les limites de preuve est un devoir, pas une courtoisie. Le risque à cette échelle est de mandater une technologie à travers le système sur des preuves minces, ou inversement d'exiger un ECR pour un changement à faible risque et de bloquer une innovation utile. Le correctif est la proportionnalité rendue explicite dans des normes publiées, plus une attention à l'éthique des données et à l'équité, car un jeu de données biaisé endossé nationalement enracine l'inégalité à l'échelle.

Modes de défaillance courants#

• Décisions pilotées par démonstration. Acheter parce qu'une démonstration a impressionné un dirigeant senior. Antidote : traitez les argumentaires comme des hypothèses ; exigez une preuve appropriée au niveau.
• Usage confondu avec validation. Citer des chiffres d'adoption comme preuve qu'un outil est cliniquement efficace. Antidote : gardez la preuve clinique et de livraison sur des axes séparés.
• Évaluation une-fois-et-terminé. Valider une fois et ne jamais surveiller, surtout pour l'IA qui dérive. Antidote : preuve du monde réel et surveillance continue.
• Paralysie d'analyse. Exiger un ECR pour un changement de contenu à faible risque. Antidote : méthodes proportionnées ; A/B et évaluation pragmatique où le risque est faible.
• Décisions non consignées. Aucune trace de pourquoi un choix a été fait, donc il est re-débattu et non auditable. Antidote : un journal de décision léger.
• Éthique comme paperasse. Traiter l'éthique des données comme un formulaire à signer plutôt qu'une contrainte de conception. Antidote : intégrez la légalité, le consentement et l'équité dans le design de la preuve.

Modèle de maturité#

Liste de contrôle#

• Chaque technologie est placée dans un niveau de risque ESF de NICE, avec une preuve exigée en conséquence.
• Chaque décision significative a à la fois une preuve clinique et de livraison, gardées distinctes.
• Un modèle logique existe avant la construction, nommant les résultats et métriques.
• Le design d'évaluation est proportionné au risque (A/B et pragmatique pour le faible ; essais/RWE pour l'élevé).
• La preuve du monde réel et la surveillance sont en place pour l'IA et les services durables.
• Il est culturellement sûr de demander à tout décideur « quelle est la preuve ? »
• Chaque décision significative est capturée dans un journal de décision (quoi, pourquoi, preuve, qui, quand).
• L'usage des données est légal, consenti, proportionné, et vérifié pour le biais et l'équité.

Sources clés#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — orientations sur software and AI as a medical device.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (hiérarchie des preuves).
• HM Treasury — The Magenta Book (orientations sur l'évaluation, les modèles logiques, et les designs d'évaluation).
• MRC — cadre Developing and evaluating complex interventions.
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments (tests A/B).
• Michael Nygard — Architecture Decision Records (patron de journal de décision).

Références#

1. Hierarchy of evidence — Wikipédia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipédia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipédia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipédia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipédia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipédia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipédia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipédia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipédia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipédia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipédia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/