Thema 1.3 — Evidenzbasierte Entscheidungen

In einem Satz: Evidenzbasierte Entscheidungsfindung bedeutet, auf der Grundlage der besten verfügbaren Evidenz – klinisch und zur Lieferung – im Verhältnis zum Risiko zu entscheiden, was gebaut, gekauft und skaliert wird, und die Begründung so festzuhalten, dass sie die Menschen überdauert, die sie getroffen haben.

Warum das in Gesundheit und Pflege wichtig ist#

In den meisten Branchen kostet eine schlechte Produktentscheidung Geld. In Gesundheit und Pflege kann sie Sicherheit, Gerechtigkeit und Vertrauen kosten – und sie wird mit öffentlichen Mitteln unter gesetzlicher Pflicht getroffen. Die Entscheidung, eine digitale Diagnostik einzusetzen, die nie evaluiert wurde, ist kein kommerzielles Wagnis, sondern ein klinisches Risiko. Das hebt die Messlatte für Evidenz weit über „die Demo sah gut aus“.

Der Bereich ist zudem besonders, weil er zwei Arten von Evidenz zugleich verlangt. Klinische Evidenz beantwortet: „Funktioniert diese Technologie, und ist sie für Patientinnen und Patienten sicher und wirksam?“ Lieferevidenz beantwortet: „Bauen wir das Richtige gut, und wird es angenommen und genutzt?“ Ein Service kann klinisch solide, aber ein Lieferfehlschlag sein (niemand nutzt ihn) oder ein Liefererfolg, aber klinisch unbewiesen (breit genutzt, nie validiert). Leitende Personen müssen beides verlangen und nie zulassen, dass das eine als das andere auftritt. Und weil Gesundheitsentscheidungen Kontrolle anziehen – von Regulierungsbehörden, Öffentlichkeit und Klinikpersonal –, zählt die Aufzeichnung, warum Sie entschieden haben, ebenso wie die Entscheidung selbst.

Kernkonzepte#

Die Evidenzhierarchie. Die evidenzbasierte Medizin ordnet Studiendesigns danach, wie gut sie Verzerrung kontrollieren: an der Spitze systematische Übersichtsarbeiten und Metaanalysen randomisierter kontrollierter Studien (RCTs); dann einzelne RCTs; dann Kohorten- und Fall-Kontroll-Studien; dann Fallserien; und an der Basis Expertenmeinung und Anekdote. Die Hierarchie ist ein Leitfaden, keine Zwangsjacke – aber sie diszipliniert Sie, zu bemerken, wenn eine Behauptung auf einer als Beweis verkleideten Anekdote beruht.

NICE Evidence Standards Framework (ESF) für digitale Gesundheitstechnologien. NICE hat gemeinsam mit NHS England und Partnern das ESF geschaffen, um festzulegen, welches Evidenzniveau eine digitale Gesundheitstechnologie (DHT) braucht, im Verhältnis zu ihrer Funktion und dem Risiko, das sie trägt. Es stuft DHTs nach potenziellem Risiko – von einfachen Systemdiensten über Werkzeuge, die Versorgung informieren oder steuern, bis zu solchen, die direkt diagnostizieren oder behandeln – und legt die auf jeder Stufe erwartete Evidenz zu klinischer Wirksamkeit und Wirtschaftlichkeit fest. Je höher das klinische Risiko, desto stärker die geforderte Evidenz. Das ESF ist der Bezugspunkt für Beauftragende und Entwickelnde, wenn sie entscheiden, ob eine DHT reif ist.

Real-World-Daten und Real-World-Evidenz. Real-World-Daten (RWD) stammen aus der Routineversorgung – elektronische Patientenakten, Register, patientenberichtete Ergebnisse, Gerätetelemetrie – statt aus kontrollierten Studien. Gut analysiert (durch prospektive Beobachtungsstudien, pragmatische Studien oder sorgfältige Analyse elektronischer Akten) werden sie zu Real-World-Evidenz (RWE) darüber, wie eine Technologie in der Praxis abschneidet. RWE ist unverzichtbar für Technologien, die lernen oder sich verändern (KI, Wearables), bei denen eine einmalige Studie das fortlaufende Verhalten nicht erfassen kann, birgt aber Confounding-Risiken, die ehrlich behandelt werden müssen.

Klinische Evidenz vs. Lieferevidenz. Halten Sie diese auf getrennten Achsen. Klinische Evidenz nutzt die obige Hierarchie und das ESF: Wirksamkeit, Sicherheit, Effektivität. Lieferevidenz nutzt Produkt- und Serviceanalytik: Ist der Service nutzbar, angenommen, erledigt er die Aufgabe der Nutzenden, senkt er Fehlernachfrage (Failure Demand)? Beides ist nötig; sie zu vermengen ist ein klassischer Fehler (eine hohe Nutzungszahl ist kein klinischer Beweis).

Evaluationsdesigns. Ein Logikmodell (oder Wirkungstheorie) macht explizit, wie Eingaben und Aktivitäten Outputs und Outcomes hervorbringen sollen – es ist die Karte, die jede Evaluation prüft. Ein RCT liefert die stärkste kausale Antwort, ist aber langsam, teuer und für einen schnelllebigen Service manchmal unpraktikabel oder unethisch. Pragmatische Evaluation – pragmatische Studien, unterbrochene Zeitreihen, Vorher/Nachher mit Kontrollen, Serviceevaluation mit gemischten Methoden – tauscht etwas Gewissheit gegen Geschwindigkeit und Praxisrelevanz. Wählen Sie das Design im Verhältnis zum Risiko und zur anstehenden Entscheidung.

A/B-Tests und Analytik. Für risikoärmere Fragen auf der Lieferseite (welche Formulierung erhöht die Terminwahrnehmung? welcher Ablauf senkt Abbrüche?) liefern kontrollierte Online-Experimente (A/B-Tests) schnelle, kausale Lieferevidenz. Sie sind mächtig für die Optimierung, dürfen aber nie genutzt werden, um unbewertete klinische Änderungen vorzunehmen, und müssen Einwilligungs- und Informationsgovernance-Grenzen achten.

HiPPO-Entscheidungen. „HiPPO“ – die Meinung der bestbezahlten Person (Highest-Paid Person's Opinion) – benennt das Versagen, bei dem Seniorität Evidenz überstimmt. Evidenzgetriebene Kulturen machen es sicher und normal, jeder Person im Raum zu sagen „was zeigen die Daten?“, und behandeln eine Ahnung von oben als Hypothese zum Testen, nicht als Schlussfolgerung.

Entscheidungsprotokolle. Ein Entscheidungsprotokoll (oder Entscheidungslog / Architecture Decision Record) hält knapp fest: die Entscheidung, die erwogenen Optionen, die abgewogene Evidenz, wer entschieden hat und wann. Es macht Begründungen prüfbar, überdauert Personalwechsel und verhindert, dass dasselbe Argument jedes Quartal neu geführt wird.

Bewährte Praktiken#

1. Stimmen Sie die Stärke der Evidenz auf die Höhe des Risikos ab. Nutzen Sie die ESF-Stufen von NICE als Maßstab: Ein risikoarmes Systemwerkzeug braucht leichte Evidenz; ein Werkzeug, das diagnostiziert oder Behandlung steuert, braucht hochwertige Evidenz zur klinischen Wirksamkeit. Verhältnismäßigkeit lässt Sie beim Sicheren schnell und beim Gefährlichen langsam sein, statt eine Latte für alles anzulegen.

2. Verlangen Sie klinische und Lieferevidenz und verwechseln Sie sie nie. Stellen Sie bei jeder wesentlichen Investition zwei getrennte Fragen – „ist es klinisch wirksam und sicher?“ und „ist es nutzbar und angenommen?“ – und verlangen Sie für jede Evidenz. Annahmekennzahlen sind kein Ersatz für klinische Validierung, und eine positive Studie garantiert keine Nutzung in der Praxis.

3. Beginnen Sie jede Initiative mit einem Logikmodell. Bevor Sie bauen, schreiben Sie nieder, wie Ihrer Überzeugung nach die Intervention das gewünschte Ergebnis hervorbringen wird. Das deckt ungeprüfte Annahmen früh auf, definiert die Kennzahlen, die zählen, und gibt Ihrer späteren Evaluation etwas Konkretes zum Prüfen.

4. Nutzen Sie Real-World-Evidenz für Technologien, die lernen oder fortbestehen. Ergänzen Sie bei KI, Algorithmen und langlebigen Services erste Studien durch strukturierte Überwachung von Routinedaten – prospektive Beobachtungsdesigns, pragmatische Evaluation – oder lassen Sie sie darauf folgen, damit Sie wissen, wie sich die Leistung in der Praxis hält, und Drift erkennen können.

5. Experimentieren Sie bei Lieferfragen; evaluieren Sie klinische. Nutzen Sie A/B-Tests und Analytik frei zur Lieferoptimierung (Formulierung, Ablauf, Hinweise), innerhalb der Grenzen von Informationsgovernance und Einwilligung. Reservieren Sie formale Evaluation (Studien, pragmatische Studien) für Fragen klinischer Wirkung. Führen Sie jede Frage zur richtigen Methode.

6. Erledigen Sie HiPPO-Entscheidungen kulturell, nicht nur prozedural. Machen Sie es ausdrücklich akzeptabel, jede Entscheidungsträgerin nach der Evidenz zu fragen, fassen Sie Ansichten von oben als Hypothesen, und legen Sie im Voraus fest, welche Evidenz Sie umstimmen würde. Ein Team, das Seniorität sicher hinterfragen kann, trifft bessere Entscheidungen.

7. Halten Sie Entscheidungen und ihre Evidenz fest. Führen Sie für jede wesentliche Entscheidung ein schlankes Entscheidungslog – was, warum, welche Evidenz, wer, wann. Das schafft Prüfbarkeit für Regulierungsbehörden und Öffentlichkeit, verhindert endloses Neuverhandeln und bewahrt das institutionelle Gedächtnis durch Personalwechsel.

8. Achten Sie auf Datenethik. Evidenzarbeit nutzt Patientendaten; behandeln Sie Rechtmäßigkeit, Einwilligung, Verhältnismäßigkeit und Fairness als Designbeschränkungen. Hüten Sie sich vor verzerrten Datensätzen, die Ungerechtigkeit verfestigen, achten Sie die Schweigepflicht und stellen Sie sicher, dass Ihre Evidenzpraktiken selbst öffentlicher Prüfung standhielten.

Fragen zur Diskussion im Team#

1. Können wir bei unserer wichtigsten jüngeren Entscheidung sowohl klinische als auch Lieferevidenz benennen – getrennt gehalten – oder hat still die eine die andere ersetzt? Diese Frage prüft die Betonung des Themas, dass klinische Evidenz („funktioniert es und ist es sicher?“) und Lieferevidenz („ist es nutzbar und angenommen?“) auf getrennten Achsen liegen und dass ihre Vermengung ein klassischer, gefährlicher Fehler ist. Sie ist wichtig, weil ein Service klinisch solide, aber ungenutzt oder stark genutzt, aber klinisch unvalidiert sein kann, und weil in Gesundheit und Pflege das Verwechseln einer hohen Nutzungszahl mit klinischem Beweis Patientinnen und Patienten gefährden kann, während es wie Erfolg aussieht. Die Spannung, die ans Licht zu bringen ist: Lieferevidenz ist schnell, billig und schmeichelhaft – Analytik-Dashboards füllen sich rasch –, klinische Evidenz dagegen langsam, teuer und oft nicht eindeutig, sodass ständig Druck besteht, Annahmekennzahlen die Argumentation tragen zu lassen. Nehmen Sie ein echtes Vorstandspapier oder einen Investitionsfall und prüfen Sie: Sind die beiden Evidenzarten getrennt, ist jede tatsächlich vorhanden, und beruht die klinische Behauptung auf mehr als der Lieferanten-Demo oder einer Einzelstandort-Studie? Eine gute, ehrliche Antwort benennt eine konkrete Entscheidung, räumt ein, wo eine Evidenzart dünn oder abwesend war, und verpflichtet sich, bei künftigen wesentlichen Entscheidungen beides ausdrücklich und getrennt zu verlangen, statt eine starke Nutzungszahl alle beruhigen zu lassen.

2. Wie verhältnismäßig ist unsere Evidenzlatte wirklich – verlangen wir Goldstandard-Studien für risikoarme Änderungen, während wir riskantere Werkzeuge auf dünner Evidenz durchwinken? Das Thema rahmt Verhältnismäßigkeit über die ESF-Stufen von NICE: leichte Evidenz für ein risikoarmes Systemwerkzeug, hochwertige Evidenz zur klinischen Wirksamkeit für ein Werkzeug, das diagnostiziert oder Behandlung steuert; diese Frage prüft also, ob Ihre Organisation die Latte tatsächlich am Risiko kalibriert oder einen einzigen stumpfen Standard anwendet. Sie ist wichtig, weil beide Fehlrichtungen teuer sind – Analyselähmung hält eine nützliche risikoarme Inhaltsänderung hinter einem unnötigen RCT fest, während ein zu wenig geprüftes KI-Werkzeug, das klinische Entscheidungen informiert, auf eine überzeugende Demo hin durchrutscht – und jede das Vertrauen in die Evidenzkultur untergräbt. Der Zielkonflikt, der zu debattieren ist: Verhältnismäßigkeit erfordert Urteilsvermögen und die Zuversicht, es zu verteidigen, was schwerer ist als eine einheitliche Regel; ein pauschales „alles braucht eine Studie“ oder „wenn es digital ist, pilotieren wir es einfach“ ist leichter zu verwalten, aber falsch. Gehen Sie zwei oder drei aktuelle oder jüngere Technologien durch, ordnen Sie jede gemeinsam ihrer ESF-Stufe zu und prüfen Sie, ob die von Ihnen verlangte Evidenz der Stufe entsprach oder davon getrieben war, wer sie befürwortete. Eine ehrliche Antwort zeigt, dass das Team das Risikoniveau einer Technologie verorten kann, räumt ein, wo die Latte in eine der beiden Richtungen falsch gesetzt war, und behandelt Verhältnismäßigkeit als expliziten, vertretbaren Standard statt als Instinkt.

3. Wie sicher ist es kulturell, die ranghöchste Person im Raum zu fragen „was ist die Evidenz?“ – und wann haben wir zuletzt die Ahnung einer Führungskraft als Hypothese zum Testen behandelt statt als Entscheidung? Diese Frage konfrontiert direkt das HiPPO-Fehlerbild, bei dem die Meinung der bestbezahlten Person Evidenz überstimmt, und prüft, ob Ihr erklärtes Bekenntnis zur Evidenz den Kontakt mit Hierarchie und mit der Lieferanten-Demo übersteht, die eine geschätzte Direktorin beeindruckt hat. Sie ist wichtig, weil in Gesundheit und Pflege eine demogetriebene Entscheidung, ein unbewertetes Werkzeug einzusetzen, kein kommerzielles Wagnis ist, sondern ein Risiko für klinische Sicherheit und öffentliches Geld, und der Moment, in dem Widerspruch unsicher wird, der Moment ist, in dem Evidenz aufhört, Entscheidungen zu lenken. Die eigentliche Spannung: Psychologische Sicherheit lässt sich nicht per Richtlinie anordnen; sie entsteht, wenn leitende Personen sichtbar zum Widerspruch einladen, ihre eigenen Ansichten als Hypothesen fassen und im Voraus festlegen, welche Evidenz sie umstimmen würde – Verhaltensweisen, die sich exponierend anfühlen und unter Zeitdruck leicht ausgelassen werden. Verankern Sie das Gespräch in Konkretem: Erinnern Sie eine jüngere Entscheidung, die mehr von Seniorität oder Begeisterung als von Daten getrieben war, und fragen Sie, ob jemand widersprach, ob sich das sicher anfühlte und was ein Entscheidungsprotokoll erfasst hätte. Eine gute Antwort ist offen, wo Hierarchie derzeit gewinnt, benennt konkrete Verhaltensweisen, mit denen Führungskräfte Widerspruch normal machen, und verbindet das kulturelle Bekenntnis mit dem schlanken Entscheidungslog, das Begründungen prüfbar macht und verhindert, dass dasselbe Argument erneut geführt wird.

4. Wie würden wir bei den Technologien, die lernen oder fortbestehen – unserer KI, unseren Algorithmen, unseren langlebigen Services – tatsächlich wissen, ob ihre Leistung seit unserer Validierung gedriftet ist, und wer schaut hin? Das Thema ist ausdrücklich, dass eine einmalige Studie das fortlaufende Verhalten von Technologien, die lernen oder sich verändern, nicht erfassen kann und dass „einmal evaluiert, dann nie wieder“ ein benanntes Fehlerbild ist, dessen Gegenmittel Real-World-Evidenz und fortlaufende Überwachung sind. Diese Frage ist wichtig, weil die Gefahr lautlos ist: Ein KI-Verschlechterungsmodell oder Triage-Algorithmus kann sich verschlechtern, wenn sich Fallmix, Kodierpraxis oder vorgelagerte Datenpipelines verschieben, und anders als bei einer kaputten Funktion fällt nichts offensichtlich aus – das Werkzeug liefert weiter plausible Ausgaben, während seine Fehlalarm- oder Verpassrate sich unmerklich verschlechtert. Die Spannung: Überwachung ist unglamourös und im Verhältnis zur Aufregung des Einsatzes unterfinanziert; sobald ein Business Case unterzeichnet und Nutzen gebucht ist, statten nur wenige Organisationen die prospektive Beobachtungsarbeit, die Drift-Kennzahlen oder die benannte Eigentümerin mit Ressourcen aus, die sie prüft. Wählen Sie ein produktives KI- oder Algorithmus-Werkzeug und verfolgen Sie sein Leben nach dem Einsatz konkret – welche Routinedaten werden beobachtet, gegen welche Baseline, in welchem Takt, und wer würde eine Verschlechterung eskalieren und an wen. Eine ehrliche Antwort räumt ein, wo die Validierung beim Go-live endete, unterscheidet die Werkzeuge, die kontinuierliche Überwachung wirklich brauchen, von denen, die sie nicht brauchen, und verpflichtet sich zu einer benannten Eigentümerin, einer Kennzahl und einem Überprüfungsrhythmus statt zu einer vagen Absicht, „ein Auge darauf zu haben“.

5. Wenn eine Entscheidung, die wir heute treffen, in zwei Jahren hinterfragt wird – von einer neuen Direktorin, einer Regulierungsbehörde oder der Öffentlichkeit –, was wird die schriftliche Aufzeichnung tatsächlich zeigen, und würde sie dieser Prüfung standhalten? Das Thema behandelt das Entscheidungsprotokoll als Kerninfrastruktur: ein schlankes Log von Entscheidung, Optionen, abgewogener Evidenz, Entscheider und Zeitpunkt, geschätzt, weil es Begründungen prüfbar macht, Personalwechsel überdauert und verhindert, dass dasselbe Argument jedes Quartal neu geführt wird. Diese Frage ist wichtig, weil Entscheidungen in Gesundheit und Pflege regulatorische, parlamentarische und öffentliche Kontrolle in einer Weise anziehen, wie es kommerzielle selten tun, und das Beispiel dieses Themas genau darauf dreht – zwei Jahre später stellt eine neue Direktorin ein eingesetztes Werkzeug infrage und „die Aufzeichnung antwortet“. Die eigentliche Spannung liegt zwischen den winzigen Kosten der Disziplin je Entscheidung und dem chronischen Druck, sie zu überspringen: Aufzuschreiben, warum man entschieden hat, fühlt sich im Moment bürokratisch an, und die Menschen, die die Aufzeichnung am meisten brauchen, sind künftiges Personal, das nicht im Raum ist, um sie einzufordern. Prüfen Sie es an der Realität, indem Sie versuchen, die Begründung einer wesentlichen Entscheidung von vor zwölf oder achtzehn Monaten zu rekonstruieren – finden Sie, welche Evidenz abgewogen und welche Alternativen verworfen wurden, oder nur, dass eine Entscheidung fiel? Eine gute Antwort stellt sich der Frage, ob Aufzeichnungen für wesentliche Entscheidungen tatsächlich geführt werden oder nur für die einfachen, ob sie Evidenz und Optionen statt nur Schlussfolgerungen erfassen und ob sie jemals jemand nachliest – denn ein ungelesenes Log nur mit Schlussfolgerungen ist Prüftheater, kein institutionelles Gedächtnis.

6. Wessen Daten trainieren und validieren unsere Evidenz, und sind wir sicher, dass sie keine Ungerechtigkeit verfestigt – oder behandeln wir Datenethik als ein zu unterschreibendes Formular statt als Designbeschränkung? Das Thema besteht darauf, dass Evidenzarbeit auf Patientendaten läuft und dass Rechtmäßigkeit, Einwilligung, Verhältnismäßigkeit und Fairness Designbeschränkungen sind, kein Papierkram; es warnt ausdrücklich vor verzerrten Datensätzen, die Ungerechtigkeit verfestigen, und vor „Ethik als Papierkram“ als Fehlerbild. Diese Frage ist wichtig, weil eine an einer nicht repräsentativen Bevölkerung validierte Technologie für die Gruppen schlechter abschneiden kann, die ohnehin am schlechtesten versorgt sind – ein Verschlechterungs- oder Diagnosemodell, trainiert dort, wo bestimmte Ethnien, Altersgruppen oder Komorbiditäten unterrepräsentiert sind, kann diese Verzerrung in jede künftige Entscheidung tragen, und im nationalen Maßstab verfestigt ein bestätigter Datensatz diese Ungerechtigkeit systemweit. Die Spannung: Fairnessanalyse ist schwerer und langsamer als eine Schlagzeilen-Genauigkeitszahl; sie verlangt, zu hinterfragen, wer in den Daten ist und wer fehlt, die Leistung nach Untergruppen aufzuschlüsseln und mitunter zu akzeptieren, dass Ihre Evidenz für die Bevölkerungsgruppen schwächer ist, denen Sie am meisten dienen müssen. Machen Sie es konkret, indem Sie ein jüngeres oder vorgeschlagenes Werkzeug nehmen und fragen, auf wessen Datensätzen es gebaut und getestet wurde, ob die Leistung je nach Untergruppe untersucht wurde und ob die Freigabe der Informationsgovernance sich überhaupt mit Fairness befasste oder nur die Rechtsgrundlage bestätigte. Eine ehrliche Antwort trennt echte ethische Prüfung von Abhaken, räumt ein, wo Repräsentativität nie geprüft wurde, und behandelt Verzerrung und Fairness als Fragen, die die Evidenz selbst beantworten muss, statt als Compliance-Schritt, der am Ende angeflanscht wird.

In der Praxis: ein Beispiel aus Gesundheit und Pflege#

Einem Gemeinde-Trust wird ein KI-Werkzeug angeboten, das Patientinnen und Patienten mit Verschlechterungsrisiko anhand von Vitalzeichendaten markiert. Eine HiPPO-Entscheidung würde es einsetzen, weil ein geschätzter Direktor von der Anbieter-Demo beeindruckt war.

Stattdessen behandelt der Trust den Pitch als Hypothese. Er ordnet das Werkzeug der ESF-Risikostufe von NICE zu, die für eine Technologie passt, die klinische Entscheidungen informiert, und verlangt vom Anbieter Wirksamkeitsevidenz auf diesem Niveau; das Stärkste, was geboten wird, ist eine kleine Einzelstandort-Studie. Der Trust schreibt ein Logikmodell (bessere Frühwarnung → frühere Eskalation → weniger vermeidbare Verschlechterungen) und entwirft eine pragmatische Evaluation: einen Schattenbetrieb, in dem die Alarme des Werkzeugs protokolliert, aber nicht befolgt werden, verglichen mit tatsächlichen Ergebnissen, dazu qualitative Interviews mit Pflegekräften zur Passung in den Arbeitsablauf.

Parallel sammelt er Lieferevidenz: Würde Klinikpersonal die Alarme tatsächlich bemerken und ihnen vertrauen? Er führt A/B-artige Tests zur Darstellung der Alarme durch. Die Verantwortlichen für Informationsgovernance und klinische Sicherheit geben Datennutzung und Gefährdungsprotokoll frei. Nach drei Monaten zeigt die RWE eine moderate, aber echte Verbesserung und eine akzeptable Fehlalarmrate, und die Lieferevidenz zeigt, dass Klinikpersonal sich mit den neu gestalteten Alarmen auseinandersetzt. Die Entscheidung fortzufahren – mit gestuftem Rollout und fortlaufender Überwachung – wird in einem Entscheidungsprotokoll festgehalten, das die abgewogene Evidenz zitiert. Zwei Jahre später, als eine neue Direktorin das Werkzeug infrage stellt, antwortet die Aufzeichnung.

Sektorperspektiven#

Alle schulden dieselbe Pflicht, Evidenz auf Risiko abzustimmen, doch Ressourcen, Anreize und Rechenschaft rund um Evidenz unterscheiden sich stark je nach Organisation.

Startup#

Die Beschränkung eines Startups ist, dass Goldstandard-Evidenz langsam und teuer ist, während die Finanzierungsdauer kurz ist; die Versuchung besteht daher darin, Annahmekennzahlen als Beweis klinischer Wirkung zu verkaufen. Der ehrliche Zug ist, das Produkt früh in die richtige ESF-Stufe von NICE einzuordnen und Käufern gegenüber offen über die Evidenzlücke zu sein, mit einem klaren Logikmodell und einer billigen pragmatischen Evaluation (ein Pilot im Schattenbetrieb, eine unterbrochene Zeitreihe an einem einzelnen Standort), um die erste Real-World-Evidenz zu erzeugen. Entscheidungsprotokolle kosten fast nichts und sind für ein kleines Team überproportional wertvoll: Sie bewahren Begründungen durch schnelle Kurswechsel und geben sorgfältig prüfenden Investoren und NHS-Begutachtenden eine Prüfspur. Die Disziplin, die sich auszahlt, ist, der HiPPO-Gründerahnung zu widerstehen und jedes „die Demo kam gut an“ als Hypothese zum Testen zu behandeln.

Kleines Unternehmen#

Ein etablierter kleiner Anbieter – eine Hausarztpraxis, eine Gemeindeapotheke, ein Pflegeheim, eine Einzelstandort-Klinik, ein kleiner Health-Tech-Lieferant jenseits der Startup-Phase – trägt dieselbe Pflicht, Evidenz auf Risiko abzustimmen, hat aber echte Patientinnen und Patienten, knappes Geld und wenig oder keine eigene Digitalfähigkeit dafür. Der realistische Zug ist, sich auf Evidenz zu stützen, die andere bereits erzeugt haben, statt eigene zu erzeugen: die ESF-Stufe von NICE und die DTAC-Bewertung eines Kandidatenwerkzeugs als fertige Verhältnismäßigkeit zu nutzen, von Lieferanten stufengerechte Evidenz zur klinischen Wirksamkeit zu verlangen und sich nicht von einer glatten Demo zu einem unbewerteten Produkt überreden zu lassen. Lieferevidenz ist der Bereich, in dem eine kleine Organisation wirklich führen kann, weil sie ihre eigenen Patientinnen und Patienten genau sieht – einige Wochen ehrlicher Beobachtung, ob Personal ein Werkzeug tatsächlich nutzt und ob es Fehlernachfrage senkt, sind Real-World-Evidenz in Reichweite. Ein einzeiliges Entscheidungsprotokoll – was wir gewählt haben, welche Evidenz wir sahen, wer entschied – kostet ein kleines Team fast nichts und schützt es, wenn ein Partner geht oder ein CQC-Inspektor fragt, warum. Die zu vermeidende Falle ist die Annahme, Kleinsein befreie von der Evidenzlatte; die Pflicht gegenüber Patientinnen und Patienten ist identisch, nur die Ressourcen sind es nicht.

Großunternehmen#

Ein NHS Trust oder ICS hat die Routinedaten, die Patientenzahlen und die Analysefähigkeit für ernsthafte Evaluation – und die Rechenschaft, die sie verlangt, denn der Einsatz eines unbewiesenen Werkzeugs im großen Maßstab ist zugleich ein Risiko für klinische Sicherheit und öffentliches Geld. Das Fehlerbild ist institutionell: eine geschätzte Direktorin, die eine Anbieter-Demo befürwortet, oder ein Business Case auf projizierten Nutzen, den später niemand prüft. Das Korrektiv ist, es kulturell sicher zu machen, jede Entscheidungsträgerin zu fragen „was ist die Evidenz?“, klinische und Lieferevidenz in jedem Vorstandspapier auf getrennten Achsen zu halten und fortlaufende Real-World-Überwachung für KI und langlebige Services zu finanzieren, statt einmal zu validieren. Ein großes Pharma- oder Health-Tech-Unternehmen bringt formale Studienmaschinerie mit, muss sich aber vor Publikationsbias und Confounding in der von ihm erzeugten Real-World-Evidenz hüten.

Regierung#

Eine nationale Stelle – NICE, NHS England, DHSC, die MHRA, UKHSA – setzt oft die Evidenzlatte, die andere nehmen müssen; ihre Arbeitsweisen prägen daher den ganzen Markt: ESF, DTAC und die Regulierung von Software als Medizinprodukt sind Instrumente der Rechenschaft im Bevölkerungsmaßstab. Entscheidungen hier ziehen regulatorische, parlamentarische und öffentliche Kontrolle an; die Aufzeichnung, warum eine Technologie empfohlen oder beschafft wurde, zählt daher ebenso wie die Entscheidung, und Transparenz über Evidenzgrenzen ist eine Pflicht, keine Höflichkeit. Das Risiko in dieser Größenordnung ist, eine Technologie auf dünner Evidenz im ganzen System vorzuschreiben – oder umgekehrt für eine risikoarme Änderung einen RCT zu verlangen und nützliche Innovation zu bremsen. Das Korrektiv ist in veröffentlichten Standards explizit gemachte Verhältnismäßigkeit, plus Aufmerksamkeit für Datenethik und Fairness, denn ein national bestätigter verzerrter Datensatz verfestigt Ungerechtigkeit im großen Maßstab.

Häufige Fehlermuster#

• Demogetriebene Entscheidungen. Kaufen, weil eine Demonstration eine leitende Person beeindruckt hat. Gegenmittel: Pitches als Hypothesen behandeln; stufengerechte Evidenz verlangen.
• Nutzung mit Validierung verwechselt. Annahmezahlen als Beweis anführen, dass ein Werkzeug klinisch wirksam ist. Gegenmittel: klinische und Lieferevidenz auf getrennten Achsen halten.
• Einmal evaluiert, nie wieder. Einmal validieren und nie überwachen, besonders bei KI, die driftet. Gegenmittel: Real-World-Evidenz und fortlaufende Überwachung.
• Analyselähmung. Für eine risikoarme Inhaltsänderung einen RCT verlangen. Gegenmittel: verhältnismäßige Methoden; A/B und pragmatische Evaluation bei geringem Risiko.
• Nicht festgehaltene Entscheidungen. Keine Spur, warum eine Wahl getroffen wurde, sodass sie neu verhandelt wird und nicht prüfbar ist. Gegenmittel: ein schlankes Entscheidungslog.
• Ethik als Papierkram. Datenethik als zu unterschreibendes Formular statt als Designbeschränkung behandeln. Gegenmittel: Rechtmäßigkeit, Einwilligung und Fairness in das Evidenzdesign einbauen.

Reifegradmodell#

Checkliste#

• Jede Technologie ist einer ESF-Risikostufe von NICE zugeordnet, mit dazu passender verlangter Evidenz.
• Jede wesentliche Entscheidung hat sowohl klinische als auch Lieferevidenz, getrennt gehalten.
• Vor dem Bau existiert ein Logikmodell, das Ergebnisse und Kennzahlen benennt.
• Das Evaluationsdesign ist dem Risiko angemessen (A/B und pragmatisch bei niedrig; Studien/RWE bei hoch).
• Real-World-Evidenz und Überwachung sind für KI und langlebige Services vorhanden.
• Es ist kulturell sicher, jede Entscheidungsträgerin zu fragen „was ist die Evidenz?“
• Jede wesentliche Entscheidung ist in einem Entscheidungslog erfasst (was, warum, Evidenz, wer, wann).
• Datennutzung ist rechtmäßig, mit Einwilligung, verhältnismäßig und auf Verzerrung und Fairness geprüft.

Zentrale Quellen#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — Leitlinien zu Software und KI als Medizinprodukt.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (Evidenzhierarchie).
• HM Treasury — The Magenta Book (Leitlinien zu Evaluation, Logikmodellen und Evaluationsdesigns).
• MRC — Rahmenwerk Developing and evaluating complex interventions.
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments (A/B-Tests).
• Michael Nygard — Architecture Decision Records (Muster des Entscheidungslogs).

Referenzen#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/