Thema 8.6 — Forschung und Evaluation unter realen Bedingungen

In Gesundheit und Pflege ist eine digitale Innovation nur so vertrauenswürdig wie die Evidenz, dass sie in der Praxis tatsächlich funktioniert – Sie müssen diese Evidenz daher von Anfang an einplanen, mit einer Strenge, die dem Risiko und den von Ihnen erhobenen Ansprüchen angemessen ist.

Warum das in Gesundheit und Pflege wichtig ist#

Jedes digitale Produkt, das Sie einsetzen, gibt ein implizites Versprechen ab: Das wird Patientinnen, Personal oder dem System helfen, ohne Schaden zu verursachen. In den meisten Sektoren kostet ein unbewiesenes Versprechen einen Kunden oder ein Quartal Umsatz. In Gesundheit und Pflege kann es Leben kosten, Ungleichheit vergrößern oder das öffentliche Vertrauen untergraben, von dem das ganze System abhängt. Begeisterung und eine gute Demo sind keine Evidenz, und ein plausibler Mechanismus ist kein Nutzenbeweis.

Die Geschichte der digitalen Gesundheit ist voll von Werkzeugen, die überzeugend aussahen und im großen Maßstab übernommen wurden, bevor jemand gezeigt hatte, dass sie funktionierten – und einigen, die still Schaden verursachten, Diagnosen verpassten oder Klinikpersonal zu Umgehungen trieben. Regulierer, Commissioner und Klinikpersonal haben mit einer höheren Latte reagiert: Sie erwarten inzwischen glaubwürdige, verhältnismäßige Evidenz vor, während und nach dem Einsatz. Wenn Sie nicht belegen können, dass Ihr Dienst die behaupteten Ergebnisse liefert, sollten Sie erwarten, dass er angefochten, entfinanziert oder zurückgezogen wird – und zu Recht.

Evidenz ist auch eine Frage von Gleichstellung und Sicherheit, keine bürokratische Hürde. Ein Werkzeug, das durchschnittliche Ergebnisse verbessert, kann dennoch eine Untergruppe schädigen – die digital Ausgegrenzten, Menschen mit begrenztem Englisch oder eine in Ihren Trainingsdaten unterrepräsentierte Bevölkerung. Nur gezielte Evaluation legt das offen. Gute Evidenz zu erzeugen ist daher Teil Ihrer Sorgfaltspflicht, Ihrer Treuhänderschaft für öffentliches Geld und Ihrer Glaubwürdigkeit gegenüber den Menschen, denen Sie dienen (siehe Thema 1.3 — Evidenzbasierte Entscheidungen und Thema 1.6 — Klinische Sicherheit und Risikomanagement).

Kernkonzepte#

Beginnen Sie mit einer Unterscheidung, die alles andere bestimmt: dem Unterschied zwischen Forschung, Dienstevaluation (Service Evaluation) und klinischem Audit. Forschung zielt darauf, neues, verallgemeinerbares Wissen zu erzeugen – Erkenntnisse, die über Ihr lokales Umfeld hinaus wahr sein sollen. Dienstevaluation fragt, wie gut dieser Dienst hier funktioniert, an den Standards, die der Dienst selbst übernommen hat. Klinisches Audit vergleicht die aktuelle Praxis mit einem bestehenden, vereinbarten Standard und schließt die Schleife mit Veränderung. Die Unterscheidung ist keine akademische Pedanterie: Sie bestimmt Ihren Governance-Weg. Forschung mit Patientinnen, Personal oder Daten des National Health Service (NHS) braucht fast immer formale ethische Genehmigung; die meiste Dienstevaluation und die meisten Audits nicht. Forschung als Evaluation zu missklassifizieren, um Genehmigungen zu umgehen, ist ein schweres Governance-Versagen.

In England läuft die Forschungsgovernance über die Health Research Authority (HRA), eine dem Department of Health and Social Care nahestehende Stelle. Die HRA schützt und fördert die Interessen der Teilnehmenden und koordiniert Genehmigungen, sodass eine Studie für das ganze Land einmal geprüft wird. Die ethische Prüfung erfolgt durch eine Research Ethics Committee (REC) – das britische Gegenstück zu einem Institutional Review Board –, die beurteilt, ob eine Studie ethisch, verhältnismäßig und für Teilnehmende sicher ist. Anträge werden über das Integrated Research Application System (IRAS) eingereicht, ein einziges Online-Portal, das Ihr Projekt zu den RECs, der HRA-Genehmigung und anderen nötigen Erlaubnissen leitet. Die Online-Entscheidungswerkzeuge der HRA helfen Ihnen zu bestimmen, ob Ihr Projekt überhaupt als Forschung zählt.

Viel Evidenz der digitalen Gesundheit wird inzwischen aus Real-World-Daten (RWD) aufgebaut – Informationen, die außerhalb kontrollierter Studien erhoben werden, etwa elektronische Patientenakten, Gerätelogs, Register und Abrechnungsdaten –, analysiert, um Real-World-Evidenz (RWE) darüber zu erzeugen, wie eine Intervention unter gewöhnlichen Bedingungen abschneidet. RWE ist mächtig, weil digitale Werkzeuge als Nebenprodukt reiche Nutzungsdaten erzeugen und weil sie die unordentliche Realität spiegelt, die Studien oft ausschließen. Sie ist auch fragil: Beobachtungsdaten sind von Störfaktoren (Confounding) und Verzerrung durchsetzt, sodass ein naiver Vorher-Nachher-Vergleich einen saisonalen Trend oder eine gleichzeitige Änderung für Ihren Effekt halten kann.

Deshalb zählt das Design der Evaluation. Das stärkste Design für kausale Aussagen bleibt die randomisierte kontrollierte Studie (RCT), die Verzerrung verringert, indem sie Teilnehmende zufällig zuweist. Digitale Kontexte begünstigen oft pragmatische Varianten – clusterrandomisierte Studien und die Stepped-Wedge-Studie, bei der Standorte in randomisierten Wellen von der Kontrolle zur Intervention wechseln, was zu einem ohnehin geplanten phasenweisen Rollout passt. Wo Randomisierung unpraktisch ist, helfen quasi-experimentelle Designs: Die unterbrochene Zeitreihenanalyse (Interrupted Time Series, ITS) verfolgt ein Ergebnis über viele Zeitpunkte vor und nach dem Go-live, um Änderungen in Niveau und Trend zu erkennen, und ist oft das beste machbare Design für eine systemweite digitale Veränderung. Ein einfacher Vorher-Nachher-Vergleich ist das schwächste und irreführendste, weil er Ihren Effekt nicht von allem anderen trennen kann, was sich änderte.

Zwei weitere Anker prägen die Arbeit. Die Evidenzlatte für digitale Gesundheit in England setzt das Evidence Standards Framework for Digital Health Technologies, veröffentlicht vom National Institute for Health and Care Excellence (NICE): Es stuft Werkzeuge nach potenziellem Risiko und gibt die für jede Stufe erwartete Stärke der Evidenz an. Und eine anhaltende Verzerrung, vor der man sich hüten muss, ist der Publikationsbias – die Neigung, positive Ergebnisse zu teilen und negative zu vergraben, was das ganze Feld beschönigt und unwirksame Werkzeuge sich verbreiten lässt.

Bewährte Praktiken#

1. Klassifizieren Sie Ihr Projekt, bevor Sie es gestalten. Nutzen Sie die Entscheidungswerkzeuge der HRA, um zu bestimmen, ob Ihre Arbeit Forschung, Dienstevaluation oder Audit ist, und halten Sie die Begründung fest. Dieser einzelne Schritt setzt Ihren Governance-Weg, Ihren Zeitplan und Ihre Genehmigungen. Machen Sie es in optimistischer Richtung falsch, riskieren Sie, nicht genehmigte Forschung an Patientinnen zu betreiben; machen Sie es in vorsichtiger Richtung falsch, belasten Sie eine einfache Evaluation mit Monaten unnötigem Prozess.

2. Bauen Sie Evaluation von Anfang an ein, nicht als Aufsatz. Entscheiden Sie in der Discovery, was „funktioniert“ bedeutet und wie Sie es messen werden – vor einer Zeile Produktionscode (siehe Thema 3.4 — Discovery-Phasen). Erfassen Sie eine Baseline vor dem Go-live, denn Sie können sie nachher nie rekonstruieren, und versehen Sie das Produkt mit Messpunkten, die die Ergebnis- und Nutzungsdaten liefern, die Ihr Design braucht. Evaluation auf einen Live-Dienst nachzurüsten liefert fast immer schwächere Evidenz zu höheren Kosten und oft gar keine nutzbare Baseline.

3. Passen Sie die Strenge an Risiko und Anspruch an. Ein Buchungswerkzeug, das eine Warteliste umordnet, braucht weniger Evidenzgewicht als ein Algorithmus, der Brustschmerz triagiert. Nutzen Sie das NICE Evidence Standards Framework, um die Risikostufe Ihres Werkzeugs zu bestimmen, und erheben Sie Ansprüche, die Ihre Evidenz tragen kann: Wenn Sie eine unterbrochene Zeitreihe haben, die gesunkene Nichterscheinensraten zeigt, sagen Sie das – suggerieren Sie keinen Sterblichkeitsnutzen. Verhältnismäßigkeit schützt Patientinnen vor unterbelegtem Risiko und schützt Sie davor, Aufwand darauf zu verschwenden, Werkzeuge mit geringem Einsatz zu übermäßig zu beweisen.

4. Wählen Sie das stärkste machbare Design und benennen Sie seine Grenzen. Greifen Sie zur Randomisierung, wenn Sie können, und erwägen Sie ein Stepped-Wedge-Design, wenn ein phasenweiser Rollout eine gleichzeitige Kontrollgruppe unmöglich macht. Wenn Randomisierung wirklich nicht machbar ist, bevorzugen Sie die unterbrochene Zeitreihe gegenüber dem naiven Vorher-Nachher und legen Sie Ihre Analyse vorab fest, um der Versuchung zu widerstehen, nach einem günstigen Ergebnis zu fischen. Jedes Design hat Schwächen; nennen Sie Ihre klar, damit Leserinnen die Evidenz ehrlich abwägen können.

5. Nutzen Sie Real-World-Daten bewusst und behandeln Sie Confounding als Feind. Digitale Dienste erzeugen reichlich RWD, doch Fülle ist nicht Validität. Planen Sie, welche Daten Sie nutzen, ihre Qualität und Vollständigkeit und die Verzerrungen, die sie tragen, und beziehen Sie früh eine Analystin oder Methodikerin ein, statt Logs im Nachhinein zu schürfen. Registrieren Sie Ihre Ergebnisse und Analyse wo möglich vorab (Pre-Registration), damit die Daten nicht gefoltert werden können, Ihnen zu sagen, was Sie zu hören hofften.

6. Arbeiten Sie mit Menschen zusammen, die beruflich Evidenz erzeugen. Universitäten, das National Institute for Health and Care Research (NIHR) und Ihr regionales Health Innovation Network – die früher Academic Health Science Networks (AHSNs) genannten Stellen – bringen methodische Strenge, Unabhängigkeit, Finanzierungswege und Glaubwürdigkeit mit, die Sie im Haus nicht herstellen können. Unabhängige Evaluation hat bei Commissionern und Klinikpersonal weit mehr Gewicht als die eigene Analyse eines Lieferanten. Binden Sie sie früh ein, denn die besten Designs werden vor dem Einsatz gesetzt, nicht danach (siehe Thema 9.0 — Zusammenarbeit mit Partnerorganisationen).

7. Messen Sie Ergebnisse und Ökonomie, nicht nur Aktivität. Logins, Klickraten und Zufriedenheitswerte sind notwendig, aber nicht hinreichend; Commissioner finanzieren Ergebnisse und Wert. Binden Sie Ihre Evaluation wo immer möglich an klinische Ergebnisse, Sicherheitssignale, Gleichstellung über Untergruppen und Kostenfolgen, und arbeiten Sie mit Gesundheitsökonominnen, um Nutzen in Begriffen zu rahmen, die Entscheider nutzen (siehe Thema 6.1 — Gesundheitsökonomie). Schlüsseln Sie Ergebnisse stets nach Bevölkerung auf, damit ein Werkzeug, das im Durchschnitt hilft, aber eine Untergruppe schädigt, sich nicht hinter dem Mittelwert verstecken kann.

8. Veröffentlichen Sie Ihre Ergebnisse – auch die enttäuschenden. Verpflichten Sie sich vorab, Erkenntnisse, positiv oder negativ, in einem Bericht, einem Preprint oder einem begutachteten Beitrag zu teilen. Negative Ergebnisse zu veröffentlichen ist eine berufliche Pflicht: Es erspart anderen Organisationen, Ihre Fehler zu wiederholen, und kontert den Publikationsbias, der unwirksame Werkzeuge wuchern lässt. Eine Kultur, die sagen kann „wir haben das evaluiert, und es wirkte nicht, also haben wir aufgehört“, ist vertrauenswürdiger, nicht weniger.

9. Schließen Sie die Schleife und handeln Sie auf das Gelernte. Evidenz, die keine Entscheidung verändert, ist Verschwendung. Speisen Sie Erkenntnisse in Roadmap, Business Case und Phasierungsentscheidungen zurück – skalieren Sie, was funktioniert, beheben Sie, was halb funktioniert, und legen Sie still, was nicht funktioniert (siehe Thema 8.0 — Innovation phasenweise einführen). Evaluieren Sie dann erneut, denn ein Werkzeug der digitalen Gesundheit, das im Pilotmaßstab in einem Umfeld funktionierte, kann sich im nationalen Maßstab oder in einer anderen Population anders verhalten.

Fragen zur Diskussion im Team#

1. Ist das, was wir tun wollen, Forschung, Dienstevaluation oder Audit – und wie sicher sind wir uns bei dieser Antwort? Das ist die erste Frage, weil die Antwort Ihren gesamten Governance-Weg setzt und ein Fehler schwere Folgen hat. Besprechen Sie, wer Ihre betroffenen Personen sind, ob Sie irgendetwas randomisieren, ob Sie verallgemeinerbares Wissen erzeugen wollen und ob Sie zu veröffentlichen planen – alles Signale, die ein Projekt Richtung „Forschung“ schieben. Widerstehen Sie jedem Druck, etwas als Evaluation zu etikettieren, bloß weil der Genehmigungsweg schneller ist; dieser Druck ist genau dort, wo Governance-Versagen beginnt. Nutzen Sie das Entscheidungswerkzeug der HRA gemeinsam, im Raum, und schreiben Sie Ihre Begründung und wer sie vereinbart hat auf. Eine gute Antwort ist nicht bloß ein Etikett, sondern ein dokumentiertes, vertretbares Urteil, das Ihre Kolleginnen der Informationsgovernance und der klinischen Sicherheit gesehen haben. Wenn Sie wirklich unsicher sind, ist der ehrliche Schritt, die HRA oder Ihr F&E-Büro zu fragen, statt in die Richtung zu raten, die zu Ihrem Zeitplan passt.

2. Was würde als überzeugende Evidenz zählen, dass dies funktioniert – und für wen? Verschiedene Zielgruppen verlangen verschiedene Evidenz: Klinikpersonal will Sicherheits- und Ergebnisdaten, ein Commissioner will Kosten und Wert, ein Regulierer will die angemessene NICE-Stufe erfüllt sehen, und eine Patientin will wissen, dass es für Menschen wie sie sicher und fair ist. Debattieren Sie, was „funktioniert“ für Ihr Werkzeug tatsächlich bedeutet und welches Ergebnis Sie stoppen ließe – denn ein Team, das keine Stoppbedingung artikulieren kann, evaluiert nicht wirklich. Bedenken Sie, welches Design angesichts Ihres Rollout-Plans, Ihrer Daten und Ihres Budgets machbar ist, und seien Sie ehrlich zum Zielkonflikt zwischen Strenge und Tempo. Besprechen Sie, ob Sie unabhängige Evaluation brauchen, um geglaubt zu werden, und wenn ja, wer sie durchführen sollte. Eine gute Antwort benennt die Entscheider, die Ergebnisse, die sie bewegen würden, das Design, das diese Ergebnisse glaubwürdig erzeugen kann, und die Schwelle, ab der Sie schließen würden, dass das Werkzeug gescheitert ist.

3. Wie gehen wir mit einem negativen oder enttäuschenden Ergebnis um? Fragen Sie das, bevor Sie das Ergebnis haben, denn die Antwort ist im Voraus weit ehrlicher. Erkunden Sie, was Sie täten, wenn die Evaluation keinen Nutzen zeigte oder Nutzen für die Mehrheit, aber Schaden für eine ausgeschlossene Untergruppe, und wer es hören müsste. Bringen Sie die realen Drücke ans Licht: versunkene Kosten, Lieferantenbeziehungen, Reputationssorge und die Karriereanreize, die Menschen gute Nachrichten wollen lassen. Besprechen Sie Ihre vorherige Verpflichtung, unabhängig vom Ergebnis zu veröffentlichen, und welche Governance Sie an dieses Versprechen bindet, wenn das Ergebnis peinlich ist. Eine gute Antwort behandelt eine gut durchgeführte Evaluation mit negativem Ergebnis als Erfolg des Prozesses, nicht als Versagen des Teams – und hat einen konkreten Plan, elegant stillzulegen, offen zu kommunizieren und die Menschen zu schützen, die den ehrlichen Befund lieferten.

4. Was müssen wir vor dem Go-live erfassen und mit Messpunkten versehen – und haben wir es tatsächlich eingebaut? Eine Evaluation ist nur so gut wie die Baseline und die Daten, auf die sie sich stützen kann, und beides ist vor dem Start weit billiger zu sichern als danach. Arbeiten Sie durch, welchen „Vorher“-Zustand Sie brauchen – Aufnahmeraten, Wartezeiten, Fehlerraten, aktuelle Pfadkosten – und bestätigen Sie, dass er jetzt aufgezeichnet wird, aufgeschlüsselt nach den Untergruppen, die Ihnen wichtig sind, denn eine nicht erfasste Baseline können Sie nie rekonstruieren. Prüfen Sie, ob das Produkt selbst die Ergebnis- und Nutzungsdaten liefern wird, die Ihr gewähltes Design braucht, oder ob diese Messpunkte noch ein Backlog-Wunsch sind. Debattieren Sie die Zeitspannung: Lieferdruck streift Messung oft heraus, um ein Datum zu halten, und jeder solche Schnitt schwächt still die Evidenz, die Sie später vorlegen sollen. Beziehen Sie eine Analystin oder Methodiker ein, solange das Design noch weich ist, nicht wenn die Logs schon fließen. Eine gute Antwort ist eine konkrete Liste dessen, was erfasst wird, ab wann, in welcher Granularität und wer bestätigt hat, dass es live ist – nicht die Absicht, es nach dem Rollout zu klären.

5. Wie gut sind die Daten, auf die wir uns stützen wollen, und was könnte unsere Schlussfolgerung verfälschen? Real-World-Daten sind reichlich, aber selten sauber, und ein plausibles Diagramm kann Saisonalität, eine gleichzeitige Dienständerung, Regression zur Mitte oder eine Kodierungsverschiebung verbergen, die nichts mit Ihrem Werkzeug zu tun hat. Befragen Sie Herkunft, Vollständigkeit und Qualität jeder Quelle, die Sie nutzen wollen, und benennen Sie die Verzerrungen, die jede trägt – wer in elektronischen Akten fehlt, welche Felder unzuverlässig sind, wie konsistent ein Code angewandt wird. Fragen Sie, was sich im selben Fenster wie Ihr Go-live sonst änderte, denn eine unterbrochene Zeitreihe oder ein Vorher-Nachher, das diese Ereignisse ignoriert, schreibt Ihrem Werkzeug die Effekte anderer zu. Entscheiden Sie vorab, welcher Vergleich oder welches Design Ihnen das fairste Kontrafaktum gibt, und legen Sie die Analyse vorab fest, damit die Daten nicht still umgeformt werden können, um das Ergebnis zu schönen. Eine gute Antwort zeigt, dass Sie die Schwächen der Daten ehrlich kartiert und ein Design gewählt haben, das übersteht, wenn eine Skeptikerin an jeder zieht.

6. Wer sollte diese Evaluation durchführen, und wie unabhängig muss sie sein, um geglaubt zu werden? Die eigenen Hausaufgaben zu benoten ist der schnellste Weg, glaubwürdige Befunde abtun zu lassen; entscheiden Sie daher früh, ob eine Analyse des Lieferanten oder des eigenen Hauses die Zielgruppe überzeugt, die Sie tatsächlich bewegen müssen. Wägen Sie Kosten und Zeit der Einbindung eines vom NIHR unterstützten akademischen Teams, einer Universität oder eines Health Innovation Network gegen den reputativen und kommerziellen Wert unabhängiger, veröffentlichbarer Evidenz ab. Besprechen Sie, wo die Interessenkonflikte sitzen – die Menschen, die das Werkzeug bauten oder kauften, sind selten die richtigen, um zu beurteilen, ob es funktioniert – und wie Sie die Evaluation gegen den Druck abschirmen, gute Nachrichten zu erzeugen. Bedenken Sie, was Partner über Unabhängigkeit hinaus mitbringen: methodische Strenge, Finanzierungswege und Standing bei Commissionern und Klinikpersonal, die Sie im Haus nicht herstellen können. Eine gute Antwort passt den Grad der Unabhängigkeit an den Einsatz und die Skepsis der Entscheider an und sichert diese Partnerschaft, bevor das Design fixiert wird, nicht nachdem die Ergebnisse enttäuschen.

In der Praxis: ein Beispiel aus Gesundheit und Pflege#

Ein Integrated Care System (ICS) beauftragt eine Fernüberwachungs-App für Patientinnen mit chronischer Herzinsuffizienz, in der Hoffnung, ungeplante Aufnahmen zu senken. Die Folien des Lieferanten zeigen anderswo eine Verringerung um 30 %, und es gibt Druck, vor dem Winter schnell über alle zwölf Stadtbezirke auszurollen.

Die Lieferleiterin hält inne, um die Arbeit zu klassifizieren. Weil das ICS verallgemeinerbare Erkenntnisse will und zu veröffentlichen beabsichtigt und weil es identifizierbare Patientendaten zu einem neuen Zweck analysieren wird, ist dies Forschung, keine Dienstevaluation – ein IRAS-Antrag und eine REC-Prüfung sind daher nötig. Statt das als Blocker zu behandeln, wendet sich die Leiterin an das regionale Health Innovation Network und das vom NIHR unterstützte Forschungsteam einer örtlichen Universität, die das Studiendesign entwerfen und den Antrag mitschreiben. Statt alles auf einmal einzuschalten, nehmen sie ein Stepped-Wedge-Design an: Die zwölf Bezirke gehen in randomisierten Wellen über neun Monate live, sodass jeder Bezirk schließlich die App erhält, während der gestaffelte Start einen fairen Vergleich liefert. Eine Baseline der Aufnahmeraten, aufgeschlüsselt nach Benachteiligung und Ethnizität, wird vor der ersten Welle erfasst.

Mit dem NICE Evidence Standards Framework ordnet das Team das Werkzeug einer Stufe zu, die klinisches Risiko trägt, und setzt die Evidenzerwartung entsprechend, indem es Aufnahmeraten, Sterblichkeit als Sicherheitssignal und Kosten je vermiedener Aufnahme als Ergebnisse vorab registriert. Neun Monate später ist die Zwischenanalyse ernüchternd: Insgesamt sinken die Aufnahmen bescheiden, doch in der am stärksten benachteiligten Kohorte – die die App am wenigsten nutzt – gibt es keinen Nutzen und einen beunruhigenden Anstieg später Vorstellungen. Das Team vergräbt das nicht. Es berichtet es dem Vorstand des ICS, pausiert den Rollout für diese Kohorten, gestaltet das Onboarding neu, fügt telefonische Unterstützung für digital ausgegrenzte Patientinnen hinzu und veröffentlicht sowohl das Defizit als auch die Neugestaltung. Das Ergebnis ist ein Dienst, der wirklich hilft, und ein entscheidender Vorstand, der der Evidenz vertraut, weil er gesehen hat, dass das Team die Wahrheit sagte, als es wehtat.

Sektorperspektiven#

Startup#

Ein kleines Unternehmen der digitalen Gesundheit lebt und stirbt mit Evidenz, hat aber selten das Geld oder die hauseigene Methodik, sie allein zu erzeugen. Ihr schnellster glaubwürdiger Weg ist Partnerschaft: Ein vom NIHR finanzierter akademischer Kollaborationspartner oder eine Evaluation unter realen Bedingungen durch ein Health Innovation Network gibt Ihnen unabhängige Befunde, die Investoren und NHS-Käufer tatsächlich glauben, weit mehr als ein selbst veröffentlichtes Whitepaper. Seien Sie diszipliniert bei verhältnismäßigen Ansprüchen – zu überziehen, um einen Pilot zu gewinnen, ist der schnellste Weg, eine spätere Evaluation nicht zu bestehen und Ihren Ruf zu verlieren. Bauen Sie Datenerfassung von Tag eins in Ihre Produktarchitektur ein, denn sie nach der Seed-Runde nachzurüsten ist teuer und ergibt eine schwächere Evidenzbasis.

Kleines Unternehmen#

Von einem etablierten kleinen Anbieter – einer Hausarztpraxis, einer Gemeindeapotheke, einem Pflegeheim oder einer Einzelstandort-Klinik, die ein digitales Werkzeug einführt – wird erwartet, dass er evaluiert, was er einsetzt, doch er hat kein F&E-Büro, keine Methodikerin und kaum freie Hände. Ihr realistischer Schritt ist nicht, eine Studie zu fahren, sondern eine disziplinierte Dienstevaluation: eine einfache Baseline erfassen, bevor Sie einschalten, eine Handvoll ehrlicher Ergebnismaße vereinbaren und festhalten, was sich für Ihre Patientinnen tatsächlich ändert. Stützen Sie sich stark auf gemeinsame Infrastruktur, die Sie nicht bauen müssen – Ihr Health Innovation Network, eine örtliche Universität oder eine Föderation oder ein Primärversorgungsnetzwerk, das Daten und Expertise über mehrere kleine Standorte bündeln kann. Seien Sie besonders vorsichtig, die Schlagzeilenbehauptung eines Lieferanten für bare Münze zu nehmen, wenn Sie sie nicht unabhängig prüfen können, und seien Sie klar, dass die Klassifikationspflichten selbst im kleinen Maßstab für Sie gelten. Verhältnismäßige, gut dokumentierte lokale Evidenz ist sowohl erreichbar als auch genug, um das Weiterführen, Anpassen oder Aufgeben des Werkzeugs zu rechtfertigen.

Großunternehmen#

Ein großer NHS Trust oder ein ICS hat ein F&E-Büro, Maschinerie der Informationsgovernance und bestehende akademische Verbindungen – Vermögenswerte, um die ein Startup ihn beneiden würde –, aber auch die Trägheit, Werkzeuge trustweit einzusetzen, bevor sie evaluiert sind. Ihre Herausforderung ist, „evaluieren, bevor Sie skalieren“ zur Voreinstellung zu machen und dem Schwung eines unterzeichneten Großunternehmensvertrags zu widerstehen, wenn die frühe Evidenz schwach ist. Nutzen Sie Ihre Größe als methodischen Vorteil: Mehrere Standorte machen Stepped-Wedge- und clusterrandomisierte Designs machbar, wie es eine einzelne Klinik nicht bewältigen kann. Hüten Sie sich vor der internen Politik negativer Ergebnisse, in der eine große Investition mächtige Anreize schafft, unabhängig von der Lage Erfolg zu erklären.

Regierung#

Eine nationale Stelle – NHS England, das Department of Health and Social Care oder eine dezentrale Regierung – setzt die Regeln, denen andere folgen, sodass ihre Evidenzstandards den ganzen Markt prägen. Ihre Aufgabe ist, die Frameworks (das HRA-Governance-System, das NICE Evidence Standards Framework, DTAC) zu betreuen und die Infrastruktur – NIHR, Health Innovation Networks, Trusted Research Environments – zu finanzieren, die allen erlaubt, gute Evidenz zu erzeugen. Wenn die Regierung im nationalen Maßstab beschafft, ist der Evidenzeinsatz enorm: Ein schlecht belegter Rollout kann Schaden über Millionen Bürger verfestigen und ist politisch nahezu unumkehrbar. Sie sollte sich daher an der höchsten Latte messen, die sie von anderen verlangt, und ihre eigenen Evaluationen, einschließlich der Fehlschläge, veröffentlichen, um das öffentliche Vertrauen zu halten.

Häufige Fehlermuster#

• Evidenz als Nachgedanke. Zuerst einsetzen und später fragen „hat es funktioniert?“, ohne erfasste Baseline – was Sie unfähig lässt, irgendeine glaubwürdige kausale Aussage zu machen.
• Forschung als Evaluation missklassifizieren. Das Etikett „Evaluation“ wählen, um HRA- und REC-Genehmigungen zu vermeiden, was Patientinnen nicht genehmigter Forschung und Ihre Organisation einem schweren Governance-Verstoß aussetzt.
• Naives Vorher-Nachher. Zwei Momentaufnahmen vergleichen und alle Veränderung Ihrem Werkzeug zuschreiben, unter Ignorieren von Saisonalität, gleichzeitigen Initiativen und Regression zur Mitte.
• Eitelkeitskennzahlen. Logins, Downloads und Zufriedenheit berichten und zu klinischen Ergebnissen, Sicherheit, Gleichstellung und Kosten schweigen.
• Durchschnitte, die Schaden verbergen. Eine Schlagzeilenverbesserung des Mittelwerts präsentieren, ohne nach Bevölkerung aufzuschlüsseln, und so eine Untergruppe verbergen, die das Werkzeug im Stich lässt oder schädigt.
• Die eigenen Hausaufgaben benoten. Sich allein auf vom Lieferanten erzeugte Evidenz ohne unabhängige Evaluation stützen, sodass kein skeptisches Publikum sie glaubt.
• Schlechte Nachrichten vergraben. Nur positive Befunde veröffentlichen, was Publikationsbias nährt und unwirksame Werkzeuge über das System wuchern lässt.
• Überziehen. Ein bescheidenes Ergebnis mit schwachem Design zu einem starken klinischen Anspruch dehnen, den die Evidenz nicht tragen kann.

Reifegradmodell#

Checkliste#

• Das Projekt ist mit den HRA-Entscheidungswerkzeugen als Forschung, Dienstevaluation oder Audit klassifiziert, und die Begründung ist dokumentiert.
• Wenn es Forschung ist, sind der IRAS-Antrag und die Prüfung durch die Research Ethics Committee früh geplant.
• Was „funktioniert“ bedeutet und welche Ergebnisse es beweisen würden, ist in der Discovery definiert.
• Eine Baseline – nach relevanten Untergruppen aufgeschlüsselt – ist vor dem Go-live erfasst.
• Die Risikostufe des Werkzeugs ist im NICE Evidence Standards Framework bestimmt und die Strenge daran angepasst.
• Das stärkste machbare Design (RCT, Stepped-Wedge oder unterbrochene Zeitreihe) ist gewählt und seine Grenzen festgehalten.
• Ihre Real-World-Datenquellen, Qualität und Verzerrungen sind geplant; die Analyse ist vorab festgelegt.
• Eine unabhängige Partnerin (NIHR, Universität, Health Innovation Network) ist eingebunden, wo Glaubwürdigkeit oder Finanzierung es verlangen.
• Klinische Ergebnisse, Sicherheitssignale, Gleichstellung und Kosten sind enthalten – nicht nur Aktivitätskennzahlen.
• Die Veröffentlichung der Ergebnisse, auch negativer, ist vorab zugesagt, und wo, ist benannt.
• Eine Stoppbedingung und ein Plan für elegante Stilllegung sind vor dem Start definiert.
• Erkenntnisse fließen in Roadmap, Business Case und Phasierungsentscheidungen zurück.

Zentrale Quellen#

• NICE — Evidence Standards Framework für digitale Gesundheitstechnologien (ESF).
• Health Research Authority — Entscheidungswerkzeuge „Is my study research?“, HRA-Genehmigung und Leitlinien zur Forschungsethik.
• Integrated Research Application System (IRAS) — das einzige Portal für britische Forschungsanträge in Gesundheit und Sozialpflege.
• National Institute for Health and Care Research (NIHR) — Finanzierung, Evaluationsunterstützung und Forschungsinfrastruktur.
• Health Innovation Network (früher Academic Health Science Networks) — Evaluation unter realen Bedingungen und Adoptionsunterstützung.
• Medicines and Healthcare products Regulatory Agency (MHRA) — Leitlinien zu Real-World-Daten und Software/KI als Medizinprodukt.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (Rahmenleitlinie).
• EQUATOR Network — Berichtsleitlinien (CONSORT, STROBE, TRIPOD) für transparente Forschungsberichterstattung.

Referenzen#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/