Viðfangsefni 1.3 — Ákvarðanir byggðar á sönnunargögnum

Í einni setningu: Sönnunarbyggð ákvarðanataka merkir að ákveða hvað á að smíða, kaupa og skala á styrk bestu fáanlegu sönnunargagna – klínískra og afhendingar – í samræmi við áhættu, og skrá rökstuðninginn svo hann lifi fólkið sem tók ákvörðunina.

Hvers vegna þetta skiptir máli í heilbrigðis- og velferðarþjónustu#

Í flestum geirum kostar slæm vöruákvörðun fé. Í heilbrigðis- og velferðarþjónustu getur hún kostað öryggi, jafnræði og traust – og hún er tekin með opinberu fé undir lögbundinni skyldu. Ákvörðun um að innleiða stafræna greiningu sem aldrei hefur verið metin er ekki viðskiptalegt veðmál; hún er klínísk áhætta. Þetta hækkar kröfuna um sönnunargögn langt umfram „kynningin leit vel út“.

Sviðið er líka sérstakt því það krefst tveggja tegunda sönnunargagna samtímis. Klínísk sönnunargögn svara „virkar þessi tækni, og er hún örugg og árangursrík fyrir sjúklinga?“ Afhendingarsönnunargögn svara „erum við að smíða rétta hlutinn vel, og er hann tekinn upp og notaður?“ Þjónusta getur verið klínískt traust en afhendingarbrestur (enginn notar hana), eða afhendingarsigur en klínískt ósönnuð (víða notuð, aldrei sannreynd). Æðstu stjórnendur verða að krefjast beggja og aldrei láta annað þykjast vera hitt. Og þar sem heilbrigðisákvarðanir draga að sér rýni – frá eftirlitsaðilum, almenningi og klínísku starfsfólki – skiptir skráin um hvers vegna þú ákvaðst jafn miklu máli og ákvörðunin.

Lykilhugtök#

Stigveldi sönnunargagna. Sönnunarbyggð læknisfræði raðar rannsóknarhönnunum eftir því hversu vel þær stjórna skekkju: efst, kerfisbundnar yfirlitsrannsóknir og safngreiningar á slembiröðuðum samanburðartilraunum (RCT); síðan einstakar RCT; síðan hóp- og tilfella-viðmiðunarrannsóknir; síðan tilfellaraðir; og neðst álit sérfræðinga og sögusagnir. Stigveldið er leiðarvísir, ekki spennitreyja – en það agar þig til að taka eftir þegar fullyrðing hvílir á sögusögn klæddri sem sönnun.

Sönnunarstaðlarammi NICE (ESF) fyrir stafræna heilbrigðistækni. NICE bjó, ásamt NHS England og samstarfsaðilum, til ESF til að setja fram hvaða stig sönnunargagna stafræn heilbrigðistækni (DHT) þarfnast, í hlutfalli við virkni hennar og áhættuna sem hún ber. Hann þrepar DHT eftir mögulegri áhættu – frá einföldum kerfisþjónustum, gegnum tæki sem upplýsa eða knýja umönnun, til þeirra sem beint greina eða meðhöndla – og tilgreinir klínísk áhrifa- og hagfræðileg sönnunargögn sem vænst er á hverju þrepi. Því hærri sem klínísk áhætta er, því sterkari sönnunargögn eru krafist. ESF er viðmiðunarpunktur fyrir þjónustukaupendur og þróunaraðila sem ákveða hvort DHT sé tilbúin.

Raunheimsgögn og raunheimssönnunargögn. Raunheimsgögn (RWD) koma úr venjubundinni umönnun – rafrænum sjúkraskrám, skrám, sjúklingaskýrðum niðurstöðum, tækjafjarmælingum – frekar en stýrðum tilraunum. Vel greind (gegnum framsýnar athugunarrannsóknir, raunsæjar tilraunir eða vandaða EHR-greiningu) verða þau að raunheimssönnunargögnum (RWE) um hvernig tækni stendur sig í framkvæmd. RWE er nauðsynleg fyrir tækni sem lærir eða breytist (gervigreind, snjalltæki), þar sem einskiptistilraun getur ekki fangað áframhaldandi hegðun, en hún ber truflunaráhættu sem verður að meðhöndla heiðarlega.

Klínísk sönnunargögn á móti afhendingarsönnunargögnum. Haltu þessu á aðskildum ásum. Klínísk sönnunargögn nota stigveldið hér að ofan og ESF: verkun, öryggi, árangur. Afhendingarsönnunargögn nota vöru- og þjónustugreiningu: er þjónustan nothæf, tekin upp, klárar verkefni notandans, dregur úr bilunareftirspurn? Hvort tveggja er þörf; að rugla þeim saman er klassísk villa (há notkunartala er ekki klínísk sönnun).

Matshönnun. Rökrásarlíkan (eða breytingakenning) gerir skýrt hvernig inntök og starfsemi eiga að framleiða afurðir og niðurstöður – það er kortið sem hvert mat prófar. RCT gefur sterkasta orsakasvarið en er hæg, dýr og stundum óframkvæmanleg eða ósiðleg fyrir hraðbreytilega þjónustu. Raunsætt mat – raunsæjar tilraunir, rofin tímaröð, fyrir/eftir með samanburði, blönduð-aðferða þjónustumat – verslar nokkra vissu fyrir hraða og raunheimsmikilvægi. Veldu hönnunina í hlutfalli við áhættuna og ákvörðunina sem er í húfi.

A/B-prófanir og greining. Fyrir lægri áhættu, afhendingarmegin spurningar (hvaða orðalag eykur tímamætingu? hvaða flæði dregur úr brottfalli?) gefa stýrðar netprófanir (A/B-próf) hröð, orsakabundin afhendingarsönnunargögn. Þær eru öflugar til fínstillingar en mega aldrei vera notaðar til að gera ómetnar klínískar breytingar, og verða að virða samþykki og upplýsingastjórnarhátta mörk.

HiPPO-ákvarðanir. „HiPPO“ – Highest-Paid Person's Opinion (skoðun hæst launaða manneskjunnar) – nefnir bresti þar sem staða yfirgnæfir sönnunargögn. Sönnunarbyggð menning gerir öruggt og eðlilegt að segja „hvað sýna gögnin?“ við hvern sem er í herberginu, og meðhöndlar hugboð æðri manns sem tilgátu til að prófa, ekki niðurstöðu.

Ákvörðunarskrár. Ákvörðunarskrá (eða ákvörðunarlog / arkitektúrákvörðunarskrá) fangar, stuttlega: ákvörðunina, valkostina sem íhugaðir voru, sönnunargögnin sem vegin voru, hver ákvað og hvenær. Hún gerir rökstuðning endurskoðanlegan, lifir starfsmannaveltu og kemur í veg fyrir að sama rifrildið sé keyrt aftur hvern ársfjórðung.

Bestu starfsvenjur#

1. Samræmdu styrk sönnunargagna við áhættustig. Notaðu ESF-þrep NICE sem mælistiku: lágáhættu kerfistæki þarfnast léttra sönnunargagna; tæki sem greinir eða knýr meðferð þarfnast hágæða klínískra áhrifasönnunargagna. Hlutfallslegni gerir þér kleift að fara hratt á hinu örugga og hægt á hinu hættulega, frekar en að beita einum þröskuldi á allt.

2. Krefstu klínískra og afhendingarsönnunargagna, og ruglaðu þeim aldrei saman. Fyrir sérhverja mikilvæga fjárfestingu, spyrðu tveggja aðskildra spurninga – „er það klínískt árangursríkt og öruggt?“ og „er það nothæft og tekið upp?“ – og krefstu sönnunargagna fyrir hvora. Upptökumælikvarðar eru ekki staðgengill klínískrar sannreyningar, og jákvæð tilraun er ekki trygging fyrir raunheimsnotkun.

3. Byrjaðu hvert frumkvæði á rökrásarlíkani. Áður en þú smíðar, skrifaðu niður hvernig þú trúir að inngripið muni framleiða niðurstöðuna sem þú vilt. Þetta afhjúpar óprófaðar forsendur snemma, skilgreinir mælikvarðana sem skipta máli og gefur síðara matinu þínu eitthvað áþreifanlegt til að prófa.

4. Notaðu raunheimssönnunargögn fyrir tækni sem lærir eða varir. Fyrir gervigreind, algrím og langlífa þjónustu, bættu við eða fylgdu fyrstu tilraunum með skipulagðri vöktun venjubundinna gagna – framsýnar athugunarhönnunir, raunsætt mat – svo þú vitir hvernig frammistaða heldur í framkvæmd og getir gripið rek.

5. Gerðu tilraunir á afhendingarspurningum; metðu klínískar. Notaðu A/B-prófanir og greiningu frjálslega fyrir afhendingarfínstillingu (orðalag, flæði, tilkynningar), innan upplýsingastjórnarhátta- og samþykkismarka. Taktu frá formlegt mat (tilraunir, raunsæjar rannsóknir) fyrir spurningar um klínísk áhrif. Beindu hverri spurningu á rétta aðferð.

6. Drepðu HiPPO-ákvarðanir menningarlega, ekki bara verklagslega. Gerðu skýrt ásættanlegt að biðja hvaða ákvarðanataka sem er um sönnunargögnin, rammaðu skoðanir æðri manna sem tilgátur og skuldbindu þig fyrirfram til hvaða sönnunargögn myndu breyta skoðun þinni. Teymi sem getur örugglega ögrað stöðu tekur betri ákvarðanir.

7. Skráðu ákvarðanir og sönnunargögn þeirra. Haltu léttri ákvörðunarskrá fyrir hvert mikilvægt val – hvað, hvers vegna, hvaða sönnunargögn, hver, hvenær. Þetta skapar endurskoðanleika fyrir eftirlitsaðila og almenning, kemur í veg fyrir endalausa endurflutning og varðveitir stofnanaminni gegnum starfsmannaveltu.

8. Gættu að gagnasiðfræði. Sönnunargagnavinna notar sjúklingagögn; meðhöndlaðu lögmæti, samþykki, hlutfallslegni og sanngirni sem hönnunarskorður. Gættu þín á skekktum gagnasöfnum sem festa ójöfnuð í sessi, virtu trúnaðarskylduna og tryggðu að sönnunargagnastarfsvenjur þínar myndu sjálfar standast opinbera rýni.

Spurningar til að ræða með teyminu#

1. Fyrir mikilvægustu nýlegu ákvörðun okkar, getum við bent á bæði klínísk sönnunargögn og afhendingarsönnunargögn – haldin aðgreind – eða stóð annað hljóðlega í stað hins? Þessi spurning prófar áherslu viðfangsefnisins að klínísk sönnunargögn („virkar það og er það öruggt?“) og afhendingarsönnunargögn („er það nothæft og tekið upp?“) sitji á aðskildum ásum og að rugla þeim saman sé klassísk, hættuleg villa. Hún skiptir máli því þjónusta getur verið klínískt traust en ónotuð, eða mikið notuð en klínískt ósannreynd, og í heilbrigðis- og velferðarþjónustu getur það að mistaka háa notkunartölu fyrir klíníska sönnun stefnt sjúklingum í hættu meðan það lítur út eins og árangur. Spennan til að draga fram er að afhendingarsönnunargögn eru hröð, ódýr og smjaðrandi – greiningarmælaborð fyllast fljótt – á meðan klínísk sönnunargögn eru hæg, dýr og oft ófullnægjandi, svo stöðugur þrýstingur er að láta upptökumælikvarða bera rökin. Takið raunverulegt stjórnarskjal eða fjárfestingarmál og gerið úttekt: eru tegundirnar tvær aðgreindar, er hvor um sig í raun til staðar og hvílir klíníska fullyrðingin á nokkru umfram söluaðilakynninguna eða eina-staða rannsókn? Gott, heiðarlegt svar greinir tiltekna ákvörðun, viðurkennir hvar ein tegund sönnunargagna var þunn eða fjarverandi og skuldbindur sig til að krefjast beggja skýrt og aðskilið í framtíðarvölum frekar en að láta sterka notkunartölu fullvissa alla.

2. Hversu hlutfallsleg er sönnunarþröskuldur okkar í raun – krefjumst við gullstaðals tilrauna fyrir lágáhættu breytingar meðan við veifum hærri áhættu tækjum í gegn á þunnum sönnunargögnum? Viðfangsefnið rammar hlutfallslegni gegnum ESF-þrep NICE: létt sönnunargögn fyrir lágáhættu kerfistæki, hágæða klínísk áhrifasönnunargögn fyrir tæki sem greinir eða knýr meðferð, svo þessi spurning athugar hvort skipulagsheild ykkar kvarðar í raun þröskuldinn að áhættu eða beitir einum bitlausum staðli. Hún skiptir máli því báðar bilunarstefnur eru dýrar – greiningarlömun stöðvar gagnlega lágáhættu efnisbreytingu á bak við óþarfa RCT, meðan ófullnægjandi rýnt gervigreindartæki sem upplýsir klínískar ákvarðanir smýgur í gegn á sannfærandi kynningu – og hvor um sig grefur undan trausti á sönnunarmenningunni. Málamiðlunin til að ræða er að hlutfallslegni krefst dómgreindar og öryggis til að verja, sem er erfiðara en einsleit regla; blanket „allt þarfnast tilraunar“ eða „ef það er stafrænt, bara gera tilraun“ er auðveldara að stjórna en rangt. Vinnið gegnum tvær eða þrjár núverandi eða nýlegar tæknir, staðsetjið hverja í ESF-þrep þeirra saman og athugið hvort sönnunargögnin sem þið kröfðust pössuðu við þrepið eða voru knúin af hverjir börðust fyrir því. Heiðarlegt svar sýnir að teymið getur staðsett áhættuþrep tækni, viðurkennir hvar þröskuldurinn hefur verið rangt stilltur í hvora átt og meðhöndlar hlutfallslegni sem skýran, verjanlegan staðal frekar en eðlisávísun.

3. Hversu öruggt er, menningarlega, að spyrja æðstu manneskjuna í herberginu „hver eru sönnunargögnin?“ – og hvenær meðhöndluðum við síðast hugboð leiðtoga sem tilgátu til að prófa frekar en ákvörðun? Þessi spurning mætir HiPPO-bilunarhættinum beint, þar sem skoðun hæst launuðu manneskjunnar yfirgnæfir sönnunargögn, og prófar hvort yfirlýst skuldbinding ykkar við sönnunargögn lifir af snertingu við stigveldi og söluaðilakynninguna sem heillaði virtan forstöðumann. Hún skiptir máli því í heilbrigðis- og velferðarþjónustu er kynningardrifin ákvörðun um að innleiða ómetið tæki ekki viðskiptalegt veðmál heldur klínísk öryggis- og opinbert fjáráhætta, og augnablikið þegar ögrun verður óörugg er augnablikið þegar sönnunargögn hætta að stýra ákvörðunum. Raunverulega spennan er að sálrænt öryggi verður ekki skipað með stefnu; það er byggt af æðstu stjórnendum sem sýnilega bjóða ögrun, ramma eigin skoðanir sem tilgátur og skuldbinda sig fyrirfram til hvaða sönnunargagna myndu breyta skoðun þeirra – hegðun sem finnst berskjölduð og er auðvelt að sleppa undir tímapressu. Grundið samtalið í sértækum atriðum: rifjið upp nýlega ákvörðun knúna meira af stöðu eða áhuga en gögnum, og spyrjið hvort nokkur ögraði henni, hvort það fannst öruggt og hvað ákvörðunarskrá hefði fangað. Gott svar er hreinskilið um hvar stigveldi vinnur nú, nefnir áþreifanlega hegðun sem leiðtogar munu taka upp til að gera ögrun eðlilega og parar menningarskuldbindinguna við léttu ákvörðunarskrána sem gerir rökstuðning endurskoðanlegan og kemur í veg fyrir að sama rifrildið sé keyrt aftur.

4. Fyrir tæknina sem lærir eða varir – gervigreind okkar, algrím okkar, langlífa þjónustu okkar – hvernig myndum við í raun vita ef frammistaða hefði rekið síðan við sannreyndum hana, og hver fylgist með? Viðfangsefnið er skýrt að einskiptistilraun getur ekki fangað áframhaldandi hegðun tækni sem lærir eða breytist, og að „matið einu sinni og búið“ sé nefndur bilunarháttur þar sem mótvægið er raunheimssönnunargögn og áframhaldandi vöktun. Þessi spurning skiptir máli því hættan er þögul: gervigreindarrýrnunarlíkan eða flokkunaralgrím getur versnað eftir því sem tilfellablanda, kóðunarvenjur eða uppstreymisgagnaleiðslur breytast, og ólíkt biluðum eiginleika bregst ekkert augljóslega – tækið heldur áfram að framleiða trúverðugar niðurstöður meðan fölsk-viðvörunar- eða missishlutfall þess versnar hljóðlega. Spennan til að draga fram er að vöktun er óglamúrleg og ófjármögnuð miðað við spennu innleiðingarinnar: þegar viðskiptarök eru undirrituð og ávinningur bókaður fjármagna fáar skipulagsheildir framsýnu athugunarvinnuna, rekmælikvarðana eða nafngreinda eigandann sem yfirfer þá. Veljið eitt lifandi gervigreindar- eða algrímatól og rekið líf þess eftir innleiðingu áþreifanlega – hvaða venjubundnu gögn eru vöktuð, gegn hvaða grunni, á hvaða taktí og hver myndi stigmagna rýrnun og til hvers. Heiðarlegt svar viðurkennir hvar sannreyning stoppaði við opnun, aðgreinir tækin sem raunverulega þarfnast samfelldrar vöktunar frá þeim sem gera það ekki og skuldbindur sig til nafngreinds eiganda, mælikvarða og yfirferðartakts frekar en óljósrar ætlunar um að „fylgjast með því“.

5. Þegar ákvörðun sem við tökum í dag er dregin í efa eftir tvö ár – af nýjum forstöðumanni, eftirlitsaðila eða almenningi – hvað mun skriflega skráin í raun sýna, og myndi hún lifa af þá rýni? Viðfangsefnið meðhöndlar ákvörðunarskrána sem kjarnainnviði: létta skrá yfir ákvörðunina, valkostina, sönnunargögnin sem vegin voru, hver ákvað og hvenær, metna því hún gerir rökstuðning endurskoðanlegan, lifir starfsmannaveltu og stöðvar að sama rifrildið sé keyrt aftur hvern ársfjórðung. Þessi spurning skiptir máli því heilbrigðis- og velferðarákvarðanir draga að sér eftirlits-, þing- og opinbera rýni á hátt sem viðskiptalegar gera sjaldan, og útfærða dæmið í þessu viðfangsefni snýst nákvæmlega um þetta – tveimur árum síðar dregur nýr forstöðumaður í efa innleitt tæki og „skráin svarar“. Raunverulega spennan er milli örlítils kostnaðar agans á hverja ákvörðun og stöðugs þrýstings að sleppa honum: að skrifa niður hvers vegna þú ákvaðst finnst skrifræðislegt í augnablikinu, og fólkið sem mest þarfnast skrárinnar eru framtíðarstarfsmenn sem eru ekki í herberginu til að krefjast hennar. Prófið það gegn veruleikanum með því að reyna að endurgera rökstuðninginn að baki mikilvægu vali sem gert var fyrir tólf eða átján mánuðum – getið þið fundið hvaða sönnunargögn voru vegin og hvaða valkostum var hafnað, eða aðeins að ákvörðun var tekin? Gott svar mætir hvort skrár eru raunverulega haldnar fyrir mikilvægar ákvarðanir eða aðeins auðveldar, hvort þær fanga sönnunargögn og valkosti frekar en bara niðurstöður og hvort nokkur les þær nokkru sinni aftur – því ólesin, niðurstöðu-eingöngu skrá er endurskoðunarleikhús, ekki stofnanaminni.

6. Hverra gögn þjálfa og sannreyna sönnunargögn okkar, og erum við örugg um að þau myndu ekki festa ójöfnuð í sessi – eða erum við að meðhöndla gagnasiðfræði sem eyðublað til að skrifa undir frekar en hönnunarskorðu? Viðfangsefnið leggur áherslu á að sönnunargagnavinna gangi á sjúklingagögnum og að lögmæti, samþykki, hlutfallslegni og sanngirni séu hönnunarskorður, ekki pappírsvinna, og varar sérstaklega við skekktum gagnasöfnum sem festa ójöfnuð í sessi og við „siðfræði sem pappírsvinnu“ sem bilunarhátt. Þessi spurning skiptir máli því tækni sem er sannreynd á ófulltrúalegu þýði getur staðið sig verr fyrir hópana sem þegar eru verst þjónaðir – rýrnunar- eða greiningarlíkan þjálfað þar sem tiltekin þjóðerni, aldrar eða fylgisjúkdómar eru vanfulltrúuð getur borið þá skekkju inn í hverja framtíðarákvörðun, og á landskvarða festir samþykkt gagnasafn þann ójöfnuð kerfisvítt. Spennan er að sanngirnigreining er erfiðari og hægari en höfuðnákvæmnitala: hún krefst þess að þú yfirheyrir hverjir eru í gögnunum og hverja vantar, sundurliðir frammistöðu yfir undirhópa og stundum sættir þig við að sönnunargögnin eru veikari fyrir þýðin sem þú þarft mest að þjóna. Gerið það áþreifanlegt með því að taka nýlegt eða fyrirhugað tæki og spyrja á hverra skrám það var smíðað og prófað, hvort frammistaða var nokkru sinni skoðuð eftir undirhópum og hvort upplýsingastjórnarháttaundirskriftin tók yfirleitt á sanngirni eða staðfesti aðeins lögmætan grundvöll. Heiðarlegt svar aðgreinir ósvikna siðferðilega rýni frá krossmerkjum, viðurkennir hvar fulltrúaleiki var aldrei athugaður og meðhöndlar skekkju og sanngirni sem spurningar sem sönnunargögnin sjálf verða að svara frekar en reglufylgniskref skrúfað á í lokin.

Í reynd: dæmi úr heilbrigðis- og velferðarþjónustu#

Samfélagssjúkrahússamsteypa fær boðið gervigreindartæki sem merkir sjúklinga í hættu á rýrnun út frá lífsmarkagögnum. HiPPO-ákvörðun myndi innleiða það því virtur forstöðumaður var hrifinn af kynningu söluaðilans.

Í staðinn meðhöndlar samsteypan tilboðið sem tilgátu. Hún setur tækið í ESF-áhættuþrep NICE sem hæfir tækni sem upplýsir klínískar ákvarðanir, og biður söluaðilann um áhrifasönnunargögn á því stigi; sterkasta sem boðið er er lítil eins-staða rannsókn. Samsteypan skrifar rökrásarlíkan (betri snemmviðvörun → fyrri stigmögnun → færri afstýranlegar rýrnanir) og hannar raunsætt mat: skuggaham-innleiðingu þar sem viðvaranir tækisins eru skráðar en ekki brugðist við, bornar saman við raunverulegar niðurstöður, auk eigindlegra viðtala við hjúkrunarfræðinga um vinnuflæðispassa.

Samhliða safnar hún afhendingarsönnunargögnum: myndi klínískt starfsfólk í raun taka eftir og treysta viðvörununum? Hún keyrir A/B-stíl prófanir á framsetningu viðvarana. Upplýsingastjórnarhátta- og klínískir öryggisleiðtogar undirrita gagnanotkunina og hættuskrána. Eftir þrjá mánuði sýnir RWE hóflega en raunverulega bót og ásættanlegt falskt viðvörunarhlutfall, og afhendingarsönnunargögnin sýna að klínískt starfsfólk tekur þátt í endurhönnuðu viðvörununum. Ákvörðunin um að halda áfram – með þrepaskiptri útfærslu og áframhaldandi vöktun – er skrifuð í ákvörðunarskrá sem vitnar í sönnunargögnin sem vegin voru. Tveimur árum síðar, þegar nýr forstöðumaður dregur tækið í efa, svarar skráin.

Geirasjónarhorn#

Allir skulda sömu skyldu að samræma sönnunargögn við áhættu, en úrræðin, hvatarnir og ábyrgðin í kringum sönnunargögn eru mjög mismunandi eftir skipulagsheild.

Sprotafyrirtæki#

Takmörkun sprotafyrirtækis er að gullstaðals klínísk sönnunargögn eru hæg og dýr meðan flugbraut er stutt, svo freistingin er að selja upptökumælikvarða eins og þeir væru sönnun á klínískum áhrifum. Heiðarlega hreyfingin er að staðsetja vöruna í rétt ESF-þrep NICE snemma og vera hreinskilin við kaupendur um sönnunargagnabilið, með því að nota skýrt rökrásarlíkan og ódýrt raunsætt mat (skuggaham-tilraun, rofin tímaröð gegn einum stað) til að mynda fyrstu raunheimssönnunargögnin. Ákvörðunarskrár kosta næstum ekkert og eru óhóflega verðmætar fyrir lítið teymi, varðveita rökstuðning gegnum hraða snúninga og gefa áreiðanleikakönnunarfjárfestum og NHS-matsaðilum endurskoðunarslóð. Aginn sem borgar sig er að standast HiPPO-hugboð stofnanda og meðhöndla hvert „kynningin lenti vel“ sem tilgátu til að prófa.

Lítil fyrirtæki#

Rótgróinn lítill veitandi — heimilislæknastofa, samfélagsapótek, hjúkrunarheimili, stakstaða stofa, lítill heilbrigðistæknibirgi umfram sprotastigið — ber sömu skyldu að samræma sönnunargögn við áhættu en hefur raunverulega sjúklinga, naumt reiðufé og litla eða enga sérstaka stafræna getu til að gera það. Raunsæja hreyfingin er að styðjast við sönnunargögn sem aðrir hafa þegar framleitt frekar en að mynda eigin: notaðu ESF-þrep NICE og DTAC-mat frambjóðandatækis sem tilbúna hlutfallslegni, biddu birgja um þrepshæf klínísk áhrifasönnunargögn og neitaðu að láta tala þig inn í ómetna vöru af glansandi kynningu. Afhendingarsönnunargögn eru þar sem lítil skipulagsheild getur raunverulega leitt, því hún sér eigin sjúklinga náið — nokkrar vikur af heiðarlegri athugun á hvort starfsfólk notar í raun tæki og hvort það dregur úr bilunareftirspurn eru raunheimssönnunargögn innan seilingar. Einnar línu ákvörðunarskrá — hvað við völdum, hvaða sönnunargögn við sáum, hver ákvað — kostar lítið teymi næstum ekkert og verndar það þegar félagi fer eða CQC-eftirlitsmaður spyr hvers vegna. Gildran til að forðast er að gera ráð fyrir að smæð undanskilji þig sönnunarþröskuldinum; skyldan við sjúklinga er eins, aðeins úrræðin eru það ekki.

Stórfyrirtæki#

NHS-sjúkrahússamsteypa eða ICS hefur venjubundnu gögnin, sjúklingamagnið og greiningargetuna til að gera alvöru mat — og ábyrgðina sem krefst þess, því að innleiða ósannað tæki í stórum stíl er klínísk öryggis- og opinbert fjáráhætta samtímis. Bilunarhátturinn er stofnanalegur: virtur forstöðumaður sem berst fyrir söluaðilakynningu, eða viðskiptarök byggð á áætluðum ávinningi sem enginn athugar síðar. Mótvægið er að gera menningarlega öruggt að spyrja hvaða ákvarðanataka sem er „hver eru sönnunargögnin?“, að halda klínískum og afhendingarsönnunargögnum á aðskildum ásum í hverju stjórnarskjali og að fjármagna áframhaldandi raunheimsvöktun fyrir gervigreind og langlífa þjónustu frekar en að sannreyna einu sinni. Stórt lyfja- eða heilbrigðistækniábyrgðarfyrirtæki kemur með formlegan tilraunavélbúnað en verður að gæta sín á birtingarskekkju og truflun í raunheimssönnunargögnunum sem það myndar.

Hið opinbera#

Landsstofnun — NICE, NHS England, DHSC, MHRA, UKHSA — setur oft sönnunarþröskuldinn sem aðrir verða að standast, svo vinnubrögð hennar móta allan markaðinn: ESF, DTAC og reglugerð um hugbúnað-sem-lækningatæki eru tæki þýðiskvarða ábyrgðar. Ákvarðanir hér draga að sér eftirlits-, þing- og opinbera rýni, svo skráin um hvers vegna tækni var mælt með eða útveguð skiptir jafn miklu máli og ákvörðunin, og gagnsæi um takmörk sönnunargagna er skylda, ekki kurteisi. Áhættan á þessum kvarða er að skylda tækni yfir kerfið á þunnum sönnunargögnum, eða öfugt að krefjast RCT fyrir lágáhættu breytingu og stöðva gagnlega nýsköpun. Mótvægið er hlutfallslegni gerð skýr í birtum stöðlum, auk athygli á gagnasiðfræði og sanngirni, því skekkt gagnasafn samþykkt á landsvísu festir ójöfnuð í sessi í stórum stíl.

Algeng mistök#

• Kynningardrifnar ákvarðanir. Að kaupa því sýning heillaði æðri leiðtoga. Mótvægi: meðhöndlaðu sölutilboð sem tilgátur; krefstu þrepshæfra sönnunargagna.
• Notkun mistekin fyrir sannreyningu. Að vitna í upptökutölur sem sönnun á að tæki sé klínískt árangursríkt. Mótvægi: haltu klínískum og afhendingarsönnunargögnum á aðskildum ásum.
• Mat einu sinni og búið. Að sannreyna einu sinni og vakta aldrei, sérstaklega fyrir gervigreind sem rekur. Mótvægi: raunheimssönnunargögn og áframhaldandi vöktun.
• Greiningarlömun. Að krefjast RCT fyrir lágáhættu efnisbreytingu. Mótvægi: hlutfallslegar aðferðir; A/B og raunsætt mat þar sem áhætta er lítil.
• Óskráðar ákvarðanir. Engin spor um hvers vegna val var gert, svo það er endurrætt og óendurskoðanlegt. Mótvægi: létt ákvörðunarskrá.
• Siðfræði sem pappírsvinna. Að meðhöndla gagnasiðfræði sem eyðublað til að skrifa undir frekar en hönnunarskorðu. Mótvægi: bakaðu lögmæti, samþykki og sanngirni inn í sönnunargagnahönnunina.

Þroskalíkan#

Gátlisti#

• Hver tækni er sett í ESF-áhættuþrep NICE, með sönnunargögn krafist til að samsvara.
• Sérhver mikilvæg ákvörðun hefur bæði klínísk og afhendingarsönnunargögn, aðgreind.
• Rökrásarlíkan er til áður en smíðað er, sem nefnir niðurstöður og mælikvarða.
• Matshönnun er hlutfallsleg við áhættu (A/B og raunsæ fyrir lága; tilraunir/RWE fyrir háa).
• Raunheimssönnunargögn og vöktun eru til staðar fyrir gervigreind og langlífa þjónustu.
• Það er menningarlega öruggt að spyrja hvaða ákvarðanataka sem er „hver eru sönnunargögnin?“
• Sérhver mikilvæg ákvörðun er fönguð í ákvörðunarskrá (hvað, hvers vegna, sönnunargögn, hver, hvenær).
• Gagnanotkun er lögmæt, samþykkt, hlutfallsleg og athuguð fyrir skekkju og sanngirni.

Helstu heimildir#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — leiðbeiningar um software and AI as a medical device.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (stigveldi sönnunargagna).
• HM Treasury — The Magenta Book (leiðbeiningar um mat, rökrásarlíkön og matshönnun).
• MRC — Developing and evaluating complex interventions rammi.
• Ron Kohavi o.fl. — Trustworthy Online Controlled Experiments (A/B-prófanir).
• Michael Nygard — Architecture Decision Records (ákvörðunarskrármynstur).

Tilvísanir#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/