Viðfangsefni 8.4 — Stjórnarhættir gervigreindar og nýrrar tækni

Í einni setningu: Gervigreind í heilbrigðis- og velferðarþjónustu er lærandi, gagnaháð og oft ógagnsæ tækni sem getur skalað bæði ávinning og skaða hraðar en nokkurt kerfi sem þú hefur stýrt áður, svo þú verður að stýra henni sem klínísku öryggis-, jafnræðis- og almannatraustsmáli yfir allan lífsferil hennar — ekki meðhöndla hana sem venjulegan hugbúnað sem þú kaupir einu sinni og gleymir.

Hvers vegna þetta skiptir máli í heilbrigðis- og velferðarþjónustu#

Mestur hugbúnaður sem þú hefur sett upp hegðar sér eins á morgun og í dag: rökfræði hans er skrifuð niður, hegðun hans er prófanleg og þegar hann hefur rangt fyrir sér hefur hann venjulega rangt fyrir sér á sýnilegan, endurtakanlegan hátt. Gervigreind brýtur öll þessi þrjú þægindi. Hún lærir tölfræðileg mynstur úr gögnum frekar en að fylgja reglum sem manneskja skrifaði; hegðun hennar veltur algerlega á gögnunum sem hún var þjálfuð á og gögnunum sem hún mætir nú; og rökhugsun hennar er oft ógagnsæ jafnvel fólkinu sem smíðaði hana. Sú samsetning er ástæða þess að gervigreind þarfnast eigin stjórnarháttaaga frekar en að vera felld inn í almennan hugbúnaðargátlista.

Í heilbrigðis- og velferðarþjónustu eru afleiðingarnar ekki óhlutbundnar. Líkan sem greinir sjúkdóm ekki nægilega vel í hópi sem var vanfulltrúaður í þjálfunargögnum þess gerir ekki einangraða villu — það gerir sömu villuna, hljóðlega, þúsund sinnum, og festir og skalar heilsuójöfnuð. Skapandi líkan sem býr til sennilega hljómandi klínískt smáatriði getur leitt teygðan klínískan starfsmann afvega á nákvæmlega röngu augnabliki. Tól sem virkar glæsilega í þýðinu sem það var sannreynt á getur hljóðlega rýrnað þegar þýðið, umönnunarleiðin eða undirliggjandi gögn breytast. Gervigreind getur skalað góðar ákvarðanir og hún getur skalað hlutdrægni, villu og skaða með jafnri skilvirkni.

Þetta viðfangsefni snýst um að stýra þeirri áhættu án þess að anda að sér ofhefjun eða banna tæknina. Það endurtekur vísvitandi ekki grunnana sem lagðir eru annars staðar: klínískt öryggi (sjá Viðfangsefni 1.6 — Klínískt öryggi og áhættustýring), upplýsingastjórnarhætti, gagnavernd og netöryggi (sjá Viðfangsefni 1.7 — Upplýsingastjórnarhættir, gagnavernd og netöryggi) og sönnunargagnabyggða ákvarðanatöku (sjá Viðfangsefni 1.3 — Sönnunargagnabyggðar ákvarðanir). Það festir sig við þá, og bætir við því sem er sértækt fyrir lærandi kerfi. Meðhöndlaðu það sem gervigreindarlöguðu framlengingu núverandi tryggingar þinnar, og sem stýrt systkini þrepaðrar innleiðingar nýsköpunar (sjá Viðfangsefni 8.0 — Þrepuð innleiðing nýsköpunar).

Lykilhugtök#

Gervigreind og vélnám. Fyrir leiðtoga er hagnýti greinarmunurinn þessi: mest gervigreind í heilbrigðis- og velferðarþjónustu í dag er vélnám — kerfi sem álykta mynstur úr dæmum frekar en að framkvæma handskrifaðar reglur. Þess vegna eru gögnin afurðin jafnt og kóðinn: breyttu þjálfunargögnunum og þú breytir hegðuninni. Það þýðir líka að líkan „veit“ ekkert; það metur, og það getur haft sjálfsöruggt rangt fyrir sér. Að skilja þetta á hugtakastigi er nóg til að spyrja réttu stjórnarháttaspurninganna; þú þarft ekki að lesa stærðfræðina.

Hugbúnaður sem lækningatæki (SaMD) og MHRA. Þegar hugbúnaður hefur læknisfræðilegan tilgang — greina, skima, flokka, reikna skammt, spá fyrir um versnun — er hann mjög oft lækningatæki að lögum, hvort sem hann keyrir á síma eða netþjóni. Læknisfræðilegur hugbúnaður af þessu tagi, þekktur sem Software as a Medical Device (SaMD), er undir eftirliti Medicines and Healthcare products Regulatory Agency (MHRA) í Bretlandi. Ef þú ert að panta eða smíða gervigreindartól með klínískan tilgang er fyrsta stjórnarháttaspurningin hvort það sé eftirlitsskylt tæki og, ef svo er, hvort það hafi gilda samræmismerkingu. Að fá þetta rangt er ekki tæknilegt atriði; að taka í notkun óskráð lækningatæki er ólöglegt og óöruggt.

AI Airlock. MHRA hefur sett upp eftirlitssandkassa sem heitir AI Airlock til að vinna úr því hvernig gervigreind sem lækningatæki ætti að vera sett undir eftirlit í stýrðu, vöktuðu umhverfi. Eftirlitssandkassi leyfir eftirlitsaðila og fáum þróunaraðilum að skoða erfiðar, nýstárlegar spurningar — til dæmis hvernig á að sannreyna líkan sem uppfærist yfir tíma — undir eftirliti, áður en almennar reglur eru settar. Vertu raunsær um hvað þetta er: Airlock er námsumhverfi fyrir eftirlitsaðilann og handfylli þátttakenda, ekki hraðsamþykktarleið, og að tengjast því þýðir ekki að vara sé samþykkt til almennrar klínískrar notkunar.

Reikniritshlutdrægni og sanngirni. Reikniritshlutdrægni er tilhneiging kerfis til að framleiða kerfisbundið ósanngjarnar niðurstöður fyrir tiltekna hópa. Í heilbrigðis- og velferðarþjónustu er algengasti uppruni hennar þjálfunargögnin: ef hópur er vanfulltrúaður, rangmerktur eða mældur með hlutdrægu mælitæki, lærir líkanið að þjóna þeim hópi verr. Þar sem líkanið beitir þessu síðan í stórum stíl og með blæ hlutlægni getur hlutdræg gervigreind víkkað einmitt ójöfnuðinn sem skipulagsheild þín er lögbundin til að draga úr.

Útskýranleiki og svarti kassinn. Útskýranleg gervigreind snýst um hvort manneskja geti skilið hvers vegna líkan framleiddi tiltekna útkomu. Mörg afkastamikil líkön eru í raun „svartir kassar“: nákvæm í heild en ófær um að gefa klínískum starfsmanni áreiðanlega ástæðu fyrir einstakri ákvörðun. Í klínísku umhverfi skiptir þetta máli fyrir ábyrgð, upplýst samþykki og skyldu klíníska starfsmannsins til að beita dómgreind — læknir getur ekki marktækt axlað ábyrgð á ráðgjöf sem hann getur ekki yfirheyrt.

Líkanarek og eftirlit eftir markaðssetningu. Nákvæmni líkans er ekki föst. Hugtakarek (concept drift) — breyting yfir tíma á sambandinu milli inntaks og þess sem verið er að spá fyrir um — þýðir að líkan sem var sannreynt í fyrra getur hljóðlega rýrnað í ár þegar þýði, leiðir eða undirliggjandi gögn breytast. Þess vegna krefst gervigreind áframhaldandi eftirlits eftir markaðssetningu og vöktunar, ekki bara einskipta sannprófunar við gangsetningu.

MLOps og líftími líkans. MLOps er rekstrarfræðigreinin að útfæra, vakta, útgáfustýra og endurþjálfa líkön áreiðanlega í framleiðslu. Það er vélbúnaðurinn sem gerir lífsferilsstjórnarhætti raunverulega: að vita hvaða líkansútgáfa er í gangi, á hvaða gögnum, með hvaða frammistöðu, og geta snúið til baka.

Manneskja í lykkjunni (human-in-the-loop). Hönnun með manneskju í lykkjunni heldur manneskju — venjulega klínískum starfsmanni — marktækt í ákvörðuninni, með valdið og upplýsingarnar til að hnekkja líkaninu. Vel gerð varðveitir hún ábyrgð; gerð sem stimpill veitir hún aðeins blekkingu eftirlits.

Skapandi gervigreind og stór mállíkön. Skapandi gervigreind, þar með talin stór mállíkön (LLM), framleiðir lipran texta og annað efni. Raunhæft skammtímavirði hennar í heilbrigðis- og velferðarþjónustu er að mestu stjórnsýslulegt — að semja skjölun, taka saman, létta pappírsvinnu. Skilgreinandi áhætta hennar er ranghermi (hallucination): sjálfsörugg framleiðsla á fölsku en sennilegu efni, aukin af trúnaðaráhættu þegar sjúklingagögn eru færð inn í þjónustur þriðju aðila.

Stafræn lækningameðferð og heilsuforrit. Stafræn lækningameðferð (DTx) eru hugbúnaðardrifin, sönnunargagnabyggð inngrip sem koma í veg fyrir, stýra eða meðhöndla ástand — aðgreind frá almennum vellíðunarforritum einmitt því þau gera klíníska fullyrðingu, sem þýðir að mörg eru Software as a Medical Device og krefjast sömu sönnunargagna og tryggingar og hvaða annað inngrip sem þú ávísar eða mælir með.

Bestu starfsvenjur#

1. Flokkaðu tólið áður en þú gerir nokkuð annað. Staðfestu, skriflega og með klínísku og eftirlitslegu framlagi, hvort gervigreindin hefur læknisfræðilegan tilgang og er því eftirlitsskylt lækningatæki, og hvort hún hefur gilda MHRA samræmismerkingu. Þessi eina ákvörðun stýrir öllu niðurstreymis — tryggingaleiðinni, ábyrgðinni, lögmæti útfærslu. Þegar vafi leikur, leitaðu eftirlitsráðgjafar frekar en að gera ráð fyrir að stjórnsýslutól sé utan umfangs.

2. Keyrðu gervigreind gegnum núverandi klínískt öryggis- og upplýsingastjórnarháttavélbúnað, útvíkkaðan ekki sniðgenginn. Sérhver klínísk gervigreindarútfærsla þarfnast klínískrar áhættustýringar DCB0129/DCB0160 (sjá Viðfangsefni 1.6) og persónuverndarmats (DPIA) undir upplýsingastjórnarháttaramma þínum (sjá Viðfangsefni 1.7). Láttu ekki nýjung eða birgjaáhuga skapa samhliða, léttara ferli. Gervigreindarsértækum hættum — hlutdrægni, reki, ógagnsæi, sjálfvirknihlutdrægni — ætti að bæta við hættuskrána, ekki setja í staðinn fyrir hana.

3. Yfirheyrðu þjálfunargögnin fyrir dæmigildi og hlutdrægni. Spyrðu hverjir eru í gögnunum og hverja vantar, hvernig niðurstöður voru merktar og hvort mælitækin sjálf voru hlutdræg yfir hópa. Krefstu þess að birgirinn skýri frá frammistöðu sundurliðaðri eftir viðeigandi undirhópum — aldri, kyni, þjóðerni, fátækt — ekki bara fyrirsagnarnákvæmni. Tól sem getur ekki sýnt jafna frammistöðu er heilsuójöfnuðaráhætta sama hve áhrifamikið meðaltal þess er.

4. Krefstu klínískrar sannprófunar í samræmi við áhættu, og kjóstu framskyggn sönnunargögn. Afturskyggn nákvæmni á valdri gögnum er veikasta form sönnunargagna. Fyrir hvað sem hefur áhrif á klínískar ákvarðanir, leitaðu sannprófunar í þýði og vinnuflæði eins og ykkar, helst framskyggnri, og leiddu fullyrðinguna gegnum viðeigandi tryggingaramma — NICE Evidence Standards Framework fyrir stafræna heilbrigðistækni og Digital Technology Assessment Criteria (DTAC) sem grunntryggingu. Samræmdu styrk sönnunargagna við umfang mögulegs skaða.

5. Krefstu marktækrar manneskju í lykkjunni og skýrrar ábyrgðar. Skilgreindu hver ber ábyrgð á ákvörðun sem gervigreindin upplýsti, og tryggðu að manneskjan hafi bæði valdið til að hnekkja og upplýsingarnar til að gera það. Gættu virkt gegn sjálfvirknihlutdrægni — tilhneigingunni að lúta vélinni — gegnum þjálfun, viðmótshönnun og endurskoðun á hnekkingarhlutföllum. Ef hnekkingar gerast aldrei er „manneskjan í lykkjunni“ skraut.

6. Meðhöndlaðu gangsetningu sem upphaf vöktunar, ekki endi tryggingar. Settu upp eftirlit eftir markaðssetningu frá degi eitt: vaktaðu raunheimsframmistöðu, fylgstu með hugtakareki og skilgreindu þröskuldana og ferlið til að endurþjálfa, gera hlé á eða draga líkanið til baka. Komdu á líkansútgáfustýringu og afturköllun gegnum trausta MLOps svo þú vitir alltaf hvað er í gangi og getir snúið til baka á öruggan hátt. Líkan sem er aldrei endurskoðað er hægt bilandi öryggiseftirlit.

7. Stýrðu skapandi gervigreind eftir raunhæfum notkunum og gegn raunverulegum áhættum. Leyfðu LLM þar sem virðið er ósvik og áhættan innilokuð — stjórnsýslusmíð, samantektir, skjölunarstuðningur með mannlegri yfirferð — og bannaðu óstýrða innsetningu persónugreinanlegra sjúklingagagna í þjónustur þriðju aðila. Gerðu ráð fyrir að hvert skapandi úttak kunni að vera falsað þar til manneskja sannprófar það, og leyfðu aldrei ósannreyndu mynduðu efni að fara í klínísku skrána. Skýr, framfylgd stefna slær bæði almennt bann sem knýr skuggánotkun og frjálst-fyrir-alla sem lekur gögnum.

8. Beittu upplýsingastjórnarháttum á allan gagnalífsferilinn, þar með talda þjálfun. Gögnin sem notuð eru til að þjálfa, fínstilla og meta líkan lúta sömu lagagrundvallar-, lágmörkunar- og gagnsæisskyldum og hver önnur notkun (sjá Viðfangsefni 1.7). Vertu skýr um grundvöllinn fyrir að þjálfa á sjúklingagögnum, hvort þau eru nægilega afkennd og hvað birgirinn má gera við þau. Samningar ættu að banna endurnotkun gagna þinna til að þjálfa vörur fyrir aðra án lagagrundvallar og samþykkis þíns.

9. Haltu mannlæsilegri líkanaskrá og krefstu gagnsæis frá birgjum. Haltu birgðaskrá yfir gervigreind í notkun: tilgang, eftirlitsstöðu, uppruna þjálfunargagna, sannprófunarsönnunargögn, vöktunaráætlun og ábyrgan eiganda. Krefstu þess að birgjar séu gagnsæir um hvernig líkan virkar, takmarkanir þess og bilunarhætti; ógagnsæi frá söluaðila er sjálft áhættumerki. Þú getur ekki stýrt því sem þú hefur ekki skrifað niður.

10. Skannaðu sjóndeildarhringinn vísvitandi og þrepaðu inn gegnum stýrt mat. Umfram gervigreind dagsins í dag, fylgstu með nýrri tækni — umhverfisskjölun, grunnlíkön og, lengra fram, skammtatækni og ný skynjun — með skipulagðri sjóndeildarhringsskönnun frekar en viðbragðsdrifnum kaupum. Innleiddu hvað sem er ósvik nýtt gegnum stýrða, afturkræfa, metna nálgun þrepaðrar innleiðingar nýsköpunar (sjá Viðfangsefni 8.0), byrjaðu smátt, mældu heiðarlega og haltu getunni til að stöðva.

11. Meðhöndlaðu stafræna lækningameðferð og heilsuforrit sem inngrip, ekki neytendaniðurhal. Þegar forrit gerir klíníska fullyrðingu — um að meðhöndla, stýra eða koma í veg fyrir ástand — er það inngrip sem sjúklingar munu bregðast við, og það verðskuldar sömu rýni og lyf eða tæki áður en þú ávísar eða mælir með því. Staðfestu hvort það sé Software as a Medical Device með gilda samræmismerkingu, krefstu sönnunargagna í réttu hlutfalli við fullyrðingu þess og lokaðu klínísku öryggismati (sjá Viðfangsefni 1.6) frekar en að treysta einkunn í forritaverslun eða áhuga birgis. Ótryggt forrit sem klínískur starfsmaður styður ber nafn skipulagsheildar þinnar og ábyrgð þína ef það skaðar.

12. Leiddu heilsuforrit gegnum núverandi tryggingu og haltu völdu, öruggu safni. Metðu stafræna lækningameðferð gegnum sama vélbúnað og þú rekur þegar — DTAC sem grunnlínu, NICE Evidence Standards Framework samræmt klínísku fullyrðingunni, og klíníska öryggis- og upplýsingastjórnarháttayfirferð — og byggðu raunheimsmatssönnunargögn yfir tíma (sjá Viðfangsefni 8.6). Haltu völdu safni forrita sem þú hefur tryggt og stendur á bak við, með eftirlitsstöðu, sönnunargögnum og eiganda hvers forrits skráð, svo klínískir starfsmenn mæli með af öruggum, stýrðum stuttlista. Valkosturinn — óstýrður vöxtur ómetinna forrita sem er mælt með óformlega yfir teymi — er óstýranlegur og óöruggur.

Spurningar til að ræða með teyminu#

1. Fyrir hvert gervigreindartól sem við íhugum eða notum þegar, vitum við í raun hvort það er eftirlitsskylt lækningatæki — og getum við framvísað sönnunargögnunum? Þetta hljómar eins og fylgniformsatriði en er burðarspurningin, því svarið ákvarðar hvað er löglegt, hver er ábyrgur og hvaða tryggingu þú skuldar almenningi. Það er auðvelt að gera ráð fyrir að tól sem „bara hjálpar við flokkun“ eða „bara tekur saman minnispunkta“ sé saklaus stjórnsýsluhugbúnaður þegar læknisfræðilegur tilgangur þess gerir það í raun að eftirlitsskyldu tæki sem krefst MHRA samræmismerkingar. Umræðan ætti að neyða ykkur til að nefna hvert gervigreindartól í notkun eða í leiðslu, lýsa fyrirhuguðum tilgangi þess á látlausu klínísku máli og greina hver tók tækjaflokkunarákvörðunina og á hvaða grundvelli. Hún ætti að draga fram óþægilegu tilvikin þar sem tól var keypt gegnum venjulega upplýsingatæknileið án nokkurrar eftirlitsathugunar. Verið heiðarleg um hvort þið gætuð, í dag, framvísað samræmisskjölun og sannprófunarsönnunargögnum ef eftirlitsaðili eða dánardómstjóri bæði um það. Verðmæti samtalsins er að það breytir óljósri tilfinningu um að „einhver hlýtur að hafa athugað“ í skjalfesta, eigin stöðu — og afhjúpar tólin þar sem enginn hefur gert það.

2. Höfum við krafist að sjá hvernig þetta líkan stendur sig fyrir hópana sem eru líklegastir til að skaðast, eða höfum við þegið fyrirsagnarnákvæmnitölu? Meðalnákvæmni er talan sem birgjar leiða með og talan sem felur reikniritshlutdrægni, því líkan getur verið mjög nákvæmt í heild meðan það stendur sig áberandi verr fyrir vanfulltrúaðan hóp. Í heilbrigðis- og velferðarþjónustu er það ekki tölfræðileg forvitni; það er vélbúnaður til að víkka ójöfnuðinn sem ykkur ber lagaleg og siðferðileg skylda til að draga úr, beitt hljóðlega og í stórum stíl. Teymið ætti að ræða hvaða undirhópasönnunargögn þið hafið í raun séð — frammistaða sundurliðuð eftir aldri, kyni, þjóðerni og fátækt — og hvort þið vitið hverjir voru í þjálfunargögnunum og hverja vantaði. Vert er að nefna óþægindin hér: að þrýsta á birgi um sanngirni getur liðið eins og að hindra spennandi nýjung, og heiðarlega spurningin er hvort þið eruð fús að segja nei við tóli sem getur ekki sýnt jafna frammistöðu. Íhugið líka hvernig þið mynduð yfirleitt greina ójafnar niðurstöður eftir útfærslu, þar sem hlutdrægni sem var ósýnileg við innkaup verður ósýnileg í framleiðslu nema þið vaktið fyrir henni. Góð umræða endar með áþreifanlegri sönnunargagnaþröskuldi fyrir sanngirni sem gildir áður en nokkur klínísk gervigreind fer í loftið, og áætlun um að halda áfram að fylgjast með eftir á.

3. Þegar þetta líkan hefur rangt fyrir sér — og það mun hafa — hver er ábyrgur, mun manneskja í raun grípa það og hvernig munum við jafnvel vita það? Sérhvert líkan bregst stundum, og lærandi kerfi geta rekið inn í að bregðast oftar yfir tíma, svo þroskaða spurningin er ekki hvort villur gerast heldur hvort varnir ykkar eru raunverulegar. Teymið ætti að prófa hvort manneskjan í lykkjunni sé marktæk eða skraut: hefur klíníski starfsmaðurinn valdið og upplýsingarnar til að hnekkja, og ef þið litið á hnekkingarhlutföll, mynduð þið finna að þeir hnekki nokkurn tímann í raun, eða hefur sjálfvirknihlutdrægni sest að? Ræðið hver er nefndur ábyrgur fyrir ákvörðun sem gervigreindin upplýsti — klíníski starfsmaðurinn, skipulagsheildin, birgirinn — því „reikniritið gerði það“ er ekki verjanleg staða gagnvart sjúklingi eða dánardómstjóra. Horfist heiðarlega í augu við vöktun ykkar: hafið þið eftirlit eftir markaðssetningu sem myndi greina hugtakarek, skilgreinda þröskulda til að gera hlé á eða draga líkanið til baka og MLOps-vélbúnaðinn til að vita hvaða útgáfa er í gangi og snúa til baka? Fyrir skapandi tól, bætið við ranghermis-spurningunni — hvað stöðvar falsað efni frá því að fara í klínísku skrána, og hver sannprófar úttak áður en því er treyst? Gagnlegasta útgáfan af þessari umræðu afhjúpar bilið milli fullvissandi skýringarmyndarinnar af „mannlegu eftirliti“ og þess sem myndi í raun gerast klukkan þrjú að nóttu á annasamri deild.

4. Hvað er að gerast við gögn sjúklinga okkar þegar við þjálfum, fínstillum og keyrum þessi líkön — og hvað hefur birgirinn áskilið sér rétt til að gera við þau? Gervigreind einbeitir gagnastjórnarháttaáhættu einmitt því gögnin eru afurðin: líkan er aðeins jafn áreiðanlegt og lagagrundvöllurinn, lágmörkunin og gagnsæið að baki hverju gagnasetti sem það snerti, þar með talin þjálfunar- og matsgögnin sem fyrirfinnast fyrir gangsetningu. Teymið ætti að geta sagt, fyrir hvert tól, lagagrundvöllinn fyrir hverja notkun sjúklingagagna, hvort afkenning er fullnægjandi frekar en bara fullyrt og hvert gögnin flæða líkamlega þegar þau yfirgefa stjórn ykkar. Endurtekin gildra er samningurinn sem hljóðlega leyfir birginum að endurnota gögn ykkar til að bæta vörur sem hann selur öðrum; ræðið hvort samningar ykkar banna það án lagagrundvallar og skýrs samþykkis ykkar, og hvort nokkur hefur í raun lesið þau ákvæði. Þetta tengist beint upplýsingastjórnarháttaramma ykkar (sjá Viðfangsefni 1.7), og það er þar sem áhugi á hæfu tóli fer oftast fram úr áreiðanleikakönnun. Heiðarlegt svar nefnir hver á DPIA, hvað birgirinn má og má ekki gera og hvar þið eruð nú berskjölduð — frekar en að gera ráð fyrir að því kynningin var áhrifamikil hljóti pappírsvinnan að vera traust.

5. Hvernig ákveðum við hvað við tökum EKKI upp, og getum við staðist þrýstinginn að kaupa hlutinn sem allir eru spenntir fyrir? Erfiðasti stjórnarháttaaginn með ört hreyfandi tækni er að segja „ekki enn“ eða „ekki þetta“, og teymi sem getur ekki orðað viðmið sín fyrir að hafna mun enda á að taka upp af reki og ofhefjun frekar en af sönnunargögnum. Ræðið hvað myndi fá ykkur til að ganga burt frá annars aðlaðandi tóli — veik undirhópasönnunargögn, óskýr eftirlitsstaða, notkunartilvik þar sem raunhæfur ávinningur er þunnur miðað við áhættuna — og hvort þau rauðu strik séu skrifuð niður eða aðeins fundin. Hér er raunveruleg spenna milli kostnaðar við að missa af ósviku framfaraskrefi og kostnaðar umfangsmikillar bilunar sem skaðar almannatraust, og skynsamt fólk mun vega þau ólíkt. Vert er að nefna pólitíska raunveruleikann að þrýstingur að taka upp kemur oft frá stjórn, birgjasambandi eða landsskyldu, ekki frá klínísku þörfinni sjálfri. Afstaða viðfangsefnisins er að skanna sjóndeildarhringinn vísvitandi og þrepa inn gegnum stýrt, afturkræft mat (sjá Viðfangsefni 8.0), svo heiðarlegt svar lýsir hvernig efnilegt en ósannað tól kemur inn sem lítil, mæld, stöðvanleg tilraun frekar en altæk útfærsla — og hver hefur vald til að stöðva hana.

6. Getum við útskýrt hvað þetta líkan gerir fyrir klínísku starfsmönnunum sem verða að treysta því og sjúklingunum sem það snertir — og höfum við verið heiðarleg um takmörk þess? Líkan sem klínískur starfsmaður getur ekki yfirheyrt og sjúklingur skilur ekki rýrir upplýsta dómgreind og upplýst samþykki sem klínísk umönnun veltur á, sama hve nákvæmt það er í heild. Teymið ætti að ræða hve mikinn útskýranleika þessi tiltekna notkun krefst í raun: forgangsröðunartæki fyrir biðröð krefst minna en tól sem hefur áhrif á greiningu eða meðferðarákvörðun, og að samræma útskýringuna við hagsmunina er stjórnarháttaval, ekki tæknileg eftiráhugsun. Íhugið hvað þið segið klínísku starfsmönnunum sem ætlast er til að noti það — tilgang þess, þekkta bilunarhætti, hópana sem það er óáreiðanlegra fyrir — og hvort sú kynning er hreinskilin eða markaðssamantekt. Heiðarleiki gagnvart sjúklingum skiptir líka máli: er fólki sagt þegar gervigreind kemur að umönnun þeirra, og á máli sem þau geta brugðist við? Þetta er líka starfsmannaspurning, því traust sem er of lágt þýðir að gagnlegt tól er hunsað meðan traust sem er of hátt framleiðir sjálfvirknihlutdrægnina sem holar eftirlit. Heiðarlegt svar horfist í augu við hvort þjálfun ykkar og samskipti byggja kvarðað traust eða bara selja tólið.

Í reynd: dæmi úr heilbrigðis- og velferðarþjónustu#

Samþættu umönnunarkerfi er boðið gervigreindartól sem les brjóstmyndir og merkir líklegar frávik til að forgangsraða röntgenskýrslubiðröðinni. Klíníski öryggisfulltrúinn og læknisfræðilegi forstjórinn standast þrýstinginn að panta það hratt og senda það þess í stað gegnum rétta stjórnarhætti.

Fyrst, flokkun: tólið hefur skýran læknisfræðilegan tilgang, svo það er staðfest sem Software as a Medical Device, og MHRA samræmismerking þess og yfirlýsing um fyrirhugaða notkun eru sannreynd — fyrirhuguð notkun er stuðningur við flokkun, ekki sjálfvirk greining, sem mótar allt sem á eftir fylgir. Næst, trygging: tólið fer gegnum DTAC sem grunnlínu, klínísku fullyrðingar þess eru athugaðar gegn NICE Evidence Standards Framework, DCB0160 klínískt áhættumat er klárað og DPIA nær yfir myndgreiningargögnin (sjá Viðfangsefni 1.6 og 1.7). Teymið biður um undirhópaframmistöðu og uppgötvar að sannprófunarþýðið vanfulltrúaði staðbundinn lýðfræðihóp; það krefst viðbótar staðbundinnar sannprófunar áður en haldið er áfram, og meðhöndlar mögulega hlutdrægni sem heilsuójöfnuðaráhættu frekar en neðanmálsgrein.

Við útfærslu heldur hönnunin manneskju í lykkjunni: sérhver mynd er enn skýrð af röntgenlækni, og gervigreindin endurraðar aðeins biðröðinni, svo misst merking getur ekki ein valdið misstri greiningu. Eftirlit eftir markaðssetningu er sett upp frá degi eitt — vöktun á greiningarhlutföllum, ósamræmi milli líkansins og skýrandi röntgenlækna og öllu reki eftir því sem skannavélbúnaður og sjúklingasamsetning breytast — með fyrirfram samþykktum þröskuldum til að gera hlé á tólinu og afturköllunarleið gegnum útgáfustýrða útfærslu birgisins. Sérstaklega, þegar deild biður um að líma sjúklingasögur inn í opinbert LLM til að semja útskriftarsamantektir, segir sami stjórnarháttavettvangur nei við þeirri óstýrðu leið og pantar í staðinn samþykkt, innilokað tól með mannlegri sannprófun. Ári síðar hefur forgangsröðunartólið hóflega bætt afgreiðslutíma skýrslna, vöktun þess hefur gripið eitt rek eftir skanna-uppfærslu, og — mikilvægt — skipulagsheildin getur sýnt nákvæmlega hvernig það er stýrt.

Geirasjónarhorn#

Sprotafyrirtæki#

Stafrænt heilbrigðissprotafyrirtæki er oft gervigreindin, svo stjórnarháttaþroski þess er markaðsaðgangur þess. Stofnendur ættu að meðhöndla eftirlitsflokkun, klíníska sannprófun og hlutdrægnisönnunargögn sem kjarna vörunnar vinnu, ekki fylgniskatt boltaðan á fyrir sölu, því klínískur öryggisfulltrúi kaupanda mun spyrja nákvæmlega um þetta og „nei“ endar samninginn. Að virkja MHRA snemma — hugsanlega gegnum vélbúnað eins og AI Airlock fyrir ósvik nýstárlegar spurningar — og hanna fyrir DTAC og NICE Evidence Standards Framework frá upphafi breytir tryggingu í samkeppnisforskot. Einkennandi sprotaáhætta er ofmat: markaðssetning sem fer fram úr sönnunargögnum, eða kynning á meðalnákvæmni sem felur lélega undirhópaframmistöðu. Agaði stofnandinn byggir vöktun og eftirlit eftir markaðssetningu inn í vöruna snemma, því ein umfangsmikil bilun á tilvísunarstað er tilvistaratburður fyrir lítið fyrirtæki.

Lítil fyrirtæki#

Rótgróinn lítill veitandi — heimilislæknastofa, samfélagsapótek, hjúkrunarheimili eða stakstaða stofa — er yfirleitt kaupandi gervigreindar frekar en smiður, samt ber hann sömu skyldur og stór samsteypa án sérstaks klínísks öryggis-, upplýsingastjórnarhátta- eða upplýsingafræðistarfsfólks til að sinna þeim. Hagnýta áhættan er að taka upp tól á tryggingum birgis því engin innri geta er til að krefjast tækjaflokkunar, undirhópasönnunargagna eða DPIA, og enginn til að taka eftir þegar líkan rekur. Styðstu fast við trygginguna sem aðrir hafa þegar gert: kjóstu tól sem skýrt hafa MHRA samræmismerkingu og hafa staðist DTAC, keyptu af birgjum sem birta sönnunargögn sín og mæltu með heilsuforritum aðeins úr völdu safni sem ICS ykkar eða landsstofnun hefur tryggt frekar en að meta hvert sjálf. Þar sem þú getur ekki persónulega sannreynt öryggi tóls er það ástæða til að treysta á sameiginlega tryggingu kerfisins, ekki til að sleppa athuguninni. Að halda jafnvel léttvæga skrá yfir hvaða gervigreindartól þú notar, til hvers og hver á þau gerir óviðráðanlega skyldu hlutfallslega.

Stórfyrirtæki#

Stór samsteypa eða ICS hefur tækjabúnaðinn til að stýra gervigreind rétt og umfangið sem gerir að fá það rangt alvarlegt. Verkefni hennar er að útvíkka núverandi klínísk öryggis-, upplýsingastjórnarhátta- og tryggingaföll til að ná yfir gervigreind — líkanaskrá, sanngirnisþröskulda undirhópa, eftirlit eftir markaðssetningu, MLOps fyrir útgáfustýringu og afturköllun — frekar en að leyfa gervigreind að koma gegnum óskoðaðar upplýsingatækni- eða rannsóknarleiðir. Raunveruleg hætta stórfyrirtækisins er sundrun: tugir tilrauna, umhverfisskjölunartilrauna og deildar-LLM-tilrauna sem fjölga sér án miðlægrar birgðaskrár, án samkvæms DPIA og án nokkurs ábyrgs þegar tól rekur. Breytingaþreyta og birgjaþrýstingur toga í átt að hraðri upptöku, svo forysta verður að halda línunni að nýjung vinnur sér ekki léttara ferli. Vel gert getur stórfyrirtækið líka framleitt framskyggn, staðbundin sannprófunarsönnunargögn sem smærri aðilar geta ekki, og deilt þeim yfir kerfið.

Hið opinbera#

Lands- og staðbundnar opinberar stofnanir — MHRA, NHS England, DHSC, NICE, landshlutastjórnir og sveitarfélög — setja skilyrðin sem allir aðrir útfæra gervigreind undir. Verkfæri þeirra eru reglusetning, staðlar, tryggingarammar (DTAC, Evidence Standards Framework), öruggar-hafnir vélbúnaðir eins og AI Airlock og fé og leiðbeiningar sem stýra öruggri upptöku yfir sambandskerfi sem þær stýra ekki beint. Ábyrgð nær til ráðherra, þingsins og almennings, svo umfangsmikil gervigreindarbilun eða sýnileg hlutdrægni í landstóli er almannatraustsatburður með langan skugga. Rétt hlutverk hins opinbera er að gera örugga leiðina að auðveldu leiðinni — skýrar reglur, endurnýtanleg trygging, heiðarleg opinber samskipti um hvað gervigreind getur og getur ekki — meðan það stenst bæði ofhefjunardrifnar skyldur og viðbragðsbann. Að fá jafnvægið rangt í hvora átt sem er kostar ára traust.

Algeng mistök#

• Að sleppa eftirlitsflokkun. Að taka í notkun klíníska gervigreind eins og hún væri venjulegur hugbúnaður. Forðastu það með því að ákvarða tækjastöðu og samræmismerkingu fyrst, með eftirlitsframlagi.
• Fyrirsagnarnákvæmnisblinda. Að þiggja meðaltölu sem felur lélega frammistöðu fyrir vanfulltrúaða hópa. Forðastu það með því að krefjast undirhópasönnunargagna fyrir gangsetningu og vakta fyrir ójöfnuði eftir á.
• Sannreyna einu sinni, gleyma að eilífu. Að meðhöndla gangsetningu sem endalok tryggingar meðan líkanið rekur hljóðlega. Forðastu það með því að setja upp eftirlit eftir markaðssetningu með þröskuldum og afturköllun.
• Skrautlegt mannlegt eftirlit. „Manneskja í lykkjunni“ sem stimplar undir sjálfvirknihlutdrægni. Forðastu það með því að endurskoða hnekkingarhlutföll og hanna ósvikið vald til að grípa inn í.
• Óstýrð skapandi gervigreind. Starfsfólk sem límir sjúklingagögn inn í opinber LLM og treystir fölsuðu úttaki. Forðastu það með skýrri stefnu auk samþykkts, innilokaðs tóls með mannlegri sannprófun.
• Samhliða léttvægt ferli. Að leyfa gervigreind að sniðganga klínískt öryggi og upplýsingastjórnarhætti því hún er „nýsköpun“. Forðastu það með því að útvíkka núverandi DCB- og DPIA-vélbúnað til gervigreindar.
• Engin birgðaskrá. Enginn veit hvaða líkön eru í gangi, á hvaða gögnum, í eigu hvers. Forðastu það með því að halda líkanaskrá.

Þroskalíkan#

Gátlisti#

• Lækningatækjastaða og MHRA samræmismerking hvers gervigreindartóls er ákvörðuð og skjalfest.
• Klínísk gervigreind hefur staðist DTAC, verið athuguð gegn NICE Evidence Standards Framework og hefur DCB klínískt áhættumat og DPIA.
• Undirhópaframmistaða (aldur, kyn, þjóðerni, fátækt) hefur verið séð og uppfyllir samþykktan sanngirnisþröskuld.
• Klínísk sannprófun passar áhættustigi og kýs framskyggn, staðbundin sönnunargögn.
• Marktæk manneskja í lykkjunni er hönnuð, með vald og upplýsingar til að hnekkja.
• Nafngreind ábyrgð á gervigreindarupplýstum ákvörðunum er skrifuð niður.
• Eftirlit eftir markaðssetningu, rekþröskuldar og hlé/afturköllunaráætlun eru lifandi frá gangsetningu.
• MLOps gefur líkansútgáfustýringu og örugga afturköllun; lifandi útgáfan er alltaf þekkt.
• Skapandi gervigreindarstefna leyfir raunhæfar notkanir, bannar sjúklingagögn í óstýrðum þjónustum og krefst mannlegrar sannprófunar.
• Upplýsingastjórnarhættir ná yfir þjálfunar-, fínstillingar- og matsgögn, með samningsbundnum takmörkunum á endurnotkun birgis.
• Mannlæsileg líkanaskrá skráir tilgang, uppruna, sönnunargögn, vöktun og eiganda.
• Ný tækni er sjóndeildarhringsskönnuð og þrepuð inn gegnum stýrt, afturkræft mat.

Helstu heimildir#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, og AI Airlock eftirlitssandkassinn (gov.uk).
• NICE — Evidence Standards Framework (ESF) fyrir stafræna heilbrigðistækni (nice.org.uk).
• NHS England — Digital Technology Assessment Criteria (DTAC) fyrir grunntryggingu stafrænnar heilbrigðistækni.
• NHS England / fyrrum NHSX — A Buyer's Guide to AI in Health and Care, og AI Ethics Initiative.
• DCB0129 og DCB0160 — klínískir áhættustýringarstaðlar fyrir heilbrigðisupplýsingatækni (sjá Viðfangsefni 1.6).
• MHRA / IMDRF — Software as a Medical Device (SaMD) rammi og góð vélnámsvenja.
• The King's Fund og the Health Foundation — greining á gervigreind, gögnum og ójöfnuði í heilbrigðis- og velferðarþjónustu.
• Sjá einnig Viðfangsefni 1.3 — Sönnunargagnabyggðar ákvarðanir; Viðfangsefni 1.6 — Klínískt öryggi og áhættustýring; Viðfangsefni 1.7 — Upplýsingastjórnarhættir, gagnavernd og netöryggi; Viðfangsefni 8.0 — Þrepuð innleiðing nýsköpunar.

Tilvísanir#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics