Pwnc 8.4 — Llywodraethiant AI a Thechnoleg Newydd

Mewn un frawddeg: Mae deallusrwydd artiffisial ym maes iechyd a gofal yn dechnoleg sy'n dysgu, yn ddibynnol ar ddata, ac yn aml yn aneglur, a all raddio budd a niwed yn gyflymach nag unrhyw system y buoch yn ei llywodraethu o'r blaen, felly mae'n rhaid i chi ei llywodraethu fel mater diogelwch clinigol, tegwch ac ymddiriedaeth y cyhoedd drwy ei gylch oes cyfan — nid ei drin fel meddalwedd gyffredin y byddwch yn ei phrynu unwaith a'i hanghofio.

Pam mae hyn yn bwysig ym maes iechyd a gofal#

Mae'r rhan fwyaf o'r feddalwedd rydych wedi'i defnyddio'n ymddwyn yr un ffordd yfory ag y mae heddiw: mae ei rhesymeg wedi'i hysgrifennu i lawr, mae ei hymddygiad yn brofadwy, a phan fo'n anghywir mae'n tueddu i fod yn anghywir mewn ffordd weladwy, ailadroddadwy. Mae deallusrwydd artiffisial yn torri pob un o'r tri chysur hynny. Mae'n dysgu patrymau ystadegol o ddata yn hytrach na dilyn rheolau a ysgrifennodd person; mae ei ymddygiad yn dibynnu'n llwyr ar y data y'i hyfforddwyd arno a'r data y mae'n ei gyfarfod nawr; ac mae ei resymu'n aml yn aneglur hyd yn oed i'r bobl a'i hadeiladodd. Y cyfuniad hwnnw yw pam mae AI angen ei ddisgyblaeth llywodraethiant ei hun yn hytrach na chael ei blygu i restr wirio meddalwedd generig.

Ym maes iechyd a gofal nid yw'r canlyniadau'n haniaethol. Nid yw model sy'n tan-ganfod clefyd mewn grŵp a gynrychiolwyd yn annigonol yn ei ddata hyfforddi yn gwneud gwall ynysig — mae'n gwneud yr un gwall, yn dawel, filoedd o weithiau, gan ymwreiddio a graddio anghydraddoldebau iechyd. Gall model cynhyrchiol sy'n ffugio manylyn clinigol sy'n swnio'n gredadwy gamarwain clinigydd dan straen ar yr union foment anghywir. Gall offeryn sy'n gweithio'n hyfryd yn y boblogaeth y'i dilyswyd arni bylu'n dawel pan fo'r boblogaeth, y llwybr gofal, neu'r data i fyny'r afon yn newid. Gall AI raddio penderfyniadau da a gall raddio rhagfarn, gwall a niwed yr un mor effeithlon.

Mae'r pwnc hwn yn ymwneud â llywodraethu'r risg honno heb ymgolli yn yr hype na gwahardd y dechnoleg. Nid yw'n ailadrodd yn fwriadol y sylfeini a osodwyd mewn mannau eraill: diogelwch clinigol (gweler Pwnc 1.6 — Diogelwch Clinigol a Rheoli Risg), llywodraethiant gwybodaeth, diogelu data a seiberddiogelwch (gweler Pwnc 1.7 — Llywodraethiant Gwybodaeth, Diogelu Data a Seiberddiogelwch), a gwneud penderfyniadau seiliedig ar dystiolaeth (gweler Pwnc 1.3 — Penderfyniadau Seiliedig ar Dystiolaeth). Mae'n angori wrthynt, ac yn ychwanegu'r hyn sy'n benodol i systemau sy'n dysgu. Trinwch ef fel estyniad ar ffurf AI o'ch sicrwydd presennol, a chymar llywodraethedig cyflwyno arloesedd fesul cam (gweler Pwnc 8.0 — Cyflwyno Arloesedd fesul Cam).

Cysyniadau craidd#

Deallusrwydd artiffisial a dysgu peirianyddol. I arweinydd, y gwahaniaeth ymarferol yw hwn: mae'r rhan fwyaf o AI ym maes iechyd a gofal heddiw'n ddysgu peirianyddol — systemau sy'n casglu patrymau o enghreifftiau yn hytrach na gweithredu rheolau a ysgrifennwyd â llaw. Dyma pam mae'r data cymaint â'r cynnyrch â'r cod: newidiwch y data hyfforddi a byddwch yn newid yr ymddygiad. Mae hefyd yn golygu nad yw model yn "gwybod" dim; mae'n amcangyfrif, a gall fod yn anghywir yn hyderus. Mae deall hyn ar lefel gysyniadol yn ddigon i ofyn y cwestiynau llywodraethiant cywir; nid oes angen i chi ddarllen y mathemateg.

Meddalwedd fel Dyfais Feddygol (SaMD) a'r MHRA. Pan fo gan feddalwedd ddiben meddygol — diagnosio, sgrinio, brysbennu, cyfrifo dos, rhagfynegi dirywiad — mae'n aml iawn yn ddyfais feddygol yn y gyfraith, ni waeth a yw'n rhedeg ar ffôn neu weinydd. Mae meddalwedd feddygol o'r fath, a elwir yn Feddalwedd fel Dyfais Feddygol (SaMD), yn cael ei rheoleiddio yn y Deyrnas Unedig gan Asiantaeth Rheoleiddio Meddyginiaethau a Chynhyrchion Gofal Iechyd (MHRA). Os ydych yn comisiynu neu'n adeiladu offeryn AI â diben clinigol, y cwestiwn llywodraethiant cyntaf yw a yw'n ddyfais reoledig ac, os felly, a oes ganddo farcio cydymffurfedd dilys. Nid manylyn technegol yw cael hyn yn anghywir; mae defnyddio dyfais feddygol heb ei chofrestru'n anghyfreithlon ac yn anniogel.

Yr AI Airlock. Mae'r MHRA wedi sefydlu blwch tywod rheoleiddio o'r enw'r AI Airlock i weithio drwy sut y dylid rheoleiddio AI fel dyfais feddygol mewn lleoliad rheoledig, wedi'i fonitro. Mae blwch tywod rheoleiddio'n gadael i reoleiddiwr a nifer fach o ddatblygwyr archwilio cwestiynau caled, newydd — er enghraifft sut i ddilysu model sy'n diweddaru dros amser — dan oruchwyliaeth, cyn gosod rheolau cyffredinol. Byddwch yn sobr am yr hyn yw hyn: amgylchedd dysgu i'r rheoleiddiwr a llond llaw o gyfranogwyr yw'r Airlock, nid llwybr cymeradwyo cyflym, ac nid yw cysylltiad ag ef yn golygu bod cynnyrch wedi'i gymeradwyo i'w ddefnyddio'n glinigol yn gyffredinol.

Rhagfarn algorithmig a thegwch. Rhagfarn algorithmig yw tuedd system i gynhyrchu canlyniadau systematig annheg i grwpiau penodol. Ym maes iechyd a gofal ei ffynhonnell fwyaf cyffredin yw'r data hyfforddi: os yw grŵp wedi'i gynrychioli'n annigonol, wedi'i gamlabelu, neu wedi'i fesur ag offeryn rhagfarnllyd, mae'r model yn dysgu gwasanaethu'r grŵp hwnnw'n waeth. Gan fod y model wedyn yn cymhwyso hyn ar raddfa ac ag ymdeimlad o wrthrychedd, gall AI rhagfarnllyd ehangu'r union anghydraddoldebau y mae eich sefydliad dan rwymedigaeth statudol i'w lleihau.

Eglurhad a'r blwch du. Mae deallusrwydd artiffisial eglur yn ymwneud ag a all bod dynol ddeall pam y cynhyrchodd model allbwn penodol. Mae llawer o fodelau perfformiad uchel i bob pwrpas yn "flychau du": cywir yn gyfanredol ond yn methu rhoi rheswm dibynadwy i glinigydd am benderfyniad unigol. Mewn lleoliad clinigol mae hyn yn bwysig i atebolrwydd, caniatâd gwybodus, a dyletswydd y clinigydd i arfer barn — ni all meddyg gymryd cyfrifoldeb yn ystyrlon am gyngor na all ei holi.

Drifft model a gwyliadwriaeth ôl-farchnad. Nid yw cywirdeb model yn sefydlog. Mae drifft cysyniad — newid dros amser yn y berthynas rhwng mewnbynnau a'r hyn a ragfynegir — yn golygu y gall model a ddilyswyd y llynedd ddirywio'n dawel eleni wrth i boblogaethau, llwybrau, neu ddata i fyny'r afon newid. Dyma pam mae AI yn gofyn am wyliadwriaeth ôl-farchnad a monitro parhaus, nid dim ond dilysu un-tro adeg mynd yn fyw.

MLOps a chylch oes y model. MLOps yw'r ddisgyblaeth weithredol o ddefnyddio, monitro, fersiynu ac ailhyfforddi modelau'n ddibynadwy mewn cynhyrchu. Dyma'r peirianwaith sy'n gwneud llywodraethiant cylch oes yn real: gwybod pa fersiwn o'r model sy'n fyw, ar ba ddata, â pha berfformiad, a gallu rholio'n ôl.

Person yn y ddolen. Mae dyluniad person yn y ddolen yn cadw person — clinigydd fel arfer — yn ystyrlon yn y penderfyniad, â'r awdurdod a'r wybodaeth i ddiystyru'r model. O'i wneud yn dda mae'n cadw atebolrwydd; o'i wneud fel stamp rwber mae'n rhoi dim ond rhith goruchwyliaeth.

AI cynhyrchiol a modelau iaith mawr. Mae deallusrwydd artiffisial cynhyrchiol, gan gynnwys modelau iaith mawr (LLMau), yn cynhyrchu testun rhugl a chynnwys arall. Mae ei werth realistig tymor agos ym maes iechyd a gofal i raddau helaeth yn weinyddol — drafftio dogfennaeth, crynhoi, esmwytho gwaith papur. Ei risg ddiffiniol yw rhithweledigaeth: cynhyrchu hyderus gynnwys ffug ond credadwy, wedi'i waethygu gan risgiau cyfrinachedd pan fo data cleifion yn cael ei fewnbynnu i wasanaethau trydydd parti.

Therapiwteg ddigidol ac apiau iechyd. Mae therapiwteg ddigidol (DTx) yn ymyriadau seiliedig ar feddalwedd, ar sail tystiolaeth sy'n atal, rheoli neu drin cyflwr — yn wahanol i apiau lles cyffredinol yn union oherwydd eu bod yn gwneud honiad clinigol, sy'n golygu bod llawer yn Feddalwedd fel Dyfais Feddygol ac yn mynnu'r un dystiolaeth a sicrwydd ag unrhyw ymyriad arall rydych yn ei ragnodi neu'n ei argymell.

Arferion gorau#

1. Dosbarthwch yr offeryn cyn i chi wneud dim arall. Sefydlwch, yn ysgrifenedig a chyda mewnbwn clinigol a rheoleiddiol, a oes gan yr AI ddiben meddygol ac felly'n ddyfais feddygol reoledig, ac a oes ganddo farcio cydymffurfedd MHRA dilys. Mae'r un penderfyniad hwn yn llywodraethu popeth i lawr yr afon — y llwybr sicrwydd, y rhwymedigaethau, cyfreithlondeb defnyddio. Pan fyddwch mewn amheuaeth, ceisiwch gyngor rheoleiddiol yn hytrach na thybio bod offeryn gweinyddol y tu allan i'r cwmpas.

2. Rhedwch AI drwy eich peirianwaith diogelwch clinigol a LlG presennol, wedi'i ymestyn nid ei osgoi. Mae angen rheoli risg glinigol DCB0129/DCB0160 ar bob defnyddio AI clinigol (gweler Pwnc 1.6) ac Asesiad Effaith Diogelu Data o dan eich fframwaith llywodraethiant gwybodaeth (gweler Pwnc 1.7). Peidiwch â gadael i newydd-deb neu frwdfrydedd cyflenwr greu proses gyfochrog, ysgafnach. Dylid ychwanegu peryglon penodol i AI — rhagfarn, drifft, anhryloywder, rhagfarn awtomeiddio — at y cofnod peryglon, nid eu rhoi yn ei le.

3. Holwch y data hyfforddi am gynrychioldeb a rhagfarn. Gofynnwch pwy sydd yn y data a phwy sydd ar goll, sut y labelwyd canlyniadau, ac a oedd yr offerynnau mesur eu hunain yn rhagfarnllyd ar draws grwpiau. Mynnwch fod y cyflenwr yn adrodd perfformiad wedi'i ddadgyfuno yn ôl is-grwpiau perthnasol — oedran, rhyw, ethnigrwydd, amddifadedd — nid dim ond cywirdeb pennawd. Mae offeryn na all ddangos perfformiad teg yn risg anghydraddoldeb iechyd waeth pa mor drawiadol yw ei gyfartaledd.

4. Mynnwch ddilysiad clinigol sy'n briodol i'r risg, a ffafriwch dystiolaeth ragolygol. Cywirdeb ôl-edrychol ar ddata wedi'i guradu yw'r ffurf wannaf o dystiolaeth. Ar gyfer unrhyw beth sy'n dylanwadu ar benderfyniadau clinigol, ceisiwch ddilysiad mewn poblogaeth a llif gwaith tebyg i'ch un chi, yn ddelfrydol yn ragolygol, a chyfeiriwch yr honiad drwy'r fframwaith sicrwydd priodol — Fframwaith Safonau Tystiolaeth NICE ar gyfer technolegau iechyd digidol a'r Meini Prawf Asesu Technoleg Ddigidol (DTAC) fel sicrwydd llinell sylfaen. Cydweddwch gryfder y dystiolaeth â maint y niwed posibl.

5. Mynnwch berson yn y ddolen ystyrlon ac atebolrwydd clir. Diffiniwch pwy sy'n atebol am benderfyniad a lywiwyd gan yr AI, a sicrhewch fod gan y person yr awdurdod i ddiystyru a'r wybodaeth i wneud hynny. Gwarchodwch yn weithredol rhag rhagfarn awtomeiddio — y duedd i ildio i'r peiriant — drwy hyfforddiant, dylunio rhyngwyneb, ac archwilio cyfraddau diystyru. Os na fydd diystyrau byth yn digwydd, mae eich "person yn y ddolen" yn addurniadol.

6. Trinwch fynd yn fyw fel dechrau monitro, nid diwedd sicrwydd. Sefydlwch wyliadwriaeth ôl-farchnad o'r diwrnod cyntaf: monitrwch berfformiad byd go iawn, gwyliwch am ddrifft cysyniad, a diffiniwch y trothwyon a'r broses ar gyfer ailhyfforddi, oedi, neu dynnu'r model yn ôl. Sefydlwch fersiynu modelau a rholio'n ôl drwy MLOps cadarn fel eich bod bob amser yn gwybod beth sy'n fyw ac yn gallu dychwelyd yn ddiogel. Mae model na chaiff byth ei ailwirio'n reolaeth ddiogelwch sy'n methu'n araf.

7. Llywodraethwch AI cynhyrchiol i'w ddefnyddiau realistig ac yn erbyn ei risgiau gwirioneddol. Caniatewch LLMau lle mae'r gwerth yn wirioneddol a'r risg wedi'i chynnwys — drafftio gweinyddol, crynhoi, cymorth dogfennaeth ag adolygiad dynol — a gwaherddwch fewnbynnu data cleifion adnabyddadwy heb ei reoli i wasanaethau trydydd parti. Tybiwch y gall unrhyw allbwn cynhyrchiol fod wedi'i ffugio nes bod person yn ei wirio, a pheidiwch byth â gadael i gynnwys a gynhyrchwyd heb ei wirio fynd i'r cofnod clinigol. Mae polisi clir, a orfodir, yn curo gwaharddiad cyffredinol sy'n gyrru defnydd cysgodol a rhydd-i-bawb sy'n gollwng data.

8. Cymhwyswch lywodraethiant gwybodaeth i gylch oes y data cyfan, gan gynnwys hyfforddi. Mae'r data a ddefnyddir i hyfforddi, mireinio a gwerthuso model yn ddarostyngedig i'r un rhwymedigaethau sail gyfreithlon, lleiafswm a thryloywder ag unrhyw ddefnydd arall (gweler Pwnc 1.7). Byddwch yn benodol am y sail dros hyfforddi ar ddata cleifion, a yw wedi'i ddad-adnabod yn ddigonol, a'r hyn y caiff y cyflenwr ei wneud ag ef. Dylai contractau wahardd ailddefnyddio eich data i hyfforddi cynhyrchion i eraill heb sail gyfreithlon a'ch cytundeb.

9. Cadwch gofrestr model sy'n ddarllenadwy gan bobl a mynnwch dryloywder gan gyflenwyr. Cynhaliwch restr o AI sydd ar waith: diben, statws rheoleiddiol, tarddiad data hyfforddi, tystiolaeth ddilysu, cynllun monitro, a pherchennog atebol. Mynnwch fod cyflenwyr yn dryloyw ynghylch sut mae model yn gweithio, ei gyfyngiadau, a'i ddulliau methu; mae anhryloywder gan werthwr ei hun yn arwydd risg. Ni allwch lywodraethu'r hyn nad ydych wedi'i ysgrifennu i lawr.

10. Sganiwch y gorwel yn fwriadol a chyflwynwch fesul cam drwy werthusiad rheoledig. Y tu hwnt i AI heddiw, gwyliwch dechnolegau newydd — dogfennaeth amgylchynol, modelau sylfaen, ac ymhellach i ffwrdd, cwantwm a synhwyro newydd — â sganio'r gorwel strwythuredig yn hytrach na chaffael adweithiol. Cyflwynwch unrhyw beth gwirioneddol newydd drwy ddull rheoledig, gwrthdroadwy, a werthuswyd o gyflwyno arloesedd fesul cam (Pwnc 8.0), gan ddechrau'n fach, mesur yn onest, a chadw'r gallu i stopio.

11. Trinwch therapiwteg ddigidol ac apiau iechyd fel ymyriadau, nid lawrlwythiadau defnyddwyr. Pan fo ap yn gwneud honiad clinigol — i drin, rheoli neu atal cyflwr — mae'n ymyriad y bydd cleifion yn gweithredu arno, ac mae'n haeddu'r un craffu â chyffur neu ddyfais cyn i chi ei ragnodi neu ei argymell. Sefydlwch a yw'n Feddalwedd fel Dyfais Feddygol â marcio cydymffurfedd dilys, mynnwch dystiolaeth gymesur â'i honiad, a chwblhewch asesiad diogelwch clinigol (gweler Pwnc 1.6) yn hytrach nag ymddiried mewn sgôr siop apiau neu frwdfrydedd cyflenwr. Mae ap heb ei sicrhau y mae clinigydd yn ei gymeradwyo'n cario enw eich sefydliad a'ch atebolrwydd os yw'n niweidio.

12. Cyfeiriwch apiau iechyd drwy sicrwydd presennol a chadwch lyfrgell wedi'i churadu, ddiogel. Aseswch therapiwteg ddigidol drwy'r un peirianwaith ag rydych eisoes yn ei redeg — DTAC fel llinell sylfaen, Fframwaith Safonau Tystiolaeth NICE wedi'i gydweddu â'r honiad clinigol, ac adolygiad diogelwch clinigol a LlG — ac adeiladwch y dystiolaeth gwerthuso byd go iawn dros amser (gweler Pwnc 8.6). Cadwch lyfrgell wedi'i churadu o apiau rydych wedi'u sicrhau ac yn sefyll y tu ôl iddynt, â statws rheoleiddiol, tystiolaeth a pherchennog pob ap wedi'u cofnodi, fel bod clinigwyr yn argymell o restr fer ddiogel, lywodraethedig. Mae'r dewis arall — gwasgariad heb ei reoli o apiau heb eu hasesu a argymhellir yn anffurfiol ar draws timau — yn anrheoladwy ac yn anniogel.

Cwestiynau i'w trafod gyda'ch tîm#

1. Ar gyfer pob offeryn AI rydym yn ei ystyried neu eisoes yn ei ddefnyddio, ydyn ni mewn gwirionedd yn gwybod a yw'n ddyfais feddygol reoledig — ac a allwn gynhyrchu'r dystiolaeth? Mae hyn yn swnio fel ffurfioldeb cydymffurfio ond dyma'r cwestiwn sy'n dwyn llwyth, oherwydd bod yr ateb yn penderfynu beth sy'n gyfreithlon, pwy sy'n atebol, a pha sicrwydd sy'n ddyledus gennych i'r cyhoedd. Mae'n hawdd tybio bod offeryn sydd "yn syml yn helpu gyda brysbennu" neu "yn syml yn crynhoi nodiadau" yn feddalwedd weinyddol ddiniwed pan fo ei ddiben meddygol mewn gwirionedd yn ei wneud yn ddyfais reoledig sy'n gofyn am farcio cydymffurfedd MHRA. Dylai'r drafodaeth eich gorfodi i enwi pob offeryn AI a ddefnyddir neu sydd yn y biblinell, datgan ei ddiben bwriadedig mewn termau clinigol plaen, a nodi pwy wnaeth y penderfyniad dosbarthu dyfais ac ar ba sail. Dylai godi'r achosion anghyfforddus lle prynwyd offeryn drwy lwybr TG cyffredin heb unrhyw wiriad rheoleiddiol o gwbl. Byddwch yn onest a allech, heddiw, gynhyrchu'r ddogfennaeth cydymffurfedd a'r dystiolaeth ddilysu pe bai rheoleiddiwr neu grwner yn gofyn. Gwerth y sgwrs yw ei bod yn troi ymdeimlad niwlog bod "rhywun wedi gwirio" yn safbwynt dogfenedig, â pherchennog — ac yn datgelu'r offer lle nad oes neb wedi.

2. A ydym wedi mynnu gweld sut mae'r model hwn yn perfformio i'r grwpiau sydd fwyaf tebygol o gael eu niweidio, neu a ydym wedi derbyn ffigur cywirdeb pennawd? Cywirdeb cyfartalog yw'r rhif y mae cyflenwyr yn arwain ag ef a'r rhif sy'n cuddio rhagfarn algorithmig, oherwydd gall model fod yn gywir iawn yn gyffredinol tra'n perfformio'n amlwg yn waeth i grŵp sydd wedi'i gynrychioli'n annigonol. Ym maes iechyd a gofal nid chwilfrydedd ystadegol yw hyn; mae'n fecanwaith ar gyfer ehangu'r anghydraddoldebau y mae gennych rwymedigaeth gyfreithiol a moesol i'w lleihau, wedi'i gymhwyso'n dawel ac ar raddfa. Dylai'r tîm drafod pa dystiolaeth is-grŵp rydych wedi'i gweld mewn gwirionedd — perfformiad wedi'i ddadgyfuno yn ôl oedran, rhyw, ethnigrwydd ac amddifadedd — ac a ydych yn gwybod pwy oedd yn y data hyfforddi a phwy oedd ar goll. Mae'n werth enwi'r anghysur yma: gall gwasgu cyflenwr ar degwch deimlo fel rhwystro arloesedd cyffrous, a'r cwestiwn gonest yw a ydych yn barod i ddweud na wrth offeryn na all ddangos perfformiad teg. Ystyriwch hefyd sut y byddech hyd yn oed yn canfod canlyniadau annheg ar ôl eu defnyddio, gan y bydd rhagfarn a oedd yn anweladwy wrth gaffael yn anweladwy mewn cynhyrchu oni bai eich bod yn monitro amdani. Mae trafodaeth dda'n gorffen â bar tystiolaethol concrid ar gyfer tegwch sy'n berthnasol cyn i unrhyw AI clinigol fynd yn fyw, a chynllun i barhau i wylio wedyn.

3. Pan fo'r model hwn yn anghywir — ac fe fydd — pwy sy'n atebol, a fydd person yn ei ddal mewn gwirionedd, a sut fyddwn ni hyd yn oed yn gwybod? Mae pob model yn methu weithiau, a gall systemau dysgu ddrifftio i fethu'n amlach dros amser, felly'r cwestiwn aeddfed nid a yw gwallau'n digwydd ond a yw eich mesurau diogelu'n real. Dylai'r tîm brofi a yw'r person yn y ddolen yn ystyrlon neu'n addurniadol: a oes gan y clinigydd yr awdurdod a'r wybodaeth i ddiystyru, ac os edrychech ar gyfraddau diystyru, a fyddech yn canfod eu bod byth yn diystyru mewn gwirionedd, neu a yw rhagfarn awtomeiddio wedi ymsefydlu? Trafodwch pwy a enwir fel un atebol am benderfyniad a lywiwyd gan yr AI — y clinigydd, y sefydliad, y cyflenwr — oherwydd nad yw "yr algorithm a'i gwnaeth" yn safbwynt amddiffynadwy i glaf neu grwner. Wynebwch eich monitro'n onest: a oes gennych wyliadwriaeth ôl-farchnad a fyddai'n canfod drifft cysyniad, trothwyon diffiniedig ar gyfer oedi neu dynnu'r model yn ôl, a'r peirianwaith MLOps i wybod pa fersiwn sy'n fyw ac i'w rholio'n ôl? Ar gyfer offer cynhyrchiol, ychwanegwch y cwestiwn rhithweledigaeth — beth sy'n atal cynnwys ffug rhag mynd i'r cofnod clinigol, a phwy sy'n gwirio allbwn cyn y'i hymddiriedir? Mae'r fersiwn fwyaf defnyddiol o'r sgwrs hon yn datgelu'r bwlch rhwng y diagram tawelu "goruchwyliaeth ddynol" a'r hyn a fyddai'n digwydd mewn gwirionedd am 3am ar ward brysur.

4. Beth sy'n digwydd i ddata ein cleifion pan fyddwn yn hyfforddi, mireinio a rhedeg y modelau hyn — a pha hawl y mae'r cyflenwr wedi'i neilltuo i'w wneud ag ef? Mae AI yn crynhoi risg llywodraethiant data'n union oherwydd mai'r data yw'r cynnyrch: dim ond mor ddibynadwy â'r sail gyfreithlon, y lleiafswm a'r tryloywder y tu ôl i bob set ddata a gyffyrddodd â hi yw model, gan gynnwys y data hyfforddi a gwerthuso sy'n rhagflaenu mynd yn fyw. Dylai'r tîm allu datgan, ar gyfer pob offeryn, y sail gyfreithlon dros unrhyw ddefnydd o ddata cleifion, a yw dad-adnabod yn ddigonol yn hytrach na dim ond yn cael ei haeru, a ble mae'r data'n llifo'n gorfforol unwaith y mae'n gadael eich rheolaeth. Trap cylchol yw'r contract sy'n caniatáu'n dawel i'r cyflenwr ailddefnyddio eich data i wella cynhyrchion y bydd yn eu gwerthu i eraill; trafodwch a yw eich cytundebau'n gwahardd hynny heb sail gyfreithlon a'ch caniatâd penodol, ac a yw unrhyw un wedi darllen y cymalau hynny mewn gwirionedd. Mae hyn yn cysylltu'n uniongyrchol â'ch fframwaith llywodraethiant gwybodaeth (gweler Pwnc 1.7), a dyma lle mae brwdfrydedd dros offeryn galluog amlaf yn mynd ar y blaen i ddiwydrwydd dyladwy. Mae ateb gonest yn enwi pwy sy'n berchen ar yr Asesiad Effaith Diogelu Data, yr hyn y caiff y cyflenwr ei wneud a'r hyn na chaiff ei wneud, a ble rydych yn agored ar hyn o bryd — yn hytrach na thybio, oherwydd bod y demo'n drawiadol, fod y gwaith papur yn gadarn.

5. Sut ydym yn penderfynu beth i BEIDIO â'i fabwysiadu, ac a allwn wrthsefyll y pwysau i brynu'r peth y mae pawb yn gyffrous amdano? Y ddisgyblaeth llywodraethiant anoddaf â thechnoleg sy'n symud yn gyflym yw dweud "ddim eto" neu "nid hwn", a bydd tîm na all fynegi ei feini prawf ar gyfer gwrthod yn mabwysiadu drwy ddrifft a hype yn hytrach na thystiolaeth. Trafodwch beth fyddai'n gwneud i chi gerdded i ffwrdd oddi wrth offeryn deniadol fel arall — tystiolaeth is-grŵp wan, statws rheoleiddiol aneglur, achos defnyddio lle mae'r budd realistig yn denau o'i gymharu â'r risg — ac a yw'r llinellau coch hynny wedi'u hysgrifennu i lawr neu ddim ond yn cael eu teimlo. Mae tensiwn go iawn yma rhwng cost colli gwelliant gwirioneddol a chost methiant graddedig sy'n niweidio ymddiriedaeth y cyhoedd, a bydd pobl resymol yn eu pwyso'n wahanol. Mae'n werth enwi'r realiti gwleidyddol bod pwysau i fabwysiadu'n aml yn dod gan fwrdd, perthynas cyflenwr, neu orchymyn cenedlaethol, nid o'r angen clinigol ei hun. Safbwynt y pwnc yw sganio'r gorwel yn fwriadol a chyflwyno fesul cam drwy werthusiad rheoledig, gwrthdroadwy (gweler Pwnc 8.0), felly mae ateb gonest yn disgrifio sut mae offeryn addawol ond heb ei brofi'n dod i mewn fel peilot bach, wedi'i fesur, y gellir ei stopio yn hytrach nag fel cyflwyno cyfanwerthol — a phwy sydd â'r awdurdod i'w stopio.

6. A allwn ni egluro beth mae'r model hwn yn ei wneud i'r clinigwyr sy'n gorfod ymddiried ynddo a'r cleifion yr effeithir arnynt — ac a ydym wedi bod yn onest am ei derfynau? Mae model na all clinigydd ei holi ac na all claf ei ddeall yn cyrydu'r farn wybodus a'r caniatâd gwybodus y mae gofal clinigol yn dibynnu arnynt, waeth pa mor gywir yw yn gyfanredol. Dylai'r tîm drafod faint o eglurhad y mae'r defnydd penodol hwn ei angen mewn gwirionedd: mae cymorth blaenoriaethu ciw yn mynnu llai nag offeryn sy'n dylanwadu ar ddiagnosis neu benderfyniad triniaeth, ac mae cydweddu'r eglurhad â'r polion yn ddewis llywodraethiant, nid ôl-ystyriaeth dechnegol. Ystyriwch beth rydych yn ei ddweud wrth y clinigwyr y disgwylir iddynt ei ddefnyddio — ei ddiben, ei ddulliau methu hysbys, y grwpiau y mae'n llai dibynadwy ar eu cyfer — ac a yw'r briff hwnnw'n onest neu'n grynodeb marchnata. Mae gonestrwydd sy'n wynebu cleifion yn bwysig hefyd: a ddywedir wrth bobl pan fo AI yn gysylltiedig â'u gofal, ac mewn iaith y gallant weithredu arni? Mae hyn hefyd yn gwestiwn gweithlu, oherwydd bod ymddiriedaeth sy'n rhy isel yn golygu bod offeryn defnyddiol yn cael ei anwybyddu tra bo ymddiriedaeth sy'n rhy uchel yn cynhyrchu'r rhagfarn awtomeiddio sy'n gwagio goruchwyliaeth. Mae ateb gonest yn wynebu a yw eich hyfforddiant a'ch cyfathrebu'n adeiladu ymddiriedaeth wedi'i chalibro neu'n gwerthu'r offeryn yn unig.

Yn ymarferol: enghraifft iechyd a gofal#

Cynigir offeryn AI i system gofal integredig sy'n darllen pelydrau-X y frest ac yn fflagio annormaleddau tebygol i flaenoriaethu ciw adrodd radioleg. Mae'r swyddog diogelwch clinigol a'r cyfarwyddwr meddygol yn gwrthsefyll y pwysau i'w gaffael yn gyflym ac yn hytrach yn ei roi drwy lywodraethiant priodol.

Yn gyntaf, dosbarthu: mae gan yr offeryn ddiben meddygol clir, felly cadarnheir ei fod yn Feddalwedd fel Dyfais Feddygol, ac fe wirir ei farcio cydymffurfedd MHRA a'i ddatganiad defnydd bwriadedig — y defnydd bwriadedig yw cymorth brysbennu, nid diagnosis ymreolaethol, sy'n llunio popeth sy'n dilyn. Nesaf, sicrwydd: caiff yr offeryn ei gymryd drwy DTAC fel llinell sylfaen, gwirir ei honiadau clinigol yn erbyn Fframwaith Safonau Tystiolaeth NICE, cwblheir asesiad risg clinigol DCB0160, ac mae Asesiad Effaith Diogelu Data yn cwmpasu'r data delweddu (gweler Pynciau 1.6 ac 1.7). Mae'r tîm yn gofyn am berfformiad is-grŵp ac yn darganfod bod y boblogaeth ddilysu wedi tan-gynrychioli demograffig lleol; maent yn mynnu dilysu lleol ychwanegol cyn bwrw ymlaen, gan drin rhagfarn bosibl fel risg anghydraddoldeb iechyd yn hytrach na throednodyn.

Wrth ddefnyddio mae'r dyluniad yn cadw person yn y ddolen: mae radiolegydd yn dal i adrodd ar bob delwedd, a'r AI ond yn ad-drefnu'r ciw, felly ni all fflag a gollwyd ar ei ben ei hun achosi diagnosis a gollwyd. Sefydlir gwyliadwriaeth ôl-farchnad o'r diwrnod cyntaf — monitro cyfraddau canfod, anghytundeb rhwng y model a radiolegwyr adrodd, ac unrhyw ddrifft wrth i galedwedd sganiwr a chymysgedd achosion newid — â throthwyon y cytunwyd arnynt ymlaen llaw i oedi'r offeryn a llwybr rholio'n ôl drwy ddefnydd fersiynedig y cyflenwr. Ar wahân, pan fo ward yn gofyn i gludo hanesion cleifion i LLM cyhoeddus i ddrafftio crynodebau rhyddhau, mae'r un fforwm llywodraethiant yn dweud na wrth y llwybr heb ei reoli hwnnw ac yn hytrach yn comisiynu offeryn cymeradwy, cynwysedig â gwirio dynol. Flwyddyn yn ddiweddarach, mae'r offeryn blaenoriaethu ciw wedi gwella amser troi adrodd yn gymedrol, mae ei fonitro wedi dal un cyfnod o ddrifft ar ôl uwchraddio sganiwr, ac — yn hollbwysig — gall y sefydliad ddangos yn union sut y caiff ei lywodraethu.

Golwg drwy wahanol sectorau#

Busnes newydd#

Mae busnes newydd iechyd digidol yn aml yn yr AI, felly ei aeddfedrwydd llywodraethiant yw ei fynediad i'r farchnad. Dylai sylfaenwyr drin dosbarthu rheoleiddiol, dilysu clinigol a thystiolaeth rhagfarn fel gwaith cynnyrch craidd, nid treth cydymffurfio a bolltiwyd ymlaen cyn gwerthiant, oherwydd y bydd swyddog diogelwch clinigol prynwr yn gofyn am yn union y rhain ac mae "na" yn terfynu'r fargen. Mae ymgysylltu'n gynnar â'r MHRA — o bosibl drwy fecanweithiau fel yr AI Airlock ar gyfer cwestiynau gwirioneddol newydd — a dylunio ar gyfer DTAC a Fframwaith Safonau Tystiolaeth NICE o'r dechrau'n troi sicrwydd yn fantais gystadleuol. Risg nodweddiadol busnes newydd yw gorhawlio: marchnata sy'n mynd ar y blaen i'r dystiolaeth, neu demo o gywirdeb cyfartalog sy'n cuddio perfformiad is-grŵp gwael. Mae'r sylfaenydd disgybledig yn adeiladu monitro a gwyliadwriaeth ôl-farchnad i'r cynnyrch yn gynnar, oherwydd bod un methiant graddedig mewn safle cyfeirio'n ddigwyddiad bodolaethol i gwmni bach.

Busnes bach#

Fel arfer prynwr AI yn hytrach nag adeiladwr yw darparwr bach sefydledig — practis meddyg teulu, fferyllfa gymunedol, cartref gofal, clinig un safle — ac eto mae'n cario'r un dyletswyddau ag ymddiriedolaeth fawr heb unrhyw staff diogelwch clinigol, LlG neu wybodeg pwrpasol i'w cyflawni. Y risg ymarferol yw mabwysiadu offeryn ar sicrwydd cyflenwr oherwydd nad oes capasiti mewnol i fynnu dosbarthu dyfais, tystiolaeth is-grŵp, neu Asesiad Effaith Diogelu Data, a neb i sylwi pan fo model yn drifftio. Pwyswch yn drwm ar y sicrwydd y mae eraill eisoes wedi'i wneud: ffafriwch offer sy'n amlwg yn dal marcio cydymffurfedd MHRA ac sydd wedi pasio DTAC, prynwch gan gyflenwyr sy'n cyhoeddi eu tystiolaeth, ac argymhellwch apiau iechyd yn unig o lyfrgell wedi'i churadu y mae eich ICS neu gorff cenedlaethol wedi'i sicrhau yn hytrach nag asesu pob un eich hun. Lle na allwch wirio diogelwch offeryn yn bersonol, mae hynny'n rheswm dros ildio i sicrwydd a rennir eich system, nid dros hepgor y gwiriad. Mae cadw hyd yn oed gofrestr ysgafn o ba offer AI rydych yn eu defnyddio, ar gyfer beth, a phwy sy'n berchen arnynt yn troi dyletswydd anhydrin yn un gymesur.

Menter fawr#

Mae gan ymddiriedolaeth fawr neu ICS y peirianwaith i lywodraethu AI yn briodol a'r raddfa sy'n gwneud ei gael yn anghywir yn ddifrifol. Ei waith yw ymestyn swyddogaethau diogelwch clinigol, LlG a sicrwydd presennol i gwmpasu AI — cofrestr model, bariau tegwch is-grŵp, monitro ôl-farchnad, MLOps ar gyfer fersiynu a rholio'n ôl — yn hytrach na gadael i AI gyrraedd drwy lwybrau TG neu ymchwil heb eu craffu. Perygl gwirioneddol y fenter yw darnio: dwsinau o gynlluniau peilot, treialon ysgrifenyddion amgylchynol, ac arbrofion LLM adrannol yn amlhau heb restr ganolog, heb Asesiad Effaith Diogelu Data cyson, a heb neb yn atebol pan fo offeryn yn drifftio. Mae blinder newid a phwysau cyflenwyr yn gwthio tuag at fabwysiadu cyflym, felly rhaid i arweinyddiaeth ddal y llinell nad yw newydd-deb yn ennill proses ysgafnach. O'i wneud yn dda, gall y fenter hefyd gynhyrchu'r dystiolaeth ddilysu ragolygol, leol na all chwaraewyr llai ei chynhyrchu, a'i rhannu ar draws y system.

Llywodraeth#

Mae cyrff llywodraeth cenedlaethol a lleol — yr MHRA, GIG Lloegr, yr Adran Iechyd a Gofal Cymdeithasol, NICE, gweinyddiaethau datganoledig, ac awdurdodau lleol — yn gosod yr amodau y mae pawb arall yn defnyddio AI odanynt. Eu hoffer yw rheoleiddio, safonau, fframweithiau sicrwydd (DTAC, y Fframwaith Safonau Tystiolaeth), mecanweithiau hafan ddiogel fel yr AI Airlock, a'r cyllid a'r canllawiau sy'n llywio mabwysiadu diogel ar draws system ffederal nad ydynt yn ei rheoli'n uniongyrchol. Mae atebolrwydd yn rhedeg i weinidogion, y Senedd a'r cyhoedd, felly mae methiant AI graddedig neu ragfarn amlwg mewn offeryn cenedlaethol yn ddigwyddiad ymddiriedaeth y cyhoedd â chysgod hir. Rôl briodol y llywodraeth yw gwneud y llwybr diogel yr un hawdd — rheolau clir, sicrwydd y gellir ei ailddefnyddio, cyfathrebu cyhoeddus gonest am yr hyn y gall AI ac na all ei wneud — gan wrthsefyll gorchmynion a yrrir gan hype a gwaharddiad atgyrchol fel ei gilydd. Mae cael y cydbwysedd yn anghywir i'r naill gyfeiriad neu'r llall yn costio blynyddoedd o ymddiriedaeth.

Ffyrdd cyffredin o fethu#

• Hepgor dosbarthu rheoleiddiol. Defnyddio AI clinigol fel pe bai'n feddalwedd gyffredin. Osgowch ef drwy benderfynu statws dyfais a marcio cydymffurfedd yn gyntaf, â mewnbwn rheoleiddiol.
• Dallineb cywirdeb pennawd. Derbyn ffigur cyfartalog sy'n cuddio perfformiad gwael i grwpiau a gynrychiolir yn annigonol. Osgowch ef drwy fynnu tystiolaeth is-grŵp cyn mynd yn fyw a monitro am anghydraddoldeb wedyn.
• Dilysu unwaith, anghofio am byth. Trin mynd yn fyw fel diwedd sicrwydd tra bo'r model yn drifftio'n dawel. Osgowch ef drwy sefydlu gwyliadwriaeth ôl-farchnad â throthwyon a rholio'n ôl.
• Goruchwyliaeth ddynol addurniadol. "Person yn y ddolen" sy'n stampio rwber dan ragfarn awtomeiddio. Osgowch ef drwy archwilio cyfraddau diystyru a dylunio awdurdod gwirioneddol i ymyrryd.
• AI cynhyrchiol heb ei lywodraethu. Staff yn gludo data cleifion i LLMau cyhoeddus ac yn ymddiried mewn allbwn ffug. Osgowch ef drwy bolisi clir ynghyd ag offeryn cymeradwy, cynwysedig â gwirio dynol.
• Proses gyfochrog, ysgafn. Gadael i AI osgoi diogelwch clinigol a LlG am ei fod yn "arloesedd". Osgowch ef drwy ymestyn peirianwaith DCB a DPIA presennol i AI.
• Dim rhestr. Neb yn gwybod pa fodelau sy'n fyw, ar ba ddata, a phwy sy'n berchen arnynt. Osgowch ef drwy gynnal cofrestr model.

Model aeddfedrwydd#

Rhestr wirio#

• Penderfynir a dogfennir statws dyfais feddygol a marcio cydymffurfedd MHRA pob offeryn AI.
• Mae AI clinigol wedi pasio DTAC, wedi'i wirio yn erbyn Fframwaith Safonau Tystiolaeth NICE, ac mae ganddo asesiad risg clinigol DCB ac Asesiad Effaith Diogelu Data.
• Gwelwyd perfformiad is-grŵp (oedran, rhyw, ethnigrwydd, amddifadedd) ac mae'n bodloni bar tegwch y cytunwyd arno.
• Mae dilysiad clinigol yn cyfateb i'r lefel risg ac yn ffafrio tystiolaeth ragolygol, leol.
• Dyluniwyd person yn y ddolen ystyrlon, â'r awdurdod a'r wybodaeth i ddiystyru.
• Mae atebolrwydd a enwir am benderfyniadau a lywiwyd gan AI wedi'i ysgrifennu i lawr.
• Mae gwyliadwriaeth ôl-farchnad, trothwyon drifft, a chynllun oedi/rholio'n ôl yn fyw o fynd yn fyw.
• Mae MLOps yn rhoi fersiynu model a rholio'n ôl diogel; mae'r fersiwn fyw bob amser yn hysbys.
• Mae polisi AI cynhyrchiol yn caniatáu defnyddiau realistig, yn gwahardd data cleifion mewn gwasanaethau heb eu rheoli, ac yn gofyn am wirio dynol.
• Mae llywodraethiant gwybodaeth yn cwmpasu data hyfforddi, mireinio a gwerthuso, â therfynau cytundebol ar ailddefnyddio gan y cyflenwr.
• Mae cofrestr model sy'n ddarllenadwy gan bobl yn cofnodi diben, tarddiad, tystiolaeth, monitro a pherchennog.
• Caiff technolegau newydd eu sganio ar y gorwel a'u cyflwyno fesul cam drwy werthusiad rheoledig, gwrthdroadwy.

Prif ffynonellau#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, and the AI Airlock regulatory sandbox (gov.uk).
• NICE — Evidence Standards Framework (ESF) for digital health technologies (nice.org.uk).
• NHS England — Digital Technology Assessment Criteria (DTAC) for baseline assurance of digital health technologies.
• NHS England / former NHSX — A Buyer's Guide to AI in Health and Care, and the AI Ethics Initiative.
• DCB0129 and DCB0160 — clinical risk management standards for health IT (see Pwnc 1.6).
• MHRA / IMDRF — Software as a Medical Device (SaMD) framework and good machine learning practice.
• The King's Fund and the Health Foundation — analysis of AI, data, and inequalities in health and care.
• See also Pwnc 1.3 — Evidence-Driven Decisions; Pwnc 1.6 — Clinical Safety & Risk Management; Pwnc 1.7 — Information Governance, Data Protection & Cyber Security; Pwnc 8.0 — Phasing in Innovation.

Cyfeiriadau#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics