Mada 8.4 — Utawala wa AI na Teknolojia Zinazoibuka

Kwa sentensi moja: Akili bandia katika afya na huduma ni teknolojia inayojifunza, inayotegemea data, na mara nyingi isiyo wazi inayoweza kukuza faida na madhara kwa kasi kuliko mfumo wowote ambao umewahi kuutawala, kwa hiyo lazima uitawale kama suala la usalama wa kitabibu, usawa na uaminifu wa umma katika mzunguko wake mzima wa maisha — si kuichukulia kama programu ya kawaida unayonunua mara moja na kusahau.

Kwa nini hili ni muhimu katika afya na huduma#

Programu nyingi ulizozitumia hutenda kesho kama inavyotenda leo: mantiki yake imeandikwa, tabia yake inaweza kujaribiwa, na inapokuwa na kosa huelekea kuwa na kosa linaloonekana, linalojirudia. Akili bandia inavunja starehe hizi zote tatu. Inajifunza mifumo ya takwimu kutoka data badala ya kufuata kanuni ambazo mtu aliziandika; tabia yake inategemea kabisa data iliyofunzwa nayo na data inayokutana nayo sasa; na hoja yake mara nyingi haiko wazi hata kwa watu waliyoijenga. Mchanganyiko huo ndio sababu AI inahitaji nidhamu yake ya utawala badala ya kuwekwa kwenye orodha hakiki ya kawaida ya programu.

Katika afya na huduma matokeo si ya kidhahania. Kielelezo kinachogundua kidogo ugonjwa kwa kundi lililowakilishwa kidogo katika data yake ya mafunzo hakifanyi kosa la pekee — kinafanya kosa lilelile, kimyakimya, mamia ya maelfu ya mara, kikiimarisha na kupanua ukosefu wa usawa wa afya. Kielelezo cha kuzalisha kinachobuni undani wa kitabibu unaoonekana kuwa wa kweli kinaweza kumpotosha mhudumu wa kitabibu aliyenyooshwa wakati usio sahihi hasa. Zana inayofanya kazi vizuri kwa idadi ya watu ilivyothibitishwa nayo inaweza kuoza kimyakimya idadi ya watu, njia ya huduma, au data ya juu ya mto inapobadilika. AI inaweza kupanua maamuzi mazuri na inaweza kupanua upendeleo, kosa, na madhara kwa ufanisi sawa.

Mada hii inahusu kutawala hatari hiyo bila kupumua msisimko wala kupiga marufuku teknolojia. Haiirudii kwa makusudi misingi iliyowekwa kwingine: usalama wa kitabibu (angalia Mada 1.6 — Usalama wa Kitabibu na Usimamizi wa Hatari), utawala wa taarifa, ulinzi wa data na usalama wa mtandao (angalia Mada 1.7 — Utawala wa Taarifa, Ulinzi wa Data na Usalama wa Mtandao), na kufanya maamuzi kwa msingi wa ushahidi (angalia Mada 1.3 — Maamuzi Yanayoongozwa na Ushahidi). Inajifunga kwayo, na kuongeza kinachohusu mifumo inayojifunza. Ichukulie kama upanuzi wenye umbo la AI wa uhakikisho wako uliopo, na kama ndugu aliyetawaliwa wa kuingiza ubunifu kwa awamu (angalia Mada 8.0 — Kuingiza Ubunifu kwa Awamu).

Dhana kuu#

Akili bandia na kujifunza kwa mashine. Kwa kiongozi, tofauti ya vitendo ni hii: AI nyingi katika afya na huduma leo ni kujifunza kwa mashine — mifumo inayokisia mifumo kutoka mifano badala ya kutekeleza kanuni zilizoandikwa kwa mkono. Ndiyo maana data ni bidhaa kama msimbo: badilisha data ya mafunzo na unabadilisha tabia. Pia inamaanisha kielelezo hakijui chochote; kinakadiria, na kinaweza kukosea kwa kujiamini. Kuelewa hili kwa kiwango cha dhana kunatosha kuuliza maswali sahihi ya utawala; huhitaji kusoma hisabati.

Programu kama Kifaa cha Kitabibu (SaMD) na MHRA. Programu inapokuwa na madhumuni ya kitabibu — kugundua, kuchunguza, kupanga kipaumbele, kukokotoa dozi, kutabiri kuzorota — mara nyingi ni kifaa cha kitabibu kisheria, bila kujali kinaendeshwa kwenye simu au seva. Programu ya kitabibu ya aina hii, inayojulikana kama Software as a Medical Device (SaMD), inadhibitiwa Uingereza na Medicines and Healthcare products Regulatory Agency (MHRA). Ikiwa unaagiza au unajenga zana ya AI yenye madhumuni ya kitabibu, swali la kwanza la utawala ni kama ni kifaa kinachodhibitiwa na, ikiwa ndivyo, kama kina alama halali ya kufuata. Kukosea hili si undani wa kiufundi; kutumia kifaa cha kitabibu ambacho hakijasajiliwa ni kinyume cha sheria na si salama.

AI Airlock. MHRA imeanzisha mchanga wa udhibiti unaoitwa AI Airlock kufanyia kazi jinsi AI kama kifaa cha kitabibu inavyopaswa kudhibitiwa katika mazingira yanayodhibitiwa, yanayofuatiliwa. Mchanga wa udhibiti unamruhusu mdhibiti na idadi ndogo ya wasanidi kuchunguza maswali magumu, mapya — kwa mfano jinsi ya kuthibitisha kielelezo kinachojisasisha kwa muda — chini ya usimamizi, kabla kanuni za jumla hazijawekwa. Kuwa na uzito kuhusu hii ni nini: Airlock ni mazingira ya kujifunza kwa mdhibiti na washiriki wachache, si njia ya kuidhinisha kwa haraka, na kuhusishwa nayo hakumaanishi bidhaa imeidhinishwa kwa matumizi ya jumla ya kitabibu.

Upendeleo wa algorithimu na haki. Upendeleo wa algorithimu ni mwelekeo wa mfumo kuzalisha matokeo yasiyo ya haki kimfumo kwa makundi fulani. Katika afya na huduma chanzo chake cha kawaida zaidi ni data ya mafunzo: kundi likiwakilishwa kidogo, likiwekewa lebo vibaya, au likipimwa kwa chombo chenye upendeleo, kielelezo hujifunza kuhudumia kundi hilo vibaya zaidi. Kwa sababu kielelezo kisha hutumia hili kwa ukubwa na kwa mwonekano wa lengo, AI yenye upendeleo inaweza kupanua hasa ukosefu wa usawa ambao shirika lako linalazimishwa kisheria kupunguza.

Uwezekano wa kueleza na "sanduku jeusi". Akili bandia inayoweza kuelezeka inahusu kama binadamu anaweza kuelewa kwa nini kielelezo kilizalisha matokeo fulani. Vielelezo vingi vya utendaji wa juu kwa kweli ni "masanduku meusi": sahihi kwa jumla lakini visivyoweza kumpa mhudumu wa kitabibu sababu ya kuaminika kwa uamuzi wa mtu mmoja. Katika mazingira ya kitabibu hili ni muhimu kwa uwajibikaji, ridhaa ya taarifa, na wajibu wa mhudumu wa kitabibu wa kutumia busara — daktari hawezi kuchukua wajibu kwa maana kwa ushauri asioweza kuuhoji.

Kuteleza kwa kielelezo na ufuatiliaji baada ya soko. Usahihi wa kielelezo si thabiti. Kuteleza kwa dhana (Concept drift) — badiliko kwa muda katika uhusiano kati ya pembejeo na kitu kinachotabiriwa — kunamaanisha kielelezo kilichothibitishwa mwaka jana kinaweza kuoza kimyakimya mwaka huu idadi ya watu, njia, au data ya juu ya mto inapobadilika. Ndiyo maana AI inahitaji ufuatiliaji baada ya soko na ukaguzi endelevu, si uthibitisho wa mara moja wakati wa kuanza kutumika.

MLOps na mzunguko wa maisha wa kielelezo. MLOps ni nidhamu ya kiuendeshaji ya kutumia, kufuatilia, kuweka matoleo, na kufunza upya vielelezo kwa uhakika katika uzalishaji. Ni mashine inayofanya utawala wa mzunguko wa maisha kuwa halisi: kujua toleo gani la kielelezo liko hai, kwenye data ipi, kwa utendaji gani, na kuweza kurudi nyuma.

Binadamu kwenye mzunguko (Human-in-the-loop). Muundo wa binadamu kwenye mzunguko huweka mtu — kwa kawaida mhudumu wa kitabibu — ndani ya uamuzi kwa maana, mwenye mamlaka na taarifa za kubatilisha kielelezo. Ukifanywa vizuri huhifadhi uwajibikaji; ukifanywa kama muhuri hutoa udanganyifu wa usimamizi tu.

AI ya kuzalisha na vielelezo vikubwa vya lugha. Akili bandia ya kuzalisha, ikijumuisha vielelezo vikubwa vya lugha (LLM), huzalisha maandishi fasaha na maudhui mengine. Thamani yake ya kweli ya karibu katika afya na huduma kwa kiasi kikubwa ni ya kiutawala — kuandaa nyaraka, kufupisha, kurahisisha makaratasi. Hatari yake inayofafanua ni kuota (hallucination): uzalishaji wa kujiamini wa maudhui ya uongo lakini yanayoonekana kuwa ya kweli, ukizidishwa na hatari za usiri pale data ya mgonjwa inapoingizwa kwenye huduma za upande wa tatu.

Tiba za kidijitali na programu za afya. Tiba za kidijitali (DTx) ni uingiliaji unaoendeshwa na programu, wenye msingi wa ushahidi unaozuia, kusimamia, au kutibu hali — tofauti na programu za jumla za ustawi hasa kwa sababu zinatoa dai la kitabibu, jambo linalomaanisha nyingi ni Software as a Medical Device na zinadai ushahidi na uhakikisho sawa na uingiliaji mwingine wowote unaoagiza au kupendekeza.

Mazoea bora#

1. Ainisha zana kabla ya kufanya kitu kingine chochote. Thibitisha, kwa maandishi na kwa mchango wa kitabibu na wa udhibiti, kama AI ina madhumuni ya kitabibu na kwa hiyo ni kifaa cha kitabibu kinachodhibitiwa, na kama kina alama halali ya kufuata ya MHRA. Uamuzi huu mmoja unatawala kila kitu kinachofuata — njia ya uhakikisho, dhima, uhalali wa kutumia. Pale una shaka, tafuta ushauri wa udhibiti badala ya kudhani zana ya kiutawala iko nje ya wigo.

2. Pitisha AI kupitia mashine yako iliyopo ya usalama wa kitabibu na IG, iliyopanuliwa si kuzungukwa. Kila utumiaji wa AI ya kitabibu unahitaji usimamizi wa hatari za kitabibu wa DCB0129/DCB0160 (angalia Mada 1.6) na Tathmini ya Athari ya Ulinzi wa Data chini ya mfumo wako wa utawala wa taarifa (angalia Mada 1.7). Usiruhusu mpya au shauku ya msambazaji kuunda mchakato sambamba, mwepesi. Hatari mahususi za AI — upendeleo, kuteleza, kutokuwa wazi, upendeleo wa kiotomatiki — zinapaswa kuongezwa kwenye rejista ya hatari, si kuchukua nafasi yake.

3. Hoji data ya mafunzo kwa uwakilishi na upendeleo. Uliza nani yuko kwenye data na nani anakosekana, matokeo yaliwekewa lebo vipi, na kama vyombo vya kupimia vyenyewe vilikuwa na upendeleo kuvuka makundi. Mtake msambazaji aripoti utendaji uliogawanywa kwa makundi madogo husika — umri, jinsia, kabila, umaskini — si usahihi wa kichwa cha habari tu. Zana isiyoweza kuonyesha utendaji wenye usawa ni hatari ya ukosefu wa usawa wa afya wastani wake ukiwa wa kuvutia kiasi gani.

4. Dai uthibitisho wa kitabibu unaofaa hatari, na upendelee ushahidi wa mbele. Usahihi wa kurudi nyuma kwenye data iliyoratibiwa ni aina dhaifu zaidi ya ushahidi. Kwa chochote kinachoathiri maamuzi ya kitabibu, tafuta uthibitisho katika idadi ya watu na mtiririko wa kazi unaofanana na wako, ikiwezekana wa mbele, na elekeza dai kupitia mfumo unaofaa wa uhakikisho — NICE Evidence Standards Framework kwa teknolojia za afya ya kidijitali na Digital Technology Assessment Criteria (DTAC) kama uhakikisho wa msingi. Linganisha nguvu ya ushahidi na ukubwa wa madhara yanayowezekana.

5. Sisitiza binadamu wa maana kwenye mzunguko na uwajibikaji wazi. Fafanua nani anawajibika kwa uamuzi ambao AI ilifahamisha, na hakikisha binadamu ana mamlaka ya kubatilisha na taarifa za kufanya hivyo. Jilinde kikamilifu dhidi ya upendeleo wa kiotomatiki — mwelekeo wa kuiheshimu mashine — kupitia mafunzo, usanifu wa kiolesura, na ukaguzi wa viwango vya kubatilisha. Ikiwa kubatilisha hakutokei kamwe, "binadamu wako kwenye mzunguko" ni mapambo.

6. Chukulia kuanza kutumika kama mwanzo wa ufuatiliaji, si mwisho wa uhakikisho. Anzisha ufuatiliaji baada ya soko tangu siku ya kwanza: fuatilia utendaji wa ulimwengu halisi, tazama kuteleza kwa dhana, na ufafanue vizingiti na mchakato wa kufunza upya, kusitisha, au kuondoa kielelezo. Anzisha matoleo ya kielelezo na kurudi nyuma kupitia MLOps imara ili kila mara ujue kipi kiko hai na uweze kurudi kwa usalama. Kielelezo kisichokaguliwa tena ni udhibiti wa usalama unaoshindwa polepole.

7. Tawala AI ya kuzalisha kwa matumizi yake ya kweli na dhidi ya hatari zake halisi. Ruhusu LLM pale thamani ni ya kweli na hatari imedhibitiwa — kuandaa nyaraka za kiutawala, kufupisha, msaada wa nyaraka kwa mapitio ya binadamu — na ukatae kuingizwa bila usimamizi kwa data inayotambulisha mgonjwa kwenye huduma za upande wa tatu. Dhani matokeo yoyote ya kuzalisha yanaweza kuwa ya kubuni hadi binadamu ayathibitishe, na kamwe usiruhusu maudhui ya kuzalisha yasiyothibitishwa kuingia kwenye rekodi ya kitabibu. Sera wazi, inayotekelezwa inashinda marufuku ya jumla inayosukuma matumizi ya kivuli na uhuru wa kila mtu unaovujisha data.

8. Tumia utawala wa taarifa kwa mzunguko mzima wa data, ikijumuisha mafunzo. Data inayotumika kufunza, kurekebisha, na kutathmini kielelezo iko chini ya wajibu uleule wa msingi halali, kupunguza, na uwazi kama matumizi mengine yoyote (angalia Mada 1.7). Kuwa wazi kuhusu msingi wa kufunza kwa data ya mgonjwa, kama imeondolewa utambulisho ipasavyo, na msambazaji anaweza kufanya nini nayo. Mikataba inapaswa kukataza kutumia tena data yako kufunza bidhaa za wengine bila msingi halali na makubaliano yako.

9. Weka rejista ya kielelezo inayosomeka na binadamu na udai uwazi kutoka wasambazaji. Dumisha orodha ya AI inayotumika: madhumuni, hali ya udhibiti, asili ya data ya mafunzo, ushahidi wa uthibitisho, mpango wa ufuatiliaji, na mmiliki anayewajibika. Wahitaji wasambazaji kuwa wazi kuhusu jinsi kielelezo kinavyofanya kazi, mipaka yake, na njia zake za kushindwa; kutokuwa wazi kwa muuzaji yenyewe ni ishara ya hatari. Huwezi kutawala usichokiandika.

10. Skani upeo wa macho kwa makusudi na uingize kwa awamu kupitia tathmini inayodhibitiwa. Zaidi ya AI ya leo, tazama teknolojia zinazoibuka — nyaraka za mazingira, vielelezo vya msingi, na mbali zaidi, quantum na kuhisi kwa mpya — kwa kuskani upeo wa macho kwa muundo badala ya ununuzi wa kuitikia. Ingiza chochote kipya kweli kupitia mbinu inayodhibitiwa, inayoweza kutenduliwa, iliyotathminiwa ya kuingiza ubunifu kwa awamu (angalia Mada 8.0), ukianza kidogo, ukipima kwa uaminifu, na kubakiza uwezo wa kusimamisha.

11. Chukulia tiba za kidijitali na programu za afya kama uingiliaji, si upakuaji wa watumiaji. Programu inapotoa dai la kitabibu — kutibu, kusimamia, au kuzuia hali — ni uingiliaji ambao wagonjwa watatenda juu yake, na inastahili uchunguzi sawa na dawa au kifaa kabla hujaiagiza au kuipendekeza. Thibitisha kama ni Software as a Medical Device yenye alama halali ya kufuata, dai ushahidi sawia na dai lake, na ukamilishe tathmini ya usalama wa kitabibu (angalia Mada 1.6) badala ya kuamini ukadiriaji wa duka la programu au shauku ya msambazaji. Programu isiyo na uhakikisho ambayo mhudumu wa kitabibu anaidhinisha hubeba jina la shirika lako na uwajibikaji wako ikidhuru.

12. Pitisha programu za afya kupitia uhakikisho uliopo na uweke maktaba iliyoratibiwa, salama. Tathmini tiba za kidijitali kupitia mashine ileile ambayo tayari unaiendesha — DTAC kama msingi, NICE Evidence Standards Framework iliyolinganishwa na dai la kitabibu, na mapitio ya usalama wa kitabibu na IG — na ujenge ushahidi wa tathmini ya ulimwengu halisi kwa muda (angalia Mada 8.6). Dumisha maktaba iliyoratibiwa ya programu ulizozihakikisha na kusimama nyuma yake, hali ya udhibiti ya kila programu, ushahidi, na mmiliki vikirekodiwa, ili wahudumu wa kitabibu wapendekeze kutoka orodha fupi salama, iliyotawaliwa. Mbadala — mtawanyiko usiodhibitiwa wa programu zisizotathminiwa zinazopendekezwa kwa njia isiyo rasmi kuvuka timu — hausimamiki na si salama.

Maswali ya kujadili na timu yako#

1. Kwa kila zana ya AI tunayoizingatia au tayari tunayoitumia, je, tunajua kweli kama ni kifaa cha kitabibu kinachodhibitiwa — na tunaweza kutoa ushahidi? Hili linasikika kama utaratibu wa uzingatiaji lakini ndilo swali linalobeba mzigo, kwa sababu jibu linaamua kinachoruhusiwa kisheria, nani anabeba dhima, na uhakikisho gani unaodaiwa kwa umma. Ni rahisi kudhani zana ambayo "inasaidia tu kupanga kipaumbele" au "inafupisha tu maelezo" ni programu isiyodhuru ya kiutawala wakati madhumuni yake ya kitabibu kwa kweli yanaifanya kifaa kinachodhibitiwa kinachohitaji alama ya kufuata ya MHRA. Mjadala unapaswa kukulazimisha kutaja kila zana ya AI inayotumika au iliyo kwenye bomba, kueleza madhumuni yake yaliyokusudiwa kwa lugha rahisi ya kitabibu, na kubaini nani alifanya uamuzi wa uainishaji wa kifaa na kwa msingi gani. Unapaswa kufichua kesi zisizofurahisha ambapo zana ilinunuliwa kupitia njia ya kawaida ya IT bila ukaguzi wowote wa udhibiti. Kuwa mwaminifu kama unaweza, leo, kutoa nyaraka za kufuata na ushahidi wa uthibitisho mdhibiti au mpimaji wa vifo akiuliza. Thamani ya mazungumzo ni kwamba yanabadilisha hisia isiyo wazi kwamba "mtu lazima alikagua" kuwa msimamo ulioandikwa, unaomilikiwa — na kufichua zana ambazo hakuna aliyekagua.

2. Je, tumedai kuona jinsi kielelezo hiki kinavyofanya kazi kwa makundi yenye uwezekano mkubwa wa kudhurika, au tumekubali nambari ya usahihi ya kichwa cha habari? Usahihi wa wastani ndio nambari ambayo wasambazaji huongoza nayo na nambari inayoficha upendeleo wa algorithimu, kwa sababu kielelezo kinaweza kuwa sahihi sana kwa jumla huku kikifanya kazi vibaya zaidi kwa kundi lisilowakilishwa vizuri. Katika afya na huduma hiyo si udadisi wa kitakwimu; ni utaratibu wa kupanua ukosefu wa usawa ambao uko kisheria na kimaadili kupunguza, unaotumika kimyakimya na kwa ukubwa. Timu inapaswa kujadili ushahidi gani wa makundi madogo mmeuona — utendaji uliogawanywa kwa umri, jinsia, kabila, na umaskini — na kama mnajua nani alikuwa kwenye data ya mafunzo na nani alikosekana. Inafaa kutaja usumbufu hapa: kumbana msambazaji kuhusu haki kunaweza kuhisi kama kuzuia ubunifu wa kusisimua, na swali la uaminifu ni kama mko tayari kusema hapana kwa zana isiyoweza kuonyesha utendaji wenye usawa. Fikiria pia mngegunduaje matokeo yasiyo na usawa baada ya kutumia, kwa sababu upendeleo ambao haukuonekana wakati wa ununuzi hautaonekana katika uzalishaji isipokuwa mnafuatilia. Mjadala mzuri unaishia na kiwango madhubuti cha ushahidi wa haki kinachotumika kabla ya AI yoyote ya kitabibu kuanza kutumika, na mpango wa kuendelea kutazama baadaye.

3. Kielelezo hiki kinapokosea — na kitakosea — nani anawajibika, je, binadamu atakamata kweli, na tutajuaje hata? Kila kielelezo hushindwa wakati mwingine, na mifumo inayojifunza inaweza kuteleza hadi kushindwa mara nyingi zaidi kwa muda, kwa hiyo swali lililokomaa si kama makosa yanatokea bali kama kinga zenu ni halisi. Timu inapaswa kujaribu kama binadamu kwenye mzunguko ni wa maana au wa mapambo: je, mhudumu wa kitabibu ana mamlaka na taarifa za kubatilisha, na mngeangalia viwango vya kubatilisha, mngepata kwamba huwahi kubatilisha, au upendeleo wa kiotomatiki umeingia? Jadili nani anatajwa kuwajibika kwa uamuzi ambao AI ilifahamisha — mhudumu wa kitabibu, shirika, msambazaji — kwa sababu "algorithimu ilifanya" si msimamo unaoweza kutetewa kwa mgonjwa au mpimaji wa vifo. Kabiliana na ufuatiliaji wenu kwa uaminifu: je, mna ufuatiliaji baada ya soko ungegundua kuteleza kwa dhana, vizingiti vilivyofafanuliwa vya kusitisha au kuondoa kielelezo, na mitambo ya MLOps ya kujua toleo gani liko hai na kuliondoa? Kwa zana za kuzalisha, ongeza swali la kuota — nini kinazuia maudhui ya kubuni kuingia kwenye rekodi ya kitabibu, na nani anathibitisha matokeo kabla hayajaaminiwa? Toleo lenye manufaa zaidi la mazungumzo haya hufichua pengo kati ya mchoro wa kutuliza wa "usimamizi wa binadamu" na kinachoweza kutokea kweli saa tisa usiku kwenye wodi yenye shughuli.

4. Nini kinatokea kwa data ya wagonjwa wetu tunapofunza, kurekebisha, na kuendesha vielelezo hivi — na msambazaji amehifadhi haki ya kufanya nini nayo? AI hukusanya hatari ya utawala wa data hasa kwa sababu data ni bidhaa: kielelezo kinaaminika tu kama msingi halali, kupunguza, na uwazi nyuma ya kila mkusanyiko wa data kilichoguswa, ikijumuisha data ya mafunzo na tathmini iliyotangulia kuanza kutumika. Timu inapaswa kuweza kueleza, kwa kila zana, msingi halali wa matumizi yoyote ya data ya mgonjwa, kama kuondoa utambulisho kunatosha badala ya kudaiwa tu, na data inapita wapi kimwili ikishaondoka udhibiti wenu. Mtego unaojirudia ni mkataba unaomruhusu kimyakimya msambazaji kutumia tena data yenu kuboresha bidhaa atakazouza kwa wengine; jadili kama mikataba yenu inakataza hilo bila msingi halali na ridhaa yenu ya wazi, na kama yeyote amesoma vifungu hivyo kweli. Hii inaunganishwa moja kwa moja na mfumo wenu wa utawala wa taarifa (angalia Mada 1.7), na ndipo shauku kwa zana yenye uwezo mara nyingi inapozidi bidii ya uchunguzi. Jibu la uaminifu hutaja nani anamiliki DPIA, msambazaji anaweza na hawezi kufanya nini, na mnapo wazi sasa — badala ya kudhani kwa sababu onyesho lilivutia nyaraka lazima ziwe sawa.

5. Tunaamuaje nini KUTOKUKUBALI, na tunaweza kupinga shinikizo la kununua kitu ambacho kila mtu anasisimka nacho? Nidhamu ngumu zaidi ya utawala kwa teknolojia inayosonga haraka ni kusema "bado" au "si hii", na timu isiyoweza kueleza vigezo vyake vya kukataa itaishia kukubali kwa kuteleza na msisimko badala ya ushahidi. Jadili ni nini kingekufanya uondoke kutoka zana inayovutia vinginevyo — ushahidi dhaifu wa makundi madogo, hali isiyo wazi ya udhibiti, kesi ya matumizi ambapo faida halisi ni nyembamba ikilinganishwa na hatari — na kama mistari hiyo myekundu imeandikwa au inahisiwa tu. Kuna mvutano wa kweli hapa kati ya gharama ya kukosa uboreshaji wa kweli na gharama ya kushindwa kwa ukubwa kunakoharibu uaminifu wa umma, na watu wenye busara wataupima tofauti. Inafaa kutaja uhalisia wa kisiasa kwamba shinikizo la kukubali mara nyingi hutoka kwa bodi, uhusiano wa msambazaji, au agizo la kitaifa, si kutoka hitaji la kitabibu lenyewe. Msimamo wa mada ni kuskani upeo wa macho kwa makusudi na kuingiza kwa awamu kupitia tathmini inayodhibitiwa, inayoweza kutenduliwa (angalia Mada 8.0), kwa hiyo jibu la uaminifu linaeleza jinsi zana yenye matumaini lakini isiyothibitishwa inaingia kama jaribio dogo, lililopimwa, linaloweza kusimamishwa badala ya usambazaji wa jumla — na nani ana mamlaka ya kulisimamisha.

6. Je, tunaweza kueleza kielelezo hiki kinafanya nini kwa wahudumu wa kitabibu wanaopaswa kukiamini na wagonjwa walioathirika nacho — na tumekuwa waaminifu kuhusu mipaka yake? Kielelezo ambacho mhudumu wa kitabibu hawezi kukihoji na mgonjwa hawezi kukielewa kinamomonyoa busara ya taarifa na ridhaa ya taarifa ambayo huduma ya kitabibu inategemea, ni sahihi kwa kiasi gani kwa jumla. Timu inapaswa kujadili ni kiasi gani cha uwezekano wa kueleza matumizi haya mahususi yanahitaji kweli: msaada wa kupanga foleni unadai kidogo kuliko zana inayoathiri utambuzi au uamuzi wa matibabu, na kulinganisha maelezo na dau ni uchaguzi wa utawala, si wazo la kiufundi la baadaye. Fikiria mnawaambia nini wahudumu wa kitabibu wanaotarajiwa kuitumia — madhumuni yake, njia zake zinazojulikana za kushindwa, makundi ambayo ni ya kutegemewa kidogo — na kama muhtasari huo ni wa wazi au muhtasari wa uuzaji. Uaminifu unaomkabili mgonjwa pia ni muhimu: je, watu wanaambiwa AI inapohusika katika huduma yao, kwa lugha wanayoweza kuitendea kazi? Hili pia ni swali la nguvukazi, kwa sababu uaminifu mdogo mno unamaanisha zana yenye manufaa inapuuzwa huku uaminifu mkubwa mno unazalisha upendeleo wa kiotomatiki unaotoboa usimamizi. Jibu la uaminifu linakabili kama mafunzo na mawasiliano yenu yanajenga uaminifu uliolinganishwa au yanauza zana tu.

Kwa vitendo: mfano wa afya na huduma#

Mfumo jumuishi wa huduma unapewa zana ya AI inayosoma X-ray za kifua na kuweka alama upungufu unaowezekana ili kupa kipaumbele foleni ya kuripoti ya radiolojia. Afisa wa usalama wa kitabibu na mkurugenzi wa matibabu wanapinga shinikizo la kuinunua haraka na badala yake wanaipitisha kwenye utawala sahihi.

Kwanza, uainishaji: zana ina madhumuni wazi ya kitabibu, kwa hiyo inathibitishwa kuwa Software as a Medical Device, na alama yake ya kufuata ya MHRA na taarifa ya matumizi yaliyokusudiwa vinakaguliwa — matumizi yaliyokusudiwa ni msaada wa kupanga kipaumbele, si utambuzi unaojitegemea, jambo linaloumba kila kitu kinachofuata. Kisha, uhakikisho: zana inapitishwa kupitia DTAC kama msingi, madai yake ya kitabibu yanakaguliwa dhidi ya NICE Evidence Standards Framework, tathmini ya hatari ya kitabibu ya DCB0160 inakamilishwa, na DPIA inafunika data ya picha (angalia Mada 1.6 na 1.7). Timu inaomba utendaji wa makundi madogo na kugundua idadi ya watu ya uthibitisho ilikuwa na uwakilishi mdogo wa kundi la kidemografia la mahali; inahitaji uthibitisho wa ziada wa mahali kabla ya kuendelea, ikichukulia upendeleo unaowezekana kama hatari ya ukosefu wa usawa wa afya badala ya tanbihi.

Wakati wa kutumia, muundo unaweka binadamu kwenye mzunguko: kila picha bado inaripotiwa na radiologist, na AI inapanga upya foleni tu, kwa hiyo alama iliyokosekana haiwezi yenyewe kusababisha utambuzi uliokosekana. Ufuatiliaji baada ya soko unaanzishwa tangu siku ya kwanza — kufuatilia viwango vya kugundua, kutokubaliana kati ya kielelezo na radiologists wanaoripoti, na kuteleza yoyote vifaa vya skana na mchanganyiko wa kesi vinapobadilika — kukiwa na vizingiti vilivyokubaliwa mapema vya kusitisha zana na njia ya kurudi nyuma kupitia utumiaji wenye matoleo wa msambazaji. Tofauti, wodi inapoomba kubandika historia za wagonjwa kwenye LLM ya umma kuandaa muhtasari wa kuruhusiwa kutoka, jukwaa lilelile la utawala linasema hapana kwa njia hiyo isiyosimamiwa na kuagiza zana iliyoidhinishwa, iliyomo yenye uthibitisho wa binadamu badala yake. Mwaka mmoja baadaye, zana ya kupanga kipaumbele ya foleni imeboresha wastani muda wa kuripoti, ufuatiliaji wake umenasa kipindi kimoja cha kuteleza baada ya sasisho la skana, na — muhimu — shirika linaweza kuonyesha hasa jinsi linavyotawaliwa.

Mitazamo ya sekta#

Kampuni changa#

Kampuni changa ya afya ya kidijitali mara nyingi ndiyo AI, kwa hiyo ukomavu wake wa utawala ndio upatikanaji wake wa soko. Waanzilishi wanapaswa kuchukulia uainishaji wa udhibiti, uthibitisho wa kitabibu, na ushahidi wa upendeleo kama kazi ya msingi ya bidhaa, si kodi ya uzingatiaji iliyoambatishwa kabla ya mauzo, kwa sababu afisa wa usalama wa kitabibu wa mnunuzi ataomba hasa haya na "hapana" inamaliza mkataba. Kushirikisha MHRA mapema — pengine kupitia taratibu kama AI Airlock kwa maswali mapya kweli — na kubuni kwa DTAC na NICE Evidence Standards Framework tangu mwanzo hugeuza uhakikisho kuwa faida ya ushindani. Hatari ya kawaida ya kampuni changa ni kudai kupita kiasi: uuzaji unaozidi ushahidi, au onyesho la usahihi wa wastani linaloficha utendaji duni wa makundi madogo. Mwanzilishi mwenye nidhamu hujenga ufuatiliaji na ufuatiliaji baada ya soko ndani ya bidhaa mapema, kwa sababu kushindwa moja kwa ukubwa katika eneo la marejeo ni tukio la kuwepo kwa kampuni ndogo.

Biashara ndogo#

Mtoa huduma mdogo aliyeimarika — zahanati ya GP, duka la dawa la jamii, nyumba ya wazee, kliniki ya eneo moja — kwa kawaida ni mnunuzi wa AI badala ya mjenzi, hata hivyo hubeba wajibu uleule kama hospitali kubwa bila wafanyakazi maalumu wa usalama wa kitabibu, IG, au informatiki wa kuutekeleza. Hatari ya vitendo ni kukubali zana kwa uhakikisho wa msambazaji kwa sababu hakuna uwezo wa ndani wa kudai uainishaji wa kifaa, ushahidi wa makundi madogo, au DPIA, na hakuna wa kutambua kielelezo kinapoteleza. Tegemea sana uhakikisho ambao wengine wameufanya tayari: pendelea zana zinazoshikilia wazi alama ya kufuata ya MHRA na kupitisha DTAC, nunua kutoka kwa wasambazaji wanaochapisha ushahidi wao, na pendekeza programu za afya kutoka maktaba iliyoratibiwa tu ambayo ICS yako au chombo cha kitaifa kimehakikisha badala ya kutathmini kila moja mwenyewe. Pale huwezi kuthibitisha binafsi usalama wa zana, hiyo ni sababu ya kutegemea uhakikisho wa pamoja wa mfumo wako, si kuruka ukaguzi. Kuweka hata rejista nyepesi ya zana za AI unazotumia, kwa nini, na nani anazimiliki hugeuza wajibu usiosimamika kuwa sawia.

Biashara kubwa#

Hospitali kubwa au ICS ina vifaa vya kutawala AI ipasavyo na ukubwa unaofanya kukosea kuwa kwa uzito. Kazi yake ni kupanua kazi zilizopo za usalama wa kitabibu, IG, na uhakikisho ili zifunike AI — rejista ya vielelezo, viwango vya haki vya makundi madogo, ufuatiliaji baada ya soko, MLOps kwa matoleo na kurudi nyuma — badala ya kuiacha AI ifike kupitia njia zisizochunguzwa za IT au utafiti. Hatari halisi ya biashara kubwa ni mgawanyiko: dazeni za majaribio, majaribio ya waandishi wa mazingira, na majaribio ya LLM ya idara yakienea bila orodha ya kati, bila DPIA thabiti, na bila yeyote anayewajibika zana inapoteleza. Uchovu wa mabadiliko na shinikizo la msambazaji vinasukuma kuelekea kukubali haraka, kwa hiyo uongozi lazima ushikilie mstari kwamba mpya haipati mchakato mwepesi. Ikifanywa vizuri, biashara kubwa pia inaweza kuzalisha ushahidi wa uthibitisho wa mbele, wa mahali ambao wachezaji wadogo hawawezi, na kuushiriki kuvuka mfumo.

Serikali#

Vyombo vya serikali ya kitaifa na ya mahali — MHRA, NHS England, DHSC, NICE, utawala uliogatuliwa, na mamlaka za mahali — huweka hali ambazo kila mtu mwingine hutumia AI chini yake. Vyombo vyake ni udhibiti, viwango, mifumo ya uhakikisho (DTAC, Evidence Standards Framework), taratibu za bandari salama kama AI Airlock, na ufadhili na mwongozo unaoelekeza kukubali salama kuvuka mfumo wa shirikisho ambao haisimamii mstari moja kwa moja. Uwajibikaji unaelekea kwa mawaziri, Bunge, na umma, kwa hiyo kushindwa kwa AI kwa ukubwa au upendeleo unaoonekana katika zana ya kitaifa ni tukio la uaminifu wa umma lenye kivuli kirefu. Jukumu sahihi la serikali ni kufanya njia salama kuwa njia rahisi — kanuni wazi, uhakikisho unaoweza kutumika tena, mawasiliano ya umma ya uaminifu kuhusu AI inaweza na haiwezi kufanya nini — huku ikipinga maagizo yanayoendeshwa na msisimko na marufuku ya silika. Kukosea usawa katika mwelekeo wowote kunagharimu miaka ya uaminifu.

Njia za kawaida za kushindwa#

• Kuruka uainishaji wa udhibiti. Kutumia AI ya kitabibu kana kwamba ni programu ya kawaida. Ikwepe kwa kuamua hali ya kifaa na alama ya kufuata kwanza, kwa mchango wa udhibiti.
• Upofu wa usahihi wa kichwa cha habari. Kukubali nambari ya wastani inayoficha utendaji duni kwa makundi yasiyowakilishwa vizuri. Ikwepe kwa kudai ushahidi wa makundi madogo kabla ya kuanza kutumika na kufuatilia ukosefu wa usawa baadaye.
• Thibitisha mara moja, sahau milele. Kuchukulia kuanza kutumika kama mwisho wa uhakikisho huku kielelezo kikiteleza kimyakimya. Ikwepe kwa kuanzisha ufuatiliaji baada ya soko wenye vizingiti na kurudi nyuma.
• Usimamizi wa binadamu wa mapambo. "Binadamu kwenye mzunguko" anayeweka muhuri chini ya upendeleo wa kiotomatiki. Ikwepe kwa kukagua viwango vya kubatilisha na kubuni mamlaka halisi ya kuingilia kati.
• AI ya kuzalisha isiyotawaliwa. Wafanyakazi wakibandika data ya mgonjwa kwenye LLM za umma na kuamini matokeo ya kubuni. Ikwepe kwa sera wazi pamoja na zana iliyoidhinishwa, iliyomo yenye uthibitisho wa binadamu.
• Mchakato sambamba mwepesi. Kuiruhusu AI kuzunguka usalama wa kitabibu na IG kwa sababu ni "ubunifu". Ikwepe kwa kupanua mashine iliyopo ya DCB na DPIA kwa AI.
• Hakuna orodha. Hakuna anayejua vielelezo vipi viko hai, kwenye data ipi, vinamilikiwa na nani. Ikwepe kwa kudumisha rejista ya vielelezo.

Kielelezo cha ukomavu#

Orodha hakiki#

• Hali ya kifaa cha kitabibu na alama ya kufuata ya MHRA ya kila zana ya AI imeamuliwa na kuandikwa.
• AI ya kitabibu imepita DTAC, imekaguliwa dhidi ya NICE Evidence Standards Framework, na ina tathmini ya hatari ya kitabibu ya DCB na DPIA.
• Utendaji wa makundi madogo (umri, jinsia, kabila, umaskini) umeonekana na unakidhi kiwango cha haki kilichokubaliwa.
• Uthibitisho wa kitabibu unalingana na kiwango cha hatari na unapendelea ushahidi wa mbele, wa mahali.
• Binadamu wa maana kwenye mzunguko amebuniwa, mwenye mamlaka na taarifa za kubatilisha.
• Uwajibikaji uliotajwa kwa maamuzi yaliyofahamishwa na AI umeandikwa.
• Ufuatiliaji baada ya soko, vizingiti vya kuteleza, na mpango wa kusitisha/kurudi nyuma viko hai tangu kuanza kutumika.
• MLOps inatoa matoleo ya kielelezo na kurudi nyuma salama; toleo hai linajulikana daima.
• Sera ya AI ya kuzalisha inaruhusu matumizi ya kweli, inakataza data ya mgonjwa katika huduma zisizosimamiwa, na inahitaji uthibitisho wa binadamu.
• Utawala wa taarifa unafunika data ya mafunzo, kurekebisha, na tathmini, kukiwa na mipaka ya kimkataba juu ya kutumia tena kwa msambazaji.
• Rejista ya kielelezo inayosomeka na binadamu inarekodi madhumuni, asili, ushahidi, ufuatiliaji, na mmiliki.
• Teknolojia zinazoibuka zinaskaniwa upeo wa macho na kuingizwa kwa awamu kupitia tathmini inayodhibitiwa, inayoweza kutenduliwa.

Vyanzo muhimu#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, na mchanga wa udhibiti wa AI Airlock (gov.uk).
• NICE — Evidence Standards Framework (ESF) kwa teknolojia za afya ya kidijitali (nice.org.uk).
• NHS England — Digital Technology Assessment Criteria (DTAC) kwa uhakikisho wa msingi wa teknolojia za afya ya kidijitali.
• NHS England / zamani NHSX — A Buyer's Guide to AI in Health and Care, na AI Ethics Initiative.
• DCB0129 na DCB0160 — viwango vya usimamizi wa hatari za kitabibu kwa TEHAMA ya afya (angalia Mada 1.6).
• MHRA / IMDRF — mfumo wa Software as a Medical Device (SaMD) na mazoezi mazuri ya kujifunza kwa mashine.
• The King's Fund na Health Foundation — uchambuzi wa AI, data, na ukosefu wa usawa katika afya na huduma.
• Angalia pia Mada 1.3 — Maamuzi Yanayoongozwa na Ushahidi; Mada 1.6 — Usalama wa Kitabibu na Usimamizi wa Hatari; Mada 1.7 — Utawala wa Taarifa, Ulinzi wa Data na Usalama wa Mtandao; Mada 8.0 — Kuingiza Ubunifu kwa Awamu.

Marejeo#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics