Mada 1.3 — Maamuzi Yanayoongozwa na Ushahidi

Kwa sentensi moja: Kufanya maamuzi yanayoongozwa na ushahidi kunamaanisha kuamua nini cha kujenga, kununua na kupanua kwa kutegemea ushahidi bora uliopo — wa kitabibu na wa utoaji — kulingana na hatari, na kurekodi hoja ili ziendelee kuwepo baada ya watu waliozifanya.

Kwa nini hili ni muhimu katika afya na huduma#

Katika sekta nyingi uamuzi mbaya wa bidhaa hugharimu fedha. Katika afya na huduma unaweza kugharimu usalama, usawa na uaminifu — na unafanywa kwa fedha za umma chini ya wajibu wa kisheria. Uamuzi wa kutumia kifaa cha utambuzi cha kidijitali ambacho hakijawahi kutathminiwa si kamari ya kibiashara; ni hatari ya kitabibu. Hili huinua kiwango cha ushahidi juu zaidi ya "onyesho lilionekana zuri."

Uwanja huu pia ni wa kipekee kwa sababu unadai aina mbili za ushahidi kwa wakati mmoja. Ushahidi wa kitabibu hujibu "je, teknolojia hii inafanya kazi, na ni salama na yenye ufanisi kwa wagonjwa?" Ushahidi wa utoaji hujibu "je, tunajenga kitu sahihi vizuri, na je, kinakubaliwa na kutumika?" Huduma inaweza kuwa thabiti kitabibu lakini kushindwa katika utoaji (hakuna anayeitumia), au kufanikiwa katika utoaji lakini kutothibitishwa kitabibu (inatumika sana, haijawahi kuthibitishwa). Viongozi wakuu lazima wadai vyote viwili na wasiruhusu kimoja kijifanye kingine. Na kwa sababu maamuzi ya afya huvutia ukaguzi — kutoka kwa wadhibiti, umma na wahudumu wa kitabibu — rekodi ya kwa nini uliamua ni muhimu kama uamuzi wenyewe.

Dhana kuu#

Daraja la ushahidi. Tiba inayotegemea ushahidi hupanga miundo ya tafiti kulingana na jinsi inavyodhibiti upendeleo: juu kabisa, mapitio ya kimfumo na uchanganuzi-meta wa majaribio yaliyodhibitiwa ya nasibu (RCT); kisha RCT moja moja; kisha tafiti za vikundi na za kesi-na-udhibiti; kisha mfululizo wa kesi; na chini kabisa, maoni ya wataalamu na hadithi za mtu mmoja. Daraja ni mwongozo, si pingu — lakini linakuweka na nidhamu ya kutambua dai linapotegemea hadithi iliyovaa mavazi ya uthibitisho.

Mfumo wa Viwango vya Ushahidi wa NICE (ESF) kwa teknolojia za afya za kidijitali. NICE, pamoja na NHS England na washirika, iliunda ESF kuweka kiwango gani cha ushahidi teknolojia ya afya ya kidijitali (DHT) inahitaji, kulingana na kazi yake na hatari inayobeba. Inapanga DHT katika ngazi kulingana na hatari inayowezekana — kuanzia huduma rahisi za mfumo, hadi zana zinazofahamisha au kuendesha huduma, hadi zile zinazotambua au kutibu moja kwa moja — na inabainisha ushahidi wa ufanisi wa kitabibu na wa kiuchumi unaotarajiwa katika kila ngazi. Kadiri hatari ya kitabibu ilivyo juu, ndivyo ushahidi unaodaiwa unavyokuwa imara zaidi. ESF ndio rejeo kwa wanaoagiza na waendelezaji wanaoamua kama DHT iko tayari.

Data ya ulimwengu halisi na ushahidi wa ulimwengu halisi. Data ya ulimwengu halisi (RWD) hutoka kwenye huduma ya kawaida — rekodi za kielektroniki za afya, sajili, matokeo yanayoripotiwa na wagonjwa, telemetria ya vifaa — badala ya majaribio yaliyodhibitiwa. Ikichambuliwa vizuri (kupitia tafiti za uchunguzi za mbele, majaribio ya kivitendo, au uchambuzi makini wa EHR) huwa ushahidi wa ulimwengu halisi (RWE) kuhusu jinsi teknolojia inavyofanya kazi kwa vitendo. RWE ni muhimu kwa teknolojia zinazojifunza au kubadilika (AI, vifaa vinavyovaliwa), ambapo jaribio la mara moja haliwezi kunasa tabia inayoendelea, lakini hubeba hatari za mkanganyiko ambazo lazima zishughulikiwe kwa uaminifu.

Ushahidi wa kitabibu dhidi ya ushahidi wa utoaji. Viweke kwenye shoka tofauti. Ushahidi wa kitabibu hutumia daraja lililo juu na ESF: ufanisi wa kimajaribio, usalama, ufanisi wa kivitendo. Ushahidi wa utoaji hutumia uchanganuzi wa bidhaa na huduma: je, huduma inatumika kwa urahisi, inakubaliwa, inakamilisha kazi ya mtumiaji, inapunguza mahitaji ya kushindwa? Vyote vinahitajika; kuvichanganya ni kosa la kawaida (kiwango cha juu cha matumizi si uthibitisho wa kitabibu).

Miundo ya tathmini. Kielelezo cha mantiki (au nadharia ya mabadiliko) huweka wazi jinsi pembejeo na shughuli zinavyokusudiwa kuzalisha matokeo ya moja kwa moja na ya mwisho — ni ramani ambayo kila tathmini hujaribu. RCT hutoa jibu imara zaidi la sababu lakini ni ya polepole, ya gharama, na wakati mwingine haiwezekani au si ya kimaadili kwa huduma inayobadilika haraka. Tathmini ya kivitendo — majaribio ya kivitendo, mfululizo wa muda uliokatizwa, kabla/baada na udhibiti, tathmini ya huduma ya mbinu mchanganyiko — hubadilishana baadhi ya uhakika kwa kasi na umuhimu wa ulimwengu halisi. Chagua muundo unaolingana na hatari na uamuzi uliopo.

Majaribio ya A/B na uchanganuzi. Kwa maswali ya hatari ndogo, ya upande wa utoaji (maneno gani yanaongeza mahudhurio ya miadi? mtiririko gani unapunguza kuacha?), majaribio yaliyodhibitiwa ya mtandaoni (majaribio ya A/B) hutoa ushahidi wa haraka wa sababu wa utoaji. Yana nguvu kwa kuboresha lakini kamwe hayapaswi kutumika kufanya mabadiliko ya kitabibu yasiyotathminiwa, na lazima yaheshimu mipaka ya ridhaa na utawala wa taarifa.

Maamuzi ya HiPPO. "HiPPO" — Maoni ya Mtu Anayelipwa Zaidi (Highest-Paid Person's Opinion) — hutaja kushindwa ambapo ukubwa wa cheo hushinda ushahidi. Tamaduni zinazoongozwa na ushahidi hufanya iwe salama na ya kawaida kumwambia yeyote chumbani "data inaonyesha nini?", na huchukulia dhana ya kiongozi mkuu kama nadharia ya kujaribiwa, si hitimisho.

Rekodi za maamuzi. Rekodi ya uamuzi (au kumbukumbu ya maamuzi / rekodi ya uamuzi wa usanifu) hunasa, kwa ufupi: uamuzi, chaguzi zilizozingatiwa, ushahidi uliopimwa, nani aliamua, na lini. Inafanya hoja zikaguliwe, inadumu baada ya wafanyakazi kuondoka, na inazuia hoja ileile kuendeshwa upya kila robo.

Mazoea bora#

1. Linganisha nguvu ya ushahidi na kiwango cha hatari. Tumia ngazi za ESF ya NICE kama kipimo chako: zana ya mfumo yenye hatari ndogo inahitaji ushahidi mwepesi; zana inayotambua au kuendesha matibabu inahitaji ushahidi wa hali ya juu wa ufanisi wa kitabibu. Uwiano hukuruhusu kwenda haraka kwenye salama na polepole kwenye hatari, badala ya kutumia kiwango kimoja kwa kila kitu.

2. Dai ushahidi wa kitabibu na wa utoaji, na kamwe usivichanganye. Kwa uwekezaji wowote mkubwa, uliza maswali mawili tofauti — "je, una ufanisi wa kitabibu na ni salama?" na "je, unatumika kwa urahisi na unakubaliwa?" — na udai ushahidi kwa kila moja. Vipimo vya kukubalika si mbadala wa uthibitisho wa kitabibu, na jaribio chanya si dhamana ya matumizi ya ulimwengu halisi.

3. Anza kila mpango na kielelezo cha mantiki. Kabla ya kujenga, andika unavyoamini uingiliaji utazalisha matokeo unayoyataka. Hili hufichua dhana zisizojaribiwa mapema, hufafanua vipimo muhimu, na kuipa tathmini yako ya baadaye kitu thabiti cha kujaribu.

4. Tumia ushahidi wa ulimwengu halisi kwa teknolojia zinazojifunza au kudumu. Kwa AI, algorithimu na huduma za muda mrefu, kamilisha au fuatisha majaribio ya awali kwa ufuatiliaji uliopangwa wa data ya kawaida — miundo ya uchunguzi ya mbele, tathmini ya kivitendo — ili ujue utendaji unavyodumu kwa vitendo na uweze kunasa mwelekeo wa kupotoka.

5. Fanya majaribio kwenye maswali ya utoaji; tathmini yale ya kitabibu. Tumia majaribio ya A/B na uchanganuzi kwa uhuru kwa kuboresha utoaji (maneno, mtiririko, vikumbusho), ndani ya mipaka ya utawala wa taarifa na ridhaa. Hifadhi tathmini rasmi (majaribio, tafiti za kivitendo) kwa maswali ya athari ya kitabibu. Peleka kila swali kwenye mbinu sahihi.

6. Ua maamuzi ya HiPPO kiutamaduni, si kiutaratibu tu. Fanya kukubalika waziwazi kumwomba mwamuzi yeyote ushahidi, chukulia maoni ya viongozi wakuu kama nadharia, na ujitolee mapema kuhusu ushahidi gani ungebadilisha msimamo wako. Timu inayoweza kupinga ukubwa wa cheo kwa usalama hufanya maamuzi bora.

7. Rekodi maamuzi na ushahidi wake. Weka kumbukumbu nyepesi ya maamuzi kwa kila chaguo kubwa — nini, kwa nini, ushahidi gani, nani, lini. Hili huunda uwezo wa kukaguliwa kwa wadhibiti na umma, huzuia kujadiliwa upya bila mwisho, na hudumisha kumbukumbu ya taasisi wafanyakazi wanapobadilika.

8. Zingatia maadili ya data. Kazi ya ushahidi hutumia data ya wagonjwa; chukulia uhalali, ridhaa, uwiano na haki kama vikwazo vya usanifu. Jilinde dhidi ya seti za data zenye upendeleo zinazoimarisha ukosefu wa usawa, heshimu wajibu wa usiri, na hakikisha mazoea yako ya ushahidi yangedumu mbele ya ukaguzi wa umma.

Maswali ya kujadili na timu yako#

1. Kwa uamuzi wetu mkubwa zaidi wa hivi karibuni, je, tunaweza kuonyesha ushahidi wa kitabibu na wa utoaji — ukiwa tofauti — au kimoja kilichukua nafasi ya kingine kimyakimya? Swali hili hujaribu msisitizo wa mada kwamba ushahidi wa kitabibu ("je, unafanya kazi na ni salama?") na wa utoaji ("je, unatumika kwa urahisi na unakubaliwa?") uko kwenye shoka tofauti na kwamba kuvichanganya ni kosa la kawaida na hatari. Ni muhimu kwa sababu huduma inaweza kuwa thabiti kitabibu lakini isitumike, au kutumika sana lakini isithibitishwe kitabibu, na katika afya na huduma kuchanganya kiwango cha juu cha matumizi na uthibitisho wa kitabibu kunaweza kuweka wagonjwa hatarini huku kukionekana kama mafanikio. Mvutano wa kuibua ni kwamba ushahidi wa utoaji ni wa haraka, wa bei nafuu na wa kujipendekeza — dashibodi za uchanganuzi hujaa haraka — ilhali ushahidi wa kitabibu ni wa polepole, wa gharama, na mara nyingi hauamui, kwa hiyo kuna shinikizo la kudumu la kuacha vipimo vya kukubalika vibebe hoja. Chukua karatasi halisi ya bodi au kesi ya uwekezaji na uikague: je, aina mbili za ushahidi zimetenganishwa, je, kila moja ipo kweli, na je, dai la kitabibu linategemea chochote juu ya onyesho la msambazaji au utafiti wa eneo moja? Jibu zuri na la uaminifu hubainisha uamuzi mahususi, hukiri mahali aina moja ya ushahidi ilikuwa hafifu au haipo, na hujitolea kudai vyote viwili waziwazi na kando katika chaguzi kubwa za baadaye badala ya kuacha nambari kubwa ya matumizi iwatulize wote.

2. Kiwango chetu cha ushahidi kina uwiano kiasi gani kweli — je, tunadai majaribio ya dhahabu kwa mabadiliko ya hatari ndogo huku tukipitisha zana za hatari kubwa kwa ushahidi hafifu? Mada inaeleza uwiano kupitia ngazi za ESF ya NICE: ushahidi mwepesi kwa zana ya mfumo yenye hatari ndogo, ushahidi wa hali ya juu wa ufanisi wa kitabibu kwa zana inayotambua au kuendesha matibabu, kwa hiyo swali hili hukagua kama shirika lako linarekebisha kiwango kulingana na hatari au linatumia kiwango kimoja butu. Ni muhimu kwa sababu pande zote mbili za kushindwa ni ghali — kupooza kwa uchambuzi hukwamisha mabadiliko muhimu ya maudhui yenye hatari ndogo nyuma ya RCT isiyo ya lazima, ilhali zana ya AI isiyochunguzwa vya kutosha inayofahamisha maamuzi ya kitabibu hupita kwa onyesho la kuvutia — na kila moja hudhoofisha uaminifu katika utamaduni wa ushahidi. Mabadilishano ya kujadili ni kwamba uwiano unahitaji uamuzi wa busara na ujasiri wa kuutetea, jambo gumu zaidi kuliko kanuni ya aina moja; "kila kitu kinahitaji jaribio" au "ikiwa ni cha kidijitali, kijaribu tu" ni rahisi kusimamia lakini si sahihi. Pitia teknolojia mbili au tatu za sasa au za hivi karibuni, weka kila moja katika ngazi yake ya ESF pamoja, na ukague kama ushahidi ulioudai ulilingana na ngazi au uliendeshwa na nani alikuwa akiitetea. Jibu la uaminifu linaonyesha timu inaweza kupata ngazi ya hatari ya teknolojia, hukiri mahali kiwango kimewekwa vibaya kwa pande zote mbili, na huchukulia uwiano kama kiwango wazi na kinachotetewa badala ya hisia.

3. Ni salama kiasi gani, kiutamaduni, kumuuliza mtu mkuu zaidi chumbani "ushahidi ni nini?" — na lini mara ya mwisho tuliichukulia dhana ya kiongozi kama nadharia ya kujaribiwa badala ya uamuzi? Swali hili linakabili moja kwa moja njia ya kushindwa ya HiPPO, ambapo maoni ya mtu anayelipwa zaidi hushinda ushahidi, na hujaribu kama ahadi yako ya ushahidi inadumu mbele ya ngazi za mamlaka na onyesho la msambazaji lililomvutia mkurugenzi anayeheshimiwa. Ni muhimu kwa sababu katika afya na huduma uamuzi unaoongozwa na onyesho wa kutumia zana isiyotathminiwa si kamari ya kibiashara bali ni hatari ya usalama wa kitabibu na fedha za umma, na wakati changamoto inapokuwa si salama ndio wakati ushahidi unapoacha kutawala maamuzi. Mvutano halisi ni kwamba usalama wa kisaikolojia hauwezi kuamriwa kwa sera; hujengwa na viongozi wakuu wanaokaribisha changamoto waziwazi, wakichukulia maoni yao kama nadharia, na kujitolea mapema kuhusu ushahidi gani ungebadilisha mawazo yao — tabia zinazohisiwa kufichua na ni rahisi kuziruka chini ya shinikizo la muda. Jenga mazungumzo juu ya mifano mahususi: kumbuka uamuzi wa hivi karibuni uliosukumwa zaidi na ukubwa wa cheo au shauku kuliko data, na uulize kama yeyote aliupinga, kama ilihisi salama, na rekodi ya uamuzi ingenasa nini. Jibu zuri ni la wazi kuhusu mahali ngazi za mamlaka zinaposhinda sasa, hutaja tabia thabiti ambazo viongozi watazipokea ili kufanya changamoto iwe ya kawaida, na huoanisha ahadi ya kiutamaduni na kumbukumbu nyepesi ya maamuzi inayofanya hoja zikaguliwe na kuzuia hoja ileile kuendeshwa upya.

4. Kwa teknolojia zinazojifunza au kudumu — AI yetu, algorithimu zetu, huduma zetu za muda mrefu — tungejuaje kweli kama utendaji wao umepotoka tangu tulipoithibitisha, na nani anaangalia? Mada ni wazi kwamba jaribio la mara moja haliwezi kunasa tabia inayoendelea ya teknolojia zinazojifunza au kubadilika, na kwamba "tathmini ya mara moja na kwisha" ni njia ya kushindwa iliyotajwa ambayo dawa yake ni ushahidi wa ulimwengu halisi na ufuatiliaji unaoendelea. Swali hili ni muhimu kwa sababu hatari ni ya kimya: kielelezo cha AI cha kutambua kuzorota au algorithimu ya uchambuzi inaweza kuharibika kadiri mchanganyiko wa kesi, mazoea ya kuweka misimbo, au mifumo ya data ya juu inavyobadilika, na tofauti na kipengele kilichoharibika hakuna kinachoshindwa waziwazi — zana inaendelea kutoa matokeo yanayokubalika huku kiwango chake cha tahadhari za uongo au kukosa kikizidi kuwa kibaya kimyakimya. Mvutano wa kuibua ni kwamba ufuatiliaji hauna mvuto na haufadhiliwi ukilinganishwa na msisimko wa kutumia: mara kesi ya biashara inaposainiwa na faida kuandikwa, mashirika machache hutoa rasilimali kwa kazi ya uchunguzi wa mbele, vipimo vya kupotoka, au mmiliki aliyetajwa anayevipitia. Chagua zana moja hai ya AI au ya algorithimu na ufuatilie maisha yake baada ya kutumika kwa uthabiti — data gani ya kawaida inaangaliwa, dhidi ya msingi gani, kwa mzunguko gani, na nani angepandisha kuzorota na kwa nani. Jibu la uaminifu hukiri mahali uthibitisho ulipoishia wakati wa kuanza kutumika, hutofautisha zana zinazohitaji kweli ufuatiliaji endelevu na zile zisizohitaji, na hujitolea kwa mmiliki aliyetajwa, kipimo na mdundo wa mapitio badala ya nia isiyo wazi ya "kuendelea kuangalia."

5. Uamuzi tunaofanya leo ukihojiwa baada ya miaka miwili — na mkurugenzi mpya, mdhibiti au umma — rekodi iliyoandikwa itaonyesha nini kweli, na je, ingedumu mbele ya ukaguzi huo? Mada inachukulia rekodi ya uamuzi kama miundombinu ya msingi: kumbukumbu nyepesi ya uamuzi, chaguzi, ushahidi uliopimwa, nani aliamua na lini, inayothaminiwa kwa sababu inafanya hoja zikaguliwe, inadumu baada ya wafanyakazi kuondoka, na kuzuia hoja ileile kuendeshwa upya kila robo. Swali hili ni muhimu kwa sababu maamuzi ya afya na huduma huvutia ukaguzi wa wadhibiti, wa bunge na wa umma kwa namna ambayo ya kibiashara mara chache hufanya, na mfano halisi katika mada hii unategemea hasa hili — miaka miwili baadaye, mkurugenzi mpya anahoji zana iliyotumika na "rekodi inajibu". Mvutano halisi ni kati ya gharama ndogo ya nidhamu hii kwa kila uamuzi na shinikizo sugu la kuiruka: kuandika kwa nini uliamua kunahisiwa kuwa urasimu wakati huo, na watu wanaohitaji rekodi zaidi ni wafanyakazi wa baadaye ambao hawako chumbani kuidai. Ijaribu dhidi ya uhalisia kwa kujaribu kujenga upya hoja nyuma ya chaguo kubwa lililofanywa miezi kumi na miwili au kumi na minane iliyopita — unaweza kupata ushahidi gani ulipimwa na njia mbadala zipi zilikataliwa, au tu kwamba uamuzi ulifanywa? Jibu zuri linakabili kama rekodi zinawekwa kweli kwa maamuzi makubwa au kwa yale rahisi tu, kama zinanasa ushahidi na chaguzi badala ya hitimisho tu, na kama yeyote anazisoma tena — kwa sababu kumbukumbu isiyosomwa, ya hitimisho tu ni maigizo ya ukaguzi, si kumbukumbu ya taasisi.

6. Data ya nani inafundisha na kuthibitisha ushahidi wetu, na je, tuna uhakika haitaimarisha ukosefu wa usawa — au tunachukulia maadili ya data kama fomu ya kusaini badala ya kikwazo cha usanifu? Mada inasisitiza kwamba kazi ya ushahidi hutumia data ya wagonjwa na kwamba uhalali, ridhaa, uwiano na haki ni vikwazo vya usanifu, si karatasi, ikionya mahususi dhidi ya seti za data zenye upendeleo zinazoimarisha ukosefu wa usawa na dhidi ya "maadili kama karatasi" kama njia ya kushindwa. Swali hili ni muhimu kwa sababu teknolojia iliyothibitishwa kwa idadi ya watu isiyo wakilishi inaweza kufanya kazi vibaya zaidi kwa makundi ambayo tayari yanahudumiwa vibaya zaidi — kielelezo cha kuzorota au cha utambuzi kilichofunzwa mahali ambapo makabila, umri au magonjwa-ushirika fulani hayawakilishwi vya kutosha kinaweza kubeba upendeleo huo hadi kila uamuzi wa baadaye, na kwa kiwango cha taifa seti ya data iliyoidhinishwa huimarisha ukosefu wa usawa huo katika mfumo mzima. Mvutano ni kwamba uchambuzi wa haki ni mgumu na wa polepole kuliko nambari kuu ya usahihi: unakulazimisha kuchunguza nani yumo katika data na nani hayupo, kutenganisha utendaji kwa makundi madogo, na wakati mwingine kukubali kwamba ushahidi wako ni dhaifu kwa idadi ya watu unaowahitaji zaidi kuwahudumia. Ifanye iwe thabiti kwa kuchukua zana ya hivi karibuni au inayopendekezwa na kuuliza rekodi za nani ilijengwa na kujaribiwa juu yake, kama utendaji uliwahi kuchunguzwa kwa makundi madogo, na kama idhini ya utawala wa taarifa ilishughulikia haki kabisa au ilithibitisha tu msingi wa kisheria. Jibu la uaminifu hutenganisha uchunguzi wa kweli wa kimaadili na kuweka alama kwenye visanduku, hukiri mahali uwakilishi haukukaguliwa kamwe, na huchukulia upendeleo na haki kama maswali ambayo ushahidi wenyewe lazima ujibu badala ya hatua ya kufuata sheria iliyoambatanishwa mwishoni.

Kwa vitendo: mfano wa afya na huduma#

Hospitali ya jamii inatolewa zana ya AI inayoashiria wagonjwa walio hatarini kuzorota kutokana na data ya ishara muhimu. Uamuzi wa HiPPO ungeitumia kwa sababu mkurugenzi anayeheshimiwa alivutiwa na onyesho la msambazaji.

Badala yake hospitali inachukulia pendekezo kama nadharia. Inaweka zana katika ngazi ya hatari ya ESF ya NICE inayofaa teknolojia inayofahamisha maamuzi ya kitabibu, na kumwomba msambazaji ushahidi wa ufanisi katika kiwango hicho; kitu imara zaidi kilichotolewa ni utafiti mdogo wa eneo moja. Hospitali inaandika kielelezo cha mantiki (onyo la mapema bora → kupandisha mapema → kuzorota kunakoweza kuepukika kupungua) na kubuni tathmini ya kivitendo: matumizi ya hali ya kivuli ambapo tahadhari za zana zinarekodiwa lakini hazitekelezwi, zikilinganishwa na matokeo halisi, pamoja na mahojiano ya ubora na wauguzi kuhusu kufaa kwa mtiririko wa kazi.

Sambamba nayo inakusanya ushahidi wa utoaji: je, wahudumu wa kitabibu wangeona na kuamini tahadhari kweli? Inaendesha majaribio ya mtindo wa A/B juu ya uwasilishaji wa tahadhari. Viongozi wa utawala wa taarifa na usalama wa kitabibu wanaidhinisha matumizi ya data na kumbukumbu ya hatari. Baada ya miezi mitatu RWE inaonyesha uboreshaji wa wastani lakini halisi na kiwango kinachokubalika cha tahadhari za uongo, na ushahidi wa utoaji unaonyesha wahudumu wa kitabibu wanajihusisha na tahadhari zilizobuniwa upya. Uamuzi wa kuendelea — kwa utoaji wa awamu na ufuatiliaji endelevu — umeandikwa katika rekodi ya uamuzi inayotaja ushahidi uliopimwa. Miaka miwili baadaye, mkurugenzi mpya anapohoji zana, rekodi inajibu.

Mitazamo ya sekta#

Kila mtu ana wajibu uleule wa kulinganisha ushahidi na hatari, lakini rasilimali, vichocheo na uwajibikaji kuhusu ushahidi hutofautiana sana kati ya mashirika.

Kampuni changa#

Kikwazo cha kampuni changa ni kwamba ushahidi wa kitabibu wa kiwango cha dhahabu ni wa polepole na wa gharama ilhali muda wa fedha uliobaki ni mfupi, kwa hiyo kishawishi ni kuuza vipimo vya kukubalika kana kwamba ni uthibitisho wa athari ya kitabibu. Hatua ya uaminifu ni kuweka bidhaa katika ngazi sahihi ya ESF ya NICE mapema na kuwa wazi kwa wanunuzi kuhusu pengo la ushahidi, ukitumia kielelezo cha mantiki kilicho wazi na tathmini ya kivitendo ya bei nafuu (jaribio la hali ya kivuli, mfululizo wa muda uliokatizwa dhidi ya eneo moja) kuzalisha ushahidi wa kwanza wa ulimwengu halisi. Rekodi za maamuzi hazigharimu karibu chochote na zina thamani isiyo na uwiano kwa timu ndogo, zikihifadhi hoja kupitia mabadiliko ya haraka ya mwelekeo na kuwapa wawekezaji wanaofanya uchunguzi na wakaguzi wa NHS njia ya ukaguzi. Nidhamu inayolipa ni kupinga dhana ya mwanzilishi ya HiPPO na kuchukulia kila "onyesho lilipokelewa vizuri" kama nadharia ya kujaribiwa.

Biashara ndogo#

Mtoa huduma mdogo aliyeimarika — zahanati ya GP, duka la dawa la jamii, nyumba ya wazee, kliniki ya eneo moja, msambazaji mdogo wa teknolojia ya afya aliyepita hatua ya kampuni changa — hubeba wajibu uleule wa kulinganisha ushahidi na hatari lakini ana wagonjwa halisi, fedha taslimu chache, na uwezo mdogo au hakuna wa kidijitali wa kuufanyia. Hatua ya kivitendo ni kutegemea ushahidi ambao wengine tayari wameuzalisha badala ya kuzalisha wako mwenyewe: tumia ngazi ya ESF ya NICE na tathmini ya DTAC ya zana mgombea kama uwiano uliotayarishwa tayari, omba wasambazaji ushahidi wa ufanisi wa kitabibu unaolingana na ngazi, na ukatae kushawishiwa kuchukua bidhaa isiyotathminiwa na onyesho laini. Ushahidi wa utoaji ndipo shirika dogo linaweza kuongoza kweli, kwa sababu linawaona wagonjwa wake kwa karibu — wiki chache za uchunguzi wa uaminifu kuhusu kama wafanyakazi wanatumia zana kweli na kama inapunguza mahitaji ya kushindwa ni ushahidi wa ulimwengu halisi unaoweza kufikiwa. Rekodi ya uamuzi ya mstari mmoja — tulichagua nini, ushahidi gani tuliona, nani aliamua — haigharimu timu ndogo karibu chochote na inailinda mshirika anapoondoka au mkaguzi wa CQC anapouliza kwa nini. Mtego wa kuepuka ni kudhani kuwa mdogo kunakuondolea kiwango cha ushahidi; wajibu kwa wagonjwa ni uleule, rasilimali tu ndizo si.

Biashara kubwa#

Hospitali ya NHS au ICS ina data ya kawaida, idadi ya wagonjwa, na uwezo wa uchanganuzi wa kufanya tathmini makini — na uwajibikaji unaoidai, kwa sababu kutumia zana isiyothibitishwa kwa kiwango kikubwa ni hatari ya usalama wa kitabibu na ya fedha za umma kwa pamoja. Njia ya kushindwa ni ya kitaasisi: mkurugenzi anayeheshimiwa akitetea onyesho la msambazaji, au kesi ya biashara iliyojengwa juu ya faida zilizokadiriwa ambazo hakuna anayezikagua baadaye. Tiba ni kufanya iwe salama kiutamaduni kumwuliza mwamuzi yeyote "ushahidi ni nini?", kuweka ushahidi wa kitabibu na wa utoaji kwenye shoka tofauti katika kila karatasi ya bodi, na kufadhili ufuatiliaji unaoendelea wa ulimwengu halisi kwa AI na huduma za muda mrefu badala ya kuthibitisha mara moja. Biashara kubwa ya dawa au teknolojia ya afya ina mashine rasmi ya majaribio lakini lazima ijilinde dhidi ya upendeleo wa uchapishaji na mkanganyiko katika ushahidi wa ulimwengu halisi inaouzalisha.

Serikali#

Chombo cha kitaifa — NICE, NHS England, DHSC, MHRA, UKHSA — mara nyingi huweka kiwango cha ushahidi ambacho wengine lazima wakivuke, kwa hiyo njia zake za kufanya kazi huunda soko zima: ESF, DTAC na udhibiti wa programu kama kifaa cha matibabu ni vyombo vya uwajibikaji wa kiwango cha idadi ya watu. Maamuzi hapa huvutia ukaguzi wa wadhibiti, wa bunge na wa umma, kwa hiyo rekodi ya kwa nini teknolojia ilipendekezwa au kununuliwa ni muhimu kama uamuzi wenyewe, na uwazi kuhusu mipaka ya ushahidi ni wajibu, si adabu. Hatari katika ngazi hii ni kuamuru teknolojia katika mfumo mzima kwa ushahidi hafifu, au kinyume chake kudai RCT kwa mabadiliko ya hatari ndogo na kukwamisha ubunifu muhimu. Tiba ni uwiano ulioandikwa wazi katika viwango vilivyochapishwa, pamoja na uzingatiaji wa maadili ya data na haki, kwa sababu seti ya data yenye upendeleo iliyoidhinishwa kitaifa huimarisha ukosefu wa usawa kwa kiwango kikubwa.

Njia za kawaida za kushindwa#

• Maamuzi yanayoongozwa na onyesho. Kununua kwa sababu onyesho lilimvutia kiongozi mkuu. Dawa: chukulia mapendekezo kama nadharia; dai ushahidi unaolingana na ngazi.
• Matumizi kuchukuliwa kama uthibitisho. Kutaja nambari za kukubalika kama uthibitisho kwamba zana ina ufanisi wa kitabibu. Dawa: weka ushahidi wa kitabibu na wa utoaji kwenye shoka tofauti.
• Tathmini ya mara moja na kwisha. Kuthibitisha mara moja na kutofuatilia kamwe, hasa kwa AI inayopotoka. Dawa: ushahidi wa ulimwengu halisi na ufuatiliaji endelevu.
• Kupooza kwa uchambuzi. Kudai RCT kwa mabadiliko ya maudhui yenye hatari ndogo. Dawa: mbinu zenye uwiano; A/B na tathmini ya kivitendo pale hatari ni ndogo.
• Maamuzi yasiyorekodiwa. Hakuna athari ya kwa nini chaguo lilifanywa, hivyo linajadiliwa upya na haliwezi kukaguliwa. Dawa: kumbukumbu nyepesi ya maamuzi.
• Maadili kama karatasi. Kuchukulia maadili ya data kama fomu ya kusaini badala ya kikwazo cha usanifu. Dawa: jenga uhalali, ridhaa na haki ndani ya usanifu wa ushahidi.

Kielelezo cha ukomavu#

Orodha hakiki#

• Kila teknolojia imewekwa katika ngazi ya hatari ya ESF ya NICE, na ushahidi unaodaiwa unalingana.
• Kila uamuzi mkubwa una ushahidi wa kitabibu na wa utoaji, ukiwa tofauti.
• Kielelezo cha mantiki kipo kabla ya kujenga, kikitaja matokeo na vipimo.
• Muundo wa tathmini una uwiano na hatari (A/B na wa kivitendo kwa ndogo; majaribio/RWE kwa kubwa).
• Ushahidi wa ulimwengu halisi na ufuatiliaji vipo kwa AI na huduma za muda mrefu.
• Ni salama kiutamaduni kumwuliza mwamuzi yeyote "ushahidi ni nini?"
• Kila uamuzi mkubwa umenaswa katika kumbukumbu ya maamuzi (nini, kwa nini, ushahidi, nani, lini).
• Matumizi ya data ni halali, yenye ridhaa, yenye uwiano, na yamekaguliwa kwa upendeleo na haki.

Vyanzo muhimu#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — mwongozo kuhusu programu na AI kama kifaa cha matibabu.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (daraja la ushahidi).
• HM Treasury — The Magenta Book (mwongozo kuhusu tathmini, vielelezo vya mantiki, na miundo ya tathmini).
• MRC — mfumo wa Developing and evaluating complex interventions.
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments (majaribio ya A/B).
• Michael Nygard — Architecture Decision Records (muundo wa kumbukumbu ya maamuzi).

Marejeo#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/