Pwnc 1.3 — Penderfyniadau Seiliedig ar Dystiolaeth

Mewn un frawddeg: Mae gwneud penderfyniadau sy'n seiliedig ar dystiolaeth yn golygu penderfynu beth i'w adeiladu, ei brynu a'i ehangu ar sail y dystiolaeth orau sydd ar gael — clinigol a darparu — yn gymesur â'r risg, a chofnodi'r rhesymeg fel ei bod yn goroesi'r bobl a'i lluniodd.

Pam mae hyn yn bwysig ym maes iechyd a gofal#

Yn y rhan fwyaf o sectorau, mae penderfyniad gwael ynghylch cynnyrch yn costio arian. Ym maes iechyd a gofal gall gostio diogelwch, tegwch ac ymddiriedaeth — a chaiff ei wneud ag arian cyhoeddus dan ddyletswydd statudol. Nid gamblo masnachol yw penderfyniad i ddefnyddio diagnosteg ddigidol nad yw erioed wedi'i gwerthuso; mae'n risg glinigol. Mae hyn yn codi'r bar ar gyfer tystiolaeth ymhell uwchlaw "roedd y demo'n edrych yn dda."

Mae'r maes hefyd yn neilltuol am ei fod yn mynnu dau fath o dystiolaeth ar yr un pryd. Mae tystiolaeth glinigol yn ateb "a yw'r dechnoleg hon yn gweithio, ac a yw'n ddiogel ac yn effeithiol i gleifion?" Mae tystiolaeth darparu yn ateb "a ydym yn adeiladu'r peth iawn yn dda, ac a yw'n cael ei fabwysiadu a'i ddefnyddio?" Gall gwasanaeth fod yn gadarn yn glinigol ond yn fethiant o ran darparu (neb yn ei ddefnyddio), neu'n llwyddiant o ran darparu ond heb ei brofi'n glinigol (yn cael ei ddefnyddio'n eang, heb ei ddilysu erioed). Rhaid i uwch arweinwyr fynnu'r ddau a pheidio byth â gadael i'r naill esgus bod y llall. A chan fod penderfyniadau iechyd yn denu craffu — gan reoleiddwyr, y cyhoedd a chlinigwyr — mae'r cofnod o pam y penderfynwyd mor bwysig â'r penderfyniad ei hun.

Cysyniadau craidd#

Hierarchaeth tystiolaeth. Mae meddygaeth sy'n seiliedig ar dystiolaeth yn graddio dyluniadau astudiaethau yn ôl pa mor dda y maent yn rheoli tuedd: ar y brig, adolygiadau systematig a meta-ddadansoddiadau o hap-dreialon dan reolaeth (RCTs); yna RCTs unigol; yna astudiaethau carfan ac astudiaethau achos-reolaeth; yna cyfresi achosion; ac ar y gwaelod, barn arbenigwyr a hanesion. Canllaw yw'r hierarchaeth, nid cell; ond mae'n eich disgyblu i sylwi pan fo honiad yn dibynnu ar hanesyn wedi'i wisgo fel prawf.

Fframwaith Safonau Tystiolaeth NICE (ESF) ar gyfer technolegau iechyd digidol. Lluniodd NICE, gyda GIG Lloegr a phartneriaid, yr ESF i nodi pa lefel o dystiolaeth sydd ei hangen ar dechnoleg iechyd digidol (DHT), yn gymesur â'i swyddogaeth a'r risg y mae'n ei chario. Mae'n haenu DHTs yn ôl risg bosibl — o wasanaethau system syml, drwy offer sy'n hysbysu neu'n gyrru gofal, i'r rhai sy'n diagnosio neu'n trin yn uniongyrchol — ac yn pennu'r dystiolaeth o effeithiolrwydd clinigol ac economaidd a ddisgwylir ar bob haen. Po uchaf y risg glinigol, y cryfaf y dystiolaeth sydd ei hangen. Yr ESF yw'r cyfeirbwynt i gomisiynwyr a datblygwyr wrth benderfynu a yw DHT yn barod.

Data o'r byd go iawn a thystiolaeth o'r byd go iawn. Daw data o'r byd go iawn (RWD) o ofal arferol — cofnodion iechyd electronig, cofrestrau, canlyniadau a adroddir gan gleifion, telemetreg dyfeisiau — yn hytrach nag o dreialon rheoledig. O'i ddadansoddi'n dda (drwy astudiaethau arsylwadol rhagolygol, treialon pragmatig, neu ddadansoddi gofalus ar gofnodion iechyd electronig) mae'n dod yn dystiolaeth o'r byd go iawn (RWE) ynghylch sut mae technoleg yn perfformio yn ymarferol. Mae RWE yn hanfodol ar gyfer technolegau sy'n dysgu neu'n newid (deallusrwydd artiffisial, dyfeisiau gwisgadwy), lle na all treial unigol ddal ymddygiad parhaus, ond mae'n cario risgiau o ffactorau dryslyd y mae'n rhaid eu trin yn onest.

Tystiolaeth glinigol yn erbyn tystiolaeth darparu. Cadwch y rhain ar echelinau ar wahân. Mae tystiolaeth glinigol yn defnyddio'r hierarchaeth uchod a'r ESF: effeithiolrwydd mewn amodau delfrydol, diogelwch, effeithiolrwydd yn ymarferol. Mae tystiolaeth darparu yn defnyddio dadansoddeg cynnyrch a gwasanaeth: a yw'r gwasanaeth yn hawdd ei ddefnyddio, yn cael ei fabwysiadu, yn cwblhau tasg y defnyddiwr, yn lleihau'r galw a achosir gan fethiant? Mae angen y ddau; mae eu cymysgu yn gamgymeriad clasurol (nid yw ffigur defnydd uchel yn brawf clinigol).

Dyluniadau gwerthuso. Mae model rhesymeg (neu ddamcaniaeth newid) yn egluro sut y bwriedir i fewnbynnau a gweithgareddau gynhyrchu allbynnau a chanlyniadau — dyma'r map y mae unrhyw werthusiad yn ei brofi. Mae RCT yn rhoi'r ateb achosol cryfaf ond mae'n araf, yn gostus, ac weithiau'n anymarferol neu'n anfoesegol ar gyfer gwasanaeth sy'n newid yn gyflym. Mae gwerthuso pragmatig — treialon pragmatig, cyfres amser ymyrrol, cyn/ar ôl gyda grwpiau rheoli, gwerthuso gwasanaeth dulliau cymysg — yn cyfnewid rhywfaint o sicrwydd am gyflymder a pherthnasedd i'r byd go iawn. Dewiswch y dyluniad sy'n gymesur â'r risg a'r penderfyniad dan sylw.

Profi A/B a dadansoddeg. Ar gyfer cwestiynau risg is, ar ochr darparu (pa eiriad sy'n cynyddu presenoldeb mewn apwyntiadau? pa lif sy'n lleihau gadael?), mae arbrofion rheoledig ar-lein (profion A/B) yn rhoi tystiolaeth darparu achosol a chyflym. Maent yn bwerus ar gyfer optimeiddio ond rhaid peidio byth â'u defnyddio i wneud newidiadau clinigol heb eu hasesu, a rhaid iddynt barchu ffiniau caniatâd a llywodraethiant gwybodaeth.

Penderfyniadau HiPPO. Mae "HiPPO" — Highest-Paid Person's Opinion, sef barn yr unigolyn sy'n cael y cyflog uchaf — yn enwi'r methiant lle mae hynafedd yn trechu tystiolaeth. Mae diwylliannau sy'n seiliedig ar dystiolaeth yn ei gwneud yn ddiogel ac yn normal i ofyn "beth mae'r data'n ei ddangos?" i unrhyw un yn yr ystafell, ac yn trin rhagdybiaeth uwch swyddog fel damcaniaeth i'w phrofi, nid casgliad.

Cofnodion penderfyniadau. Mae cofnod penderfyniadau (neu log penderfyniadau / cofnod penderfyniadau pensaernïol) yn cipio, yn gryno: y penderfyniad, yr opsiynau a ystyriwyd, y dystiolaeth a bwyswyd, pwy a benderfynodd, a phryd. Mae'n gwneud y rhesymeg yn archwiliadwy, yn goroesi newid staff, ac yn atal yr un ddadl rhag cael ei hailadrodd bob chwarter.

Arferion gorau#

1. Cydweddwch gryfder y dystiolaeth â lefel y risg. Defnyddiwch haenau ESF NICE fel eich mesur: mae offeryn system risg isel angen tystiolaeth ysgafn; mae offeryn sy'n diagnosio neu'n gyrru triniaeth angen tystiolaeth o effeithiolrwydd clinigol o ansawdd uchel. Mae cymesuredd yn gadael i chi symud yn gyflym ar yr hyn sy'n ddiogel ac yn araf ar yr hyn sy'n beryglus, yn hytrach na chymhwyso un bar i bopeth.

2. Mynnwch dystiolaeth glinigol a thystiolaeth darparu, a pheidiwch byth â'u cymysgu. Ar gyfer unrhyw fuddsoddiad sylweddol, gofynnwch ddau gwestiwn ar wahân — "a yw'n effeithiol ac yn ddiogel yn glinigol?" ac "a yw'n hawdd ei ddefnyddio ac wedi'i fabwysiadu?" — a mynnwch dystiolaeth ar gyfer pob un. Nid yw metrigau mabwysiadu yn lle dilysu clinigol, ac nid yw treial cadarnhaol yn sicrwydd o ddefnydd yn y byd go iawn.

3. Dechreuwch bob menter gyda model rhesymeg. Cyn adeiladu, ysgrifennwch sut rydych yn credu y bydd yr ymyriad yn cynhyrchu'r canlyniad rydych ei eisiau. Mae hyn yn datgelu tybiaethau heb eu profi yn gynnar, yn diffinio'r metrigau sy'n bwysig, ac yn rhoi rhywbeth pendant i'ch gwerthusiad diweddarach ei brofi.

4. Defnyddiwch dystiolaeth o'r byd go iawn ar gyfer technolegau sy'n dysgu neu'n parhau. Ar gyfer deallusrwydd artiffisial, algorithmau a gwasanaethau hirhoedlog, ategwch neu dilynwch y treialon cychwynnol â monitro strwythuredig ar ddata arferol — dyluniadau arsylwadol rhagolygol, gwerthuso pragmatig — fel eich bod yn gwybod sut mae perfformiad yn dal i fyny yn ymarferol ac yn gallu canfod gwyro.

5. Arbrofwch ar gwestiynau darparu; gwerthuswch rai clinigol. Defnyddiwch brofi A/B a dadansoddeg yn rhwydd ar gyfer optimeiddio'r gwaith darparu (geiriad, llif, anogiadau), o fewn terfynau llywodraethiant gwybodaeth a chaniatâd. Cadwch werthuso ffurfiol (treialon, astudiaethau pragmatig) ar gyfer cwestiynau am effaith glinigol. Cyfeiriwch bob cwestiwn at y dull cywir.

6. Dilëwch benderfyniadau HiPPO yn ddiwylliannol, nid dim ond yn weithdrefnol. Gwnewch yn eglur ei bod yn dderbyniol gofyn i unrhyw un sy'n gwneud penderfyniadau am y dystiolaeth, fframiwch farn uwch swyddogion fel damcaniaethau, a chyn-ymrwymwch i ba dystiolaeth fyddai'n newid eich meddwl. Mae tîm sy'n gallu herio hynafedd yn ddiogel yn gwneud penderfyniadau gwell.

7. Cofnodwch benderfyniadau a'u tystiolaeth. Cadwch log penderfyniadau ysgafn ar gyfer pob dewis sylweddol — beth, pam, pa dystiolaeth, pwy, pryd. Mae hyn yn creu archwiliadwyedd ar gyfer rheoleiddwyr a'r cyhoedd, yn atal ail-ddadlau diddiwedd, ac yn cadw cof sefydliadol drwy newid staff.

8. Rhowch sylw i foeseg data. Mae gwaith tystiolaeth yn defnyddio data cleifion; trinwch gyfreithlondeb, caniatâd, cymesuredd a thegwch fel cyfyngiadau cynllunio. Gwyliwch rhag setiau data rhagfarnllyd sy'n cadarnhau annhegwch, parchwch y ddyletswydd cyfrinachedd, a sicrhewch y byddai eich arferion tystiolaeth eu hunain yn goroesi craffu cyhoeddus.

Cwestiynau i'w trafod gyda'ch tîm#

1. Ar gyfer ein penderfyniad diweddar mwyaf arwyddocaol, a allwn ni bwyntio at dystiolaeth glinigol a thystiolaeth darparu — wedi'u cadw ar wahân — neu a oedd un yn sefyll i mewn dros y llall yn dawel? Mae'r cwestiwn hwn yn profi mynnu'r pwnc fod tystiolaeth glinigol ("a yw'n gweithio ac a yw'n ddiogel?") a thystiolaeth darparu ("a yw'n hawdd ei ddefnyddio ac wedi'i fabwysiadu?") ar echelinau ar wahân a bod eu cymysgu yn gamgymeriad clasurol a pheryglus. Mae'n bwysig oherwydd gall gwasanaeth fod yn gadarn yn glinigol ond heb ei ddefnyddio, neu'n cael ei ddefnyddio'n helaeth ond heb ei ddilysu'n glinigol, ac ym maes iechyd a gofal gall camgymryd ffigur defnydd uchel am brawf clinigol roi cleifion mewn perygl wrth edrych fel llwyddiant. Y tensiwn i'w ddatgelu yw bod tystiolaeth darparu yn gyflym, yn rhad ac yn weniaethus — mae dangosfyrddau dadansoddeg yn llenwi'n gyflym — tra bo tystiolaeth glinigol yn araf, yn gostus ac yn aml yn amhendant, felly mae pwysau cyson i adael i fetrigau mabwysiadu gario'r ddadl. Cymerwch bapur bwrdd neu achos buddsoddi go iawn a'i archwilio: a yw'r ddau fath o dystiolaeth wedi'u gwahanu, a yw pob un yn bresennol mewn gwirionedd, ac a yw'r honiad clinigol yn dibynnu ar unrhyw beth uwchlaw demo gan gyflenwr neu astudiaeth un safle? Mae ateb da a gonest yn nodi penderfyniad penodol, yn cyfaddef ble roedd un math o dystiolaeth yn denau neu'n absennol, ac yn ymrwymo i fynnu'r ddau yn eglur ac ar wahân mewn dewisiadau sylweddol yn y dyfodol yn hytrach na gadael i ffigur defnydd cryf dawelu pawb.

2. Pa mor gymesur yw ein bar tystiolaeth mewn gwirionedd — a ydym yn mynnu treialon safon aur ar gyfer newidiadau risg isel wrth basio offer risg uwch ar dystiolaeth denau? Mae'r pwnc yn fframio cymesuredd drwy haenau ESF NICE: tystiolaeth ysgafn ar gyfer offeryn system risg isel, tystiolaeth o effeithiolrwydd clinigol o ansawdd uchel ar gyfer offeryn sy'n diagnosio neu'n gyrru triniaeth, felly mae'r cwestiwn hwn yn gwirio a yw eich sefydliad yn graddnodi'r bar yn ôl risg mewn gwirionedd neu'n cymhwyso un safon ddi-fflach. Mae'n bwysig oherwydd bod y ddau gyfeiriad methu yn gostus — mae parlys dadansoddi yn atal newid cynnwys risg isel defnyddiol y tu ôl i RCT diangen, tra bo offeryn deallusrwydd artiffisial sy'n hysbysu penderfyniadau clinigol heb ddigon o graffu yn llithro drwodd ar demo cymhellol — ac mae pob un yn tanseilio ymddiriedaeth yn y diwylliant tystiolaeth. Y cyfnewidiad i'w drafod yw bod cymesuredd yn gofyn am farn a hyder i'w hamddiffyn, sy'n anoddach na rheol unffurf; mae "mae angen treial ar bopeth" neu "os yw'n ddigidol, rhowch gynnig arni" yn haws ei weinyddu ond yn anghywir. Gweithiwch drwy ddwy neu dair technoleg gyfredol neu ddiweddar, gosodwch bob un yn ei haen ESF gyda'ch gilydd, a gwiriwch a oedd y dystiolaeth y gwnaethoch ei mynnu yn cyfateb i'r haen neu a gafodd ei gyrru gan bwy oedd yn ei hyrwyddo. Mae ateb gonest yn dangos y gall y tîm leoli haen risg technoleg, yn cyfaddef ble mae'r bar wedi'i osod yn anghywir i'r naill gyfeiriad neu'r llall, ac yn trin cymesuredd fel safon eglur y gellir ei hamddiffyn yn hytrach nag atgof.

3. Pa mor ddiogel yw hi, yn ddiwylliannol, i ofyn i'r person mwyaf uchel ei statws yn yr ystafell "beth yw'r dystiolaeth?" — a phryd y gwnaethom ddiwethaf drin rhagdybiaeth arweinydd fel damcaniaeth i'w phrofi yn hytrach na phenderfyniad? Mae'r cwestiwn hwn yn wynebu'r modd methu HiPPO yn uniongyrchol, lle mae barn yr unigolyn sy'n cael y cyflog uchaf yn trechu tystiolaeth, ac yn profi a yw eich ymrwymiad datganedig i dystiolaeth yn goroesi cyswllt â hierarchaeth a'r demo gan gyflenwr a greodd argraff ar gyfarwyddwr uchel ei barch. Mae'n bwysig oherwydd, ym maes iechyd a gofal, nid gamblo masnachol yw penderfyniad a yrrir gan demo i ddefnyddio offeryn heb ei asesu ond risg i ddiogelwch clinigol ac arian cyhoeddus, a'r funud y daw her yn anniogel yw'r funud y daw tystiolaeth i ben lywodraethu penderfyniadau. Y tensiwn gwirioneddol yw na ellir gorfodi diogelwch seicolegol drwy bolisi; fe'i hadeiledir gan uwch arweinwyr sy'n gwahodd her yn weladwy, yn fframio eu barn eu hunain fel damcaniaethau, ac yn cyn-ymrwymo i ba dystiolaeth fyddai'n newid eu meddwl — ymddygiadau sy'n teimlo'n agored i niwed ac yn hawdd eu hepgor dan bwysau amser. Seiliwch y sgwrs ar fanylion penodol: cofiwch benderfyniad diweddar a yrrwyd yn fwy gan hynafedd neu frwdfrydedd na data, a gofynnwch a heriodd unrhyw un ef, a oedd hynny'n teimlo'n ddiogel, a beth fyddai cofnod penderfyniadau wedi'i gipio. Mae ateb da yn onest ynghylch ble mae hierarchaeth yn ennill ar hyn o bryd, yn enwi ymddygiadau pendant y bydd arweinwyr yn eu mabwysiadu i wneud her yn normal, ac yn pâru'r ymrwymiad diwylliannol â'r log penderfyniadau ysgafn sy'n gwneud y rhesymeg yn archwiliadwy ac yn atal yr un ddadl rhag cael ei hailadrodd.

4. Ar gyfer y technolegau sy'n dysgu neu'n parhau — ein deallusrwydd artiffisial, ein algorithmau, ein gwasanaethau hirhoedlog — sut y byddem mewn gwirionedd yn gwybod a oedd eu perfformiad wedi gwyro ers i ni eu dilysu, a phwy sy'n gwylio? Mae'r pwnc yn glir na all treial unigol ddal ymddygiad parhaus technolegau sy'n dysgu neu'n newid, ac mae "gwerthuso unwaith ac am byth" yn fodd methu a enwir y mae ei wrthgyffur yn dystiolaeth o'r byd go iawn a monitro parhaus. Mae'r cwestiwn hwn yn bwysig oherwydd bod y perygl yn dawel: gall model dirywiad deallusrwydd artiffisial neu algorithm brysbennu ddirywio wrth i gymysgedd achosion, arferion codio neu biblinellau data i fyny'r afon newid, ac yn wahanol i nodwedd sydd wedi torri nid oes dim yn methu'n amlwg — mae'r offeryn yn parhau i gynhyrchu allbynnau credadwy tra bo ei gyfradd rhybuddion ffug neu fethiannau i ganfod yn gwaethygu'n dawel. Y tensiwn i'w ddatgelu yw bod monitro yn ddiglamor ac heb ei ariannu o'i gymharu â chyffro'r gwaith o'i ddefnyddio: unwaith y bydd achos busnes wedi'i lofnodi a buddion wedi'u harchebu, ychydig o sefydliadau sy'n adnoddi'r gwaith arsylwadol rhagolygol, y metrigau gwyro, na'r perchennog a enwir sy'n eu hadolygu. Dewiswch un offeryn deallusrwydd artiffisial neu algorithmig byw ac olrheiniwch ei fywyd ar ôl ei ddefnyddio'n bendant — pa ddata arferol sy'n cael ei wylio, yn erbyn pa linell sylfaen, ar ba gylch, a phwy fyddai'n uwchgyfeirio dirywiad ac i bwy. Mae ateb gonest yn cyfaddef ble y daeth dilysu i ben wrth fynd yn fyw, yn gwahaniaethu rhwng yr offer sydd wir angen gwyliadwriaeth barhaus a'r rhai nad ydynt, ac yn ymrwymo i berchennog a enwir, metrig a rhythm adolygu yn hytrach na bwriad amwys i "gadw llygad arno".

5. Pan gaiff penderfyniad a wnawn heddiw ei gwestiynu ymhen dwy flynedd — gan gyfarwyddwr newydd, rheoleiddiwr neu'r cyhoedd — beth fydd y cofnod ysgrifenedig yn ei ddangos mewn gwirionedd, ac a fyddai'n goroesi'r craffu hwnnw? Mae'r pwnc yn trin y cofnod penderfyniadau fel seilwaith craidd: log ysgafn o'r penderfyniad, yr opsiynau, y dystiolaeth a bwyswyd, pwy a benderfynodd a phryd, a werthfawrogir am ei fod yn gwneud rhesymeg yn archwiliadwy, yn goroesi newid staff, ac yn atal yr un ddadl rhag cael ei hailadrodd bob chwarter. Mae'r cwestiwn hwn yn bwysig oherwydd bod penderfyniadau iechyd a gofal yn denu craffu rheoleiddiol, seneddol a chyhoeddus mewn ffordd y mae penderfyniadau masnachol yn anaml yn ei wneud, ac mae'r enghraifft a weithiwyd yn y pwnc hwn yn troi ar yr union beth hwn — ymhen dwy flynedd, mae cyfarwyddwr newydd yn cwestiynu offeryn a ddefnyddiwyd ac mae'r "cofnod yn ateb". Y tensiwn gwirioneddol yw rhwng cost fechan y ddisgyblaeth fesul penderfyniad a'r pwysau cronig i'w hepgor: mae ysgrifennu pam y penderfynoch yn teimlo'n fiwrocrataidd ar y pryd, a'r bobl sydd angen y cofnod fwyaf yw staff y dyfodol nad ydynt yn yr ystafell i'w fynnu. Profwch ef yn erbyn realiti drwy geisio ailadeiladu'r rhesymeg y tu ôl i ddewis sylweddol a wnaed ddeuddeg neu ddeunaw mis yn ôl — a allwch ddod o hyd i ba dystiolaeth a bwyswyd a pha ddewisiadau eraill a wrthodwyd, neu ddim ond bod penderfyniad wedi'i wneud? Mae ateb da yn wynebu a gedwir cofnodion go iawn ar gyfer penderfyniadau sylweddol neu dim ond ar gyfer y rhai hawdd, a ydynt yn cipio tystiolaeth ac opsiynau yn hytrach na chasgliadau yn unig, ac a yw unrhyw un byth yn eu darllen yn ôl — oherwydd mai theatr archwilio, nid cof sefydliadol, yw log heb ei ddarllen sy'n cynnwys casgliadau yn unig.

6. Data pwy sy'n hyfforddi ac yn dilysu ein tystiolaeth, ac a ydym yn hyderus na fyddai'n cadarnhau annhegwch — neu a ydym yn trin moeseg data fel ffurflen i'w llofnodi yn hytrach na chyfyngiad cynllunio? Mae'r pwnc yn mynnu bod gwaith tystiolaeth yn rhedeg ar ddata cleifion a bod cyfreithlondeb, caniatâd, cymesuredd a thegwch yn gyfyngiadau cynllunio, nid gwaith papur, gan rybuddio'n benodol yn erbyn setiau data rhagfarnllyd sy'n cadarnhau annhegwch ac yn erbyn "moeseg fel gwaith papur" fel modd methu. Mae'r cwestiwn hwn yn bwysig oherwydd gall technoleg a ddilyswyd ar boblogaeth anghynrychioliadol berfformio'n waeth i'r grwpiau sydd eisoes yn cael eu gwasanaethu leiaf — gall model dirywiad neu ddiagnostig a hyfforddwyd lle mae rhai ethnigrwydd, oedrannau neu gyd-forbidrwydd yn cael eu tangynrychioli gario'r tuedd honno i bob penderfyniad yn y dyfodol, ac ar raddfa genedlaethol mae set ddata a gymeradwyir yn cadarnhau'r annhegwch hwnnw ar draws y system gyfan. Y tensiwn yw bod dadansoddi tegwch yn anoddach ac yn arafach na ffigur cywirdeb blaenllaw: mae'n mynnu eich bod yn holi pwy sydd yn y data a phwy sydd ar goll, yn dadgyfuno perfformiad ar draws is-grwpiau, ac weithiau'n derbyn bod eich tystiolaeth yn wannach ar gyfer y poblogaethau y mae angen i chi eu gwasanaethu fwyaf. Gwnewch hyn yn bendant drwy gymryd offeryn diweddar neu arfaethedig a gofyn ar gofnodion pwy y'i hadeiladwyd a'i brofi, a archwiliwyd perfformiad yn ôl is-grŵp erioed, ac a oedd cymeradwyaeth llywodraethiant gwybodaeth yn ymgysylltu â thegwch o gwbl neu'n cadarnhau sail gyfreithlon yn unig. Mae ateb gonest yn gwahaniaethu rhwng craffu moesegol gwirioneddol a thicio blychau, yn cyfaddef ble na wiriwyd cynrychioldeb erioed, ac yn trin tuedd a thegwch fel cwestiynau y mae'n rhaid i'r dystiolaeth ei hun eu hateb yn hytrach na cham cydymffurfio a ychwanegir ar y diwedd.

Yn ymarferol: enghraifft iechyd a gofal#

Cynigir offeryn deallusrwydd artiffisial i ymddiriedolaeth gymunedol sy'n nodi cleifion sydd mewn perygl o ddirywio ar sail data arwyddion hanfodol. Byddai penderfyniad HiPPO yn ei ddefnyddio oherwydd bod cyfarwyddwr uchel ei barch wedi'i blesio gan demo'r cyflenwr.

Yn hytrach, mae'r ymddiriedolaeth yn trin y cyflwyniad fel damcaniaeth. Mae'n gosod yr offeryn yn yr haen risg ESF NICE sy'n briodol i dechnoleg sy'n hysbysu penderfyniadau clinigol, ac yn gofyn i'r cyflenwr am dystiolaeth o effeithiolrwydd ar y lefel honno; y peth cryfaf a gynigir yw astudiaeth fach ar un safle. Mae'r ymddiriedolaeth yn ysgrifennu model rhesymeg (rhybudd cynnar gwell → uwchgyfeirio cynharach → llai o ddirywiadau y gellid eu hosgoi) ac yn cynllunio gwerthusiad pragmatig: defnyddio mewn modd cysgodol lle caiff rhybuddion yr offeryn eu cofnodi ond heb weithredu arnynt, a'u cymharu â chanlyniadau gwirioneddol, ynghyd â chyfweliadau ansoddol â nyrsys ynghylch cyfaddasrwydd i'r llif gwaith.

Ochr yn ochr, mae'n casglu tystiolaeth darparu: a fyddai clinigwyr yn sylwi ar y rhybuddion ac yn ymddiried ynddynt mewn gwirionedd? Mae'n cynnal profion yn null A/B ar y modd y cyflwynir rhybuddion. Mae'r arweinwyr llywodraethiant gwybodaeth a diogelwch clinigol yn cymeradwyo'r defnydd o ddata a'r cofnod peryglon. Ar ôl tri mis mae'r RWE yn dangos gwelliant cymedrol ond gwirioneddol a chyfradd rhybuddion ffug dderbyniol, ac mae'r dystiolaeth darparu yn dangos bod clinigwyr yn ymgysylltu â'r rhybuddion a ailgynlluniwyd. Caiff y penderfyniad i fwrw ymlaen — gyda chyflwyno mewn camau a monitro parhaus — ei ysgrifennu i gofnod penderfyniadau sy'n dyfynnu'r dystiolaeth a bwyswyd. Ddwy flynedd yn ddiweddarach, pan fo cyfarwyddwr newydd yn cwestiynu'r offeryn, mae'r cofnod yn ateb.

Golwg drwy wahanol sectorau#

Mae gan bawb yr un ddyletswydd i gydweddu tystiolaeth â risg, ond mae'r adnoddau, y cymhellion a'r atebolrwydd o amgylch tystiolaeth yn wahanol iawn rhwng sefydliadau.

Busnes newydd#

Cyfyngiad busnes newydd yw bod tystiolaeth glinigol safon aur yn araf ac yn ddrud tra bo'r cyfnod y gall yr arian bara yn fyr, felly'r demtasiwn yw gwerthu metrigau mabwysiadu fel pe baent yn brawf o effaith glinigol. Y symudiad gonest yw gosod y cynnyrch yn yr haen ESF NICE gywir yn gynnar a bod yn agored gyda phrynwyr ynghylch y bwlch tystiolaeth, gan ddefnyddio model rhesymeg clir a gwerthusiad pragmatig rhad (peilot modd cysgodol, cyfres amser ymyrrol yn erbyn un safle) i gynhyrchu'r dystiolaeth gyntaf o'r byd go iawn. Mae cofnodion penderfyniadau'n costio fawr ddim ac yn werthfawr dros ben i dîm bach, gan gadw'r rhesymeg drwy droeon cyflym a rhoi llwybr archwilio i fuddsoddwyr a aseswyr y GIG sy'n gwneud diwydrwydd dyladwy. Y ddisgyblaeth sy'n talu ar ei hôl yw gwrthsefyll rhagdybiaeth HiPPO y sylfaenydd a thrin pob "glaniodd y demo'n dda" fel damcaniaeth i'w phrofi.

Busnes bach#

Mae gan ddarparwr bach sefydledig — practis meddyg teulu, fferyllfa gymunedol, cartref gofal, clinig un safle, cyflenwr technoleg iechyd bach sydd wedi mynd heibio'r cam busnes newydd — yr un ddyletswydd i gydweddu tystiolaeth â risg ond mae ganddo gleifion go iawn, arian tynn, a fawr ddim gallu digidol penodedig i'w wneud. Y symudiad realistig yw pwyso ar dystiolaeth y mae eraill eisoes wedi'i chynhyrchu yn hytrach na chynhyrchu eich un eich hun: defnyddiwch haen ESF NICE ac asesiad DTAC offeryn ymgeisiol fel cymesuredd parod, gofynnwch i gyflenwyr am y dystiolaeth o effeithiolrwydd clinigol sy'n briodol i'r haen, a gwrthodwch gael eich perswadio i gaffael cynnyrch heb ei asesu gan demo slic. Tystiolaeth darparu yw lle gall sefydliad bach arwain mewn gwirionedd, oherwydd ei fod yn gweld ei gleifion ei hun yn agos — mae ychydig wythnosau o arsylwi gonest ynghylch a yw staff yn defnyddio offeryn mewn gwirionedd ac a yw'n lleihau'r galw a achosir gan fethiant yn dystiolaeth o'r byd go iawn o fewn cyrraedd. Nid yw cofnod penderfyniadau un llinell — beth a ddewiswyd gennym, pa dystiolaeth a welsom, pwy a benderfynodd — yn costio fawr ddim i dîm bach ac mae'n ei amddiffyn pan fo partner yn gadael neu archwiliwr CQC yn gofyn pam. Y fagl i'w hosgoi yw tybio bod bod yn fach yn eich eithrio rhag y bar tystiolaeth; mae'r ddyletswydd i gleifion yr un fath, a dim ond yr adnoddau sy'n wahanol.

Menter fawr#

Mae gan ymddiriedolaeth GIG neu system gofal integredig y data arferol, nifer y cleifion a'r gallu dadansoddeg i wneud gwerthuso difrifol — a'r atebolrwydd sy'n ei fynnu, oherwydd bod defnyddio offeryn heb ei brofi ar raddfa yn risg i ddiogelwch clinigol ac arian cyhoeddus ar yr un pryd. Y modd methu yw sefydliadol: cyfarwyddwr uchel ei barch yn hyrwyddo demo gan gyflenwr, neu achos busnes a adeiladwyd ar fuddion a ragamcanwyd na fydd neb yn eu gwirio wedyn. Y gwrthgyffur yw ei gwneud yn ddiogel yn ddiwylliannol i ofyn i unrhyw un sy'n gwneud penderfyniadau "beth yw'r dystiolaeth?", cadw tystiolaeth glinigol a thystiolaeth darparu ar echelinau ar wahân ym mhob papur bwrdd, ac ariannu monitro parhaus o'r byd go iawn ar gyfer deallusrwydd artiffisial a gwasanaethau hirhoedlog yn hytrach na dilysu unwaith. Mae menter fferyllol neu iechyd-dechnoleg fawr yn dod â pheirianwaith treialon ffurfiol ond rhaid iddi warchod rhag tuedd cyhoeddi a ffactorau dryslyd yn y dystiolaeth o'r byd go iawn y mae'n ei chynhyrchu.

Llywodraeth#

Mae corff cenedlaethol — NICE, GIG Lloegr, yr Adran Iechyd a Gofal Cymdeithasol, yr MHRA, UKHSA — yn aml yn gosod y bar tystiolaeth y mae'n rhaid i eraill ei gyrraedd, felly mae ei ffyrdd o weithio yn llunio'r farchnad gyfan: yr ESF, DTAC, a rheoleiddio meddalwedd fel dyfais feddygol yw offerynnau atebolrwydd ar raddfa'r boblogaeth. Mae penderfyniadau yma'n denu craffu rheoleiddiol, seneddol a chyhoeddus, felly mae'r cofnod o pam yr argymhellwyd neu y caffaelwyd technoleg mor bwysig â'r penderfyniad, ac mae tryloywder ynghylch cyfyngiadau tystiolaeth yn ddyletswydd, nid cwrteisi. Y risg ar y raddfa hon yw gorfodi technoleg ar draws y system ar dystiolaeth denau, neu'r gwrthwyneb, mynnu RCT ar gyfer newid risg isel gan atal arloesedd defnyddiol. Y gwrthgyffur yw cymesuredd a wneir yn eglur mewn safonau cyhoeddedig, ynghyd â sylw i foeseg data a thegwch, oherwydd bod set ddata ragfarnllyd a gymeradwyir yn genedlaethol yn cadarnhau annhegwch ar raddfa.

Ffyrdd cyffredin o fethu#

• Penderfyniadau a yrrir gan demo. Prynu am fod arddangosiad wedi gwneud argraff ar uwch arweinydd. Gwrthgyffur: trinwch gyflwyniadau fel damcaniaethau; mynnwch dystiolaeth sy'n briodol i'r haen.
• Camgymryd defnydd am ddilysu. Dyfynnu ffigurau mabwysiadu fel prawf bod offeryn yn effeithiol yn glinigol. Gwrthgyffur: cadwch dystiolaeth glinigol a thystiolaeth darparu ar echelinau ar wahân.
• Gwerthuso unwaith ac am byth. Dilysu unwaith a pheidio byth â monitro, yn enwedig deallusrwydd artiffisial sy'n gwyro. Gwrthgyffur: tystiolaeth o'r byd go iawn a monitro parhaus.
• Parlys dadansoddi. Mynnu RCT ar gyfer newid cynnwys risg isel. Gwrthgyffur: dulliau cymesur; A/B a gwerthuso pragmatig lle mae'r risg yn isel.
• Penderfyniadau heb eu cofnodi. Dim olion o pam y gwnaed dewis, felly caiff ei ail-ddadlau ac ni ellir ei archwilio. Gwrthgyffur: log penderfyniadau ysgafn.
• Moeseg fel gwaith papur. Trin moeseg data fel ffurflen i'w llofnodi yn hytrach na chyfyngiad cynllunio. Gwrthgyffur: ymgorfforwch gyfreithlondeb, caniatâd a thegwch yn nyluniad y dystiolaeth.

Model aeddfedrwydd#

Rhestr wirio#

• Gosodir pob technoleg mewn haen risg ESF NICE, gyda thystiolaeth yn cael ei mynnu i gyd-fynd.
• Mae gan bob penderfyniad sylweddol dystiolaeth glinigol a thystiolaeth darparu, wedi'u cadw ar wahân.
• Mae model rhesymeg yn bodoli cyn adeiladu, yn enwi'r canlyniadau a'r metrigau.
• Mae'r dyluniad gwerthuso'n gymesur â risg (A/B a phragmatig ar gyfer risg isel; treialon/RWE ar gyfer risg uchel).
• Mae tystiolaeth o'r byd go iawn a monitro ar waith ar gyfer deallusrwydd artiffisial a gwasanaethau hirhoedlog.
• Mae'n ddiogel yn ddiwylliannol i ofyn i unrhyw un sy'n gwneud penderfyniadau "beth yw'r dystiolaeth?"
• Caiff pob penderfyniad sylweddol ei gipio mewn log penderfyniadau (beth, pam, tystiolaeth, pwy, pryd).
• Mae'r defnydd o ddata yn gyfreithlon, wedi'i ganiatáu, yn gymesur, ac wedi'i wirio am dueddiad a thegwch.

Prif ffynonellau#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — guidance on software and AI as a medical device.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (hierarchy of evidence).
• HM Treasury — The Magenta Book (guidance on evaluation, logic models, and evaluation designs).
• MRC — Developing and evaluating complex interventions framework.
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments (A/B testing).
• Michael Nygard — Architecture Decision Records (decision-log pattern).

Cyfeiriadau#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/