Pwnc 8.6 — Ymchwil a Gwerthuso Byd Go Iawn

Ym maes iechyd a gofal, dim ond mor ddibynadwy â'r dystiolaeth ei fod yn gweithio'n ymarferol yw arloesedd digidol — felly mae'n rhaid i chi ddylunio'r dystiolaeth honno i mewn o'r dechrau, â thrylwyredd sy'n gymesur â'r risg a'r honiadau a wnewch.

Pam mae hyn yn bwysig ym maes iechyd a gofal#

Mae pob cynnyrch digidol a ddefnyddiwch yn gwneud addewid ymhlyg: bydd hyn yn helpu cleifion, staff neu'r system heb achosi niwed. Yn y rhan fwyaf o sectorau mae addewid heb ei brofi'n costio cwsmer neu chwarter o refeniw. Ym maes iechyd a gofal gall gostio bywydau, ehangu anghydraddoldeb, neu erydu'r ymddiriedaeth gyhoeddus y mae'r system gyfan yn dibynnu arni. Nid tystiolaeth yw brwdfrydedd a demo da, ac nid prawf o fudd yw mecanwaith credadwy.

Mae hanes iechyd digidol yn llawn offer a oedd yn edrych yn argyhoeddiadol ac a fabwysiadwyd ar raddfa cyn i unrhyw un ddangos eu bod yn gweithio — a rhai a achosodd niwed yn dawel, methu diagnosis, neu yrru clinigwyr at ffyrdd osgoi. Mae rheoleiddwyr, comisiynwyr a chlinigwyr wedi ymateb drwy godi'r bar: maent bellach yn disgwyl tystiolaeth gredadwy, gymesur cyn, yn ystod ac ar ôl ei defnyddio. Os na allwch ddangos bod eich gwasanaeth yn darparu'r canlyniadau rydych yn eu hawlio, dylech ddisgwyl iddo gael ei herio, ei ddad-ariannu, neu ei dynnu'n ôl — ac yn gywir felly.

Mae tystiolaeth hefyd yn fater tegwch a diogelwch, nid rhwystr biwrocrataidd. Gall offeryn sy'n gwella canlyniadau cyfartalog niweidio is-grŵp o hyd — y rhai sydd wedi'u hallgáu'n ddigidol, pobl â Saesneg cyfyngedig, neu boblogaeth a gynrychiolwyd yn annigonol yn eich data hyfforddi. Dim ond gwerthuso bwriadol sy'n datgelu hyn. Mae cynhyrchu tystiolaeth dda felly'n rhan o'ch dyletswydd gofal, eich stiwardiaeth o arian cyhoeddus, a'ch hygrededd gyda'r bobl rydych yn eu gwasanaethu (gweler Pwnc 1.3 — Penderfyniadau Seiliedig ar Dystiolaeth, a Phwnc 1.6 — Diogelwch Clinigol a Rheoli Risg).

Cysyniadau craidd#

Dechreuwch â gwahaniaeth sy'n llywodraethu popeth arall: y gwahaniaeth rhwng ymchwil, gwerthuso gwasanaeth, ac archwilio clinigol. Nod ymchwil yw cynhyrchu gwybodaeth newydd, y gellir ei chyffredinoli — canfyddiadau y bwriedir iddynt fod yn wir y tu hwnt i'ch lleoliad lleol. Mae gwerthuso gwasanaeth yn gofyn pa mor dda y mae'r gwasanaeth hwn yn gweithio yma, gan ddefnyddio'r safonau y mae'r gwasanaeth ei hun wedi'u mabwysiadu. Mae archwilio clinigol yn cymharu ymarfer cyfredol yn erbyn safon bresennol, y cytunwyd arni ac yn cau'r ddolen â newid. Nid pedantrwydd academaidd yw'r gwahaniaeth: mae'n penderfynu eich llwybr llywodraethiant. Mae ymchwil sy'n cynnwys cleifion, staff neu ddata'r Gwasanaeth Iechyd Gwladol (GIG) bron bob amser yn gofyn am gymeradwyaeth foesegol ffurfiol; nid yw'r rhan fwyaf o werthuso gwasanaeth ac archwilio'n gwneud hynny. Mae camddosbarthu ymchwil fel gwerthuso i osgoi cymeradwyaethau yn fethiant llywodraethiant difrifol.

Yn Lloegr, mae llywodraethiant ymchwil yn rhedeg drwy'r Awdurdod Ymchwil Iechyd (HRA), corff hyd braich o'r Adran Iechyd a Gofal Cymdeithasol. Mae'r HRA yn gwarchod ac yn hyrwyddo buddiannau cyfranogwyr ac yn cydgysylltu cymeradwyaethau fel bod astudiaeth yn cael ei hadolygu unwaith i'r wlad gyfan. Cynhelir adolygiad moesegol gan Bwyllgor Moeseg Ymchwil (REC) — cyfatebol y DU i fwrdd adolygu sefydliadol — sy'n barnu a yw astudiaeth yn foesegol, yn gymesur ac yn ddiogel i gyfranogwyr. Cyflwynir ceisiadau drwy'r System Ymgeisio Ymchwil Integredig (IRAS), porth ar-lein sengl sy'n llwybro eich prosiect i'r RECau, Cymeradwyaeth yr HRA, a chaniatadau eraill sydd eu hangen arno. Mae offer penderfynu ar-lein yr HRA yn eich helpu i benderfynu a yw eich prosiect yn cyfrif fel ymchwil o gwbl.

Caiff llawer o dystiolaeth iechyd digidol bellach ei hadeiladu o ddata byd go iawn (RWD) — gwybodaeth a gesglir y tu allan i dreialon rheoledig, fel cofnodion iechyd electronig, logiau dyfeisiau, cofrestrau, a data hawliadau — a ddadansoddir i gynhyrchu tystiolaeth byd go iawn (RWE) am sut mae ymyriad yn perfformio mewn amodau cyffredin. Mae RWE yn bwerus oherwydd bod offer digidol yn cynhyrchu data defnydd cyfoethog fel sgil-gynnyrch, ac oherwydd ei fod yn adlewyrchu'r realiti anniben y mae treialon yn aml yn ei eithrio. Mae hefyd yn fregus: mae data arsylwadol yn llawn dryswch a rhagfarn, felly gall cymhariaeth naïf cyn-ac-ar-ôl gamgymryd tuedd dymhorol neu newid cydamserol am eich effaith.

Dyna pam mae dylunio gwerthusiad yn bwysig. Y dyluniad cryfaf ar gyfer honiadau achosol yw'r treial rheoledig ar hap (RCT), sy'n lleihau rhagfarn drwy ddyrannu cyfranogwyr ar hap. Mae cyd-destunau digidol yn aml yn ffafrio amrywiadau pragmatig — treialon clwstwr ar hap, a'r treial gris-letem, lle mae safleoedd yn croesi o reolaeth i ymyriad mewn tonnau ar hap, gan gyd-fynd â chyflwyno fesul cam yr oeddech am ei wneud beth bynnag. Lle nad yw randomeiddio'n ymarferol, mae dyluniadau lled-arbrofol yn helpu: mae dadansoddi cyfres amser ymyrrol (ITS) yn tracio canlyniad ar draws llawer o bwyntiau cyn ac ar ôl mynd yn fyw i ganfod newidiadau mewn lefel a thuedd, ac yn aml dyma'r dyluniad ymarferol gorau ar gyfer newid digidol ar draws y system. Cymhariaeth syml cyn-ac-ar-ôl yw'r wannaf a'r mwyaf camarweiniol, oherwydd na all wahanu eich effaith oddi wrth bopeth arall a newidiodd.

Mae dwy angor arall yn llunio'r gwaith. Gosodir y bar tystiolaeth ar gyfer iechyd digidol yn Lloegr gan y Fframwaith Safonau Tystiolaeth ar gyfer Technolegau Iechyd Digidol, a gyhoeddwyd gan y Sefydliad Cenedlaethol dros Ragoriaeth mewn Iechyd a Gofal (NICE): mae'n graddio offer yn ôl risg bosibl ac yn nodi cryfder y dystiolaeth a ddisgwylir ar gyfer pob haen. A gŵyriad parhaus i warchod rhagddo yw rhagfarn cyhoeddi — y duedd i rannu canlyniadau cadarnhaol a chladdu rhai negyddol, sy'n gwenieithu i'r maes cyfan ac yn gadael i offer aneffeithiol ledaenu.

Arferion gorau#

1. Dosbarthwch eich prosiect cyn i chi ei ddylunio. Defnyddiwch offer penderfynu'r HRA i benderfynu a yw eich gwaith yn ymchwil, gwerthuso gwasanaeth, neu archwilio, a chofnodwch y rhesymu. Mae'r un cam hwn yn gosod eich llwybr llywodraethiant, eich amserlen a'ch caniatadau. Os gwnewch y camgymeriad i'r cyfeiriad optimistaidd rydych mewn perygl o redeg ymchwil heb ei chymeradwyo ar gleifion; os gwnewch y camgymeriad i'r cyfeiriad gofalus rydych yn llwytho gwerthusiad syml â misoedd o brosesau diangen.

2. Adeiladwch werthusiad i mewn o'r dechrau, nid fel ychwanegiad. Penderfynwch beth mae "gweithio" yn ei olygu, a sut y byddwch yn ei fesur, yn ystod darganfod — cyn llinell o god cynhyrchu (gweler Pwnc 3.4 — Cyfnodau Darganfod). Cipiwch linell sylfaen cyn mynd yn fyw, oherwydd na allwch byth ei hail-lunio wedyn, ac offerynnwch y cynnyrch i allyrru'r data canlyniad a defnydd y mae eich dyluniad ei angen. Mae ôl-osod gwerthusiad ar wasanaeth byw bron bob amser yn esgor ar dystiolaeth wannach am gost uwch, ac yn aml dim llinell sylfaen ddefnyddiadwy o gwbl.

3. Cydweddwch y trylwyredd â'r risg a'r honiad. Mae offeryn trefnu sy'n ad-drefnu rhestr aros angen llai o bwysau tystiolaethol nag algorithm sy'n brysbennu poen yn y frest. Defnyddiwch Fframwaith Safonau Tystiolaeth NICE i leoli haen risg eich offeryn, a gwnewch honiadau y gall eich tystiolaeth eu dwyn: os oes gennych gyfres amser ymyrrol sy'n dangos cyfraddau peidio â mynychu is, dywedwch hynny — peidiwch ag awgrymu budd marwolaethau. Mae cymesuredd yn gwarchod cleifion rhag risg heb ddigon o dystiolaeth ac yn eich gwarchod rhag gwastraffu ymdrech yn gor-brofi offer polion isel.

4. Dewiswch y dyluniad cryfaf sy'n ymarferol, ac enwch ei derfynau. Estynnwch am randomeiddio pan allwch, a chyfrifwch dreial gris-letem pan fo cyflwyno fesul cam yn gwneud grŵp rheoli cydamserol yn amhosibl. Pan fo randomeiddio'n wirioneddol anymarferol, ffafriwch gyfres amser ymyrrol dros gyn-ac-ar-ôl naïf, a pennwch eich dadansoddiad ymlaen llaw i wrthsefyll y demtasiwn i bysgota am ganlyniad ffafriol. Mae gan bob dyluniad wendidau; datganwch eich rhai chi'n blaen fel y gall darllenwyr bwyso'r dystiolaeth yn onest.

5. Defnyddiwch ddata byd go iawn yn fwriadol, a thrinwch ddryswch fel y gelyn. Mae gwasanaethau digidol yn cynhyrchu RWD helaeth, ond nid yw helaethrwydd yn ddilysrwydd. Cynlluniwch pa ddata y byddwch yn ei ddefnyddio, ei ansawdd a'i gyflawnder, a'r rhagfarnau y mae'n eu cario, a chynhwyswch ddadansoddwr neu fethodolegydd yn gynnar yn hytrach na mwyngloddio logiau ar ôl y ffaith. Rhaggofrestrwch eich canlyniadau a'ch dadansoddiad lle bo modd fel na ellir arteithio'r data i ddweud wrthych yr hyn y gobeithiwch ei glywed.

6. Partnerwch â phobl sy'n cynhyrchu tystiolaeth fel bywoliaeth. Mae prifysgolion, y Sefydliad Cenedlaethol dros Ymchwil Iechyd a Gofal (NIHR), a'ch Rhwydwaith Arloesi Iechyd rhanbarthol — y cyrff a elwid gynt yn Rwydweithiau Gwyddor Iechyd Academaidd (AHSNau) — yn dod â thrylwyredd methodolegol, annibyniaeth, llwybrau cyllido, a hygrededd na allwch eu cynhyrchu'n fewnol. Mae gwerthuso annibynnol yn cario llawer mwy o bwysau gyda chomisiynwyr a chlinigwyr na dadansoddiad cyflenwr ei hun. Ymgysylltwch â hwy'n gynnar, oherwydd bod y dyluniadau gorau'n cael eu gosod cyn eu defnyddio, nid wedyn (gweler Pwnc 9.0 — Cydweithio â Sefydliadau Partner).

7. Mesurwch ganlyniadau ac economeg, nid dim ond gweithgaredd. Mae mewngofnodi, clicio drwodd a sgorau boddhad yn angenrheidiol ond nid yn ddigonol; mae comisiynwyr yn ariannu canlyniadau a gwerth. Lle gallwch, clymwch eich gwerthusiad wrth ganlyniadau clinigol, signalau diogelwch, tegwch ar draws is-grwpiau, a chanlyniadau cost, gan weithio gydag economegwyr iechyd i fframio budd mewn termau y mae gwneuthurwyr penderfyniadau'n eu defnyddio (gweler Pwnc 6.1 — Economeg Iechyd). Dadgyfunwch ganlyniadau bob amser yn ôl poblogaeth fel na all offeryn sy'n helpu ar gyfartaledd ond yn niweidio is-grŵp guddio y tu ôl i'r cymedr.

8. Cyhoeddwch eich canlyniadau — gan gynnwys y rhai siomedig. Ymrwymwch ymlaen llaw i rannu canfyddiadau, cadarnhaol neu negyddol, drwy adroddiad, rhagargraffiad, neu bapur a adolygwyd gan gymheiriaid. Mae cyhoeddi canlyniadau negyddol yn rhwymedigaeth broffesiynol: mae'n arbed sefydliadau eraill rhag ailadrodd eich camgymeriadau ac yn gwrthweithio'r rhagfarn gyhoeddi sy'n gadael i offer aneffeithiol amlhau. Mae diwylliant sy'n gallu dweud "fe wnaethom werthuso hyn ac ni weithiodd, felly fe wnaethom stopio" yn fwy dibynadwy, nid yn llai.

9. Caewch y ddolen a gweithredwch ar yr hyn rydych yn ei ddysgu. Gwastraff yw tystiolaeth nad yw'n newid unrhyw benderfyniad. Bwydwch ganfyddiadau yn ôl i'ch map ffordd, eich achos busnes, a'ch penderfyniadau cyflwyno fesul cam — graddio'r hyn sy'n gweithio, trwsio'r hyn sy'n hanner-weithio, a dadgomisiynu'r hyn nad yw (gweler Pwnc 8.0 — Cyflwyno Arloesedd fesul Cam). Yna ail-werthuswch, oherwydd gall offeryn digidol a weithiodd ar raddfa peilot mewn un lleoliad ymddwyn yn wahanol ar raddfa genedlaethol neu mewn poblogaeth wahanol.

Cwestiynau i'w trafod gyda'ch tîm#

1. A yw'r hyn rydym ar fin ei wneud yn ymchwil, gwerthuso gwasanaeth, neu archwilio — a pha mor hyderus ydym yn yr ateb hwnnw? Dyma'r cwestiwn cyntaf oherwydd bod yr ateb yn gosod eich llwybr llywodraethiant cyfan, ac mae canlyniadau difrifol i'w gael yn anghywir. Siaradwch drwy bwy yw eich gwrthrychau data, a ydych yn randomeiddio unrhyw beth, a ydych yn bwriadu cynhyrchu gwybodaeth y gellir ei chyffredinoli, ac a ydych yn bwriadu cyhoeddi — pob un yn arwyddion sy'n gwthio prosiect tuag at "ymchwil". Gwrthsefwch unrhyw bwysau i labelu rhywbeth fel gwerthuso yn syml am fod y llwybr cymeradwyo'n gyflymach; dyna'n union lle mae methiannau llywodraethiant yn dechrau. Defnyddiwch offeryn penderfynu'r HRA gyda'ch gilydd, yn yr ystafell, ac ysgrifennwch eich rhesymu a phwy a gytunodd arno. Nid dim ond label yw ateb da ond barn ddogfenedig, amddiffynadwy y mae eich cydweithwyr llywodraethiant gwybodaeth a diogelwch clinigol wedi'i gweld. Os ydych yn wirioneddol ansicr, y symudiad gonest yw gofyn i'r HRA neu eich swyddfa Ymchwil a Datblygu yn hytrach na dyfalu i'r cyfeiriad sy'n gweddu i'ch amserlen.

2. Beth fyddai'n cyfrif fel tystiolaeth argyhoeddiadol bod hyn yn gweithio — ac i bwy? Mae cynulleidfaoedd gwahanol yn mynnu tystiolaeth wahanol: mae clinigydd eisiau data diogelwch a chanlyniad, comisiynydd eisiau cost a gwerth, rheoleiddiwr eisiau gweld yr haen NICE briodol wedi'i bodloni, a chlaf eisiau gwybod ei fod yn ddiogel ac yn deg i bobl fel nhw. Dadleuwch beth mae "gweithio" yn ei olygu mewn gwirionedd i'ch offeryn, a pha ganlyniad fyddai'n gwneud i chi stopio — oherwydd nad yw tîm na all fynegi amod stopio mewn gwirionedd yn gwerthuso. Ystyriwch pa ddyluniad sy'n ymarferol o ystyried eich cynllun cyflwyno, eich data a'ch cyllideb, a byddwch yn onest am y cyfnewidiad rhwng trylwyredd a chyflymder. Trafodwch a oes angen gwerthuso annibynnol arnoch i gael eich credu, ac os felly, pwy ddylai ei wneud. Mae ateb da'n enwi'r gwneuthurwyr penderfyniadau, y canlyniadau a fyddai'n eu symud, y dyluniad all gynhyrchu'r canlyniadau hynny'n gredadwy, a'r trothwy y byddech yn casglu ei fod wedi methu.

3. Sut y byddwn yn trin canlyniad negyddol neu siomedig? Gofynnwch hyn cyn i chi gael y canlyniad, oherwydd bod yr ateb yn llawer mwy gonest ymlaen llaw. Archwiliwch beth fyddech yn ei wneud pe bai'r gwerthusiad yn dangos dim budd, neu fudd i'r mwyafrif ond niwed i is-grŵp wedi'i eithrio, a phwy fyddai angen ei glywed. Codwch y pwysau go iawn: cost suddedig, perthnasoedd cyflenwyr, pryder enw da, a'r cymhellion gyrfa sy'n gwneud i bobl eisiau newyddion da. Trafodwch eich ymrwymiad blaenorol i gyhoeddi waeth beth fo'r canlyniad, a pha lywodraethiant fyddai'n eich dal at yr addewid hwnnw pan fo'r canlyniad yn codi cywilydd. Mae ateb da'n trin gwerthusiad a redwyd yn dda sy'n cynhyrchu canlyniad negyddol fel llwyddiant proses, nid methiant y tîm — ac mae ganddo gynllun concrid ar gyfer dadgomisiynu'n osgeiddig, cyfathrebu'n ddidwyll, a gwarchod y bobl a ddarparodd y canfyddiad gonest.

4. Beth sy'n rhaid i ni ei gipio a'i offerynnu cyn mynd yn fyw — ac a ydym wedi'i adeiladu i mewn mewn gwirionedd? Dim ond cystal â'r llinell sylfaen a'r data y gall dynnu arnynt yw gwerthusiad, ac mae'r ddau'n llawer rhatach i'w sicrhau cyn y lansio nag ar ei ôl. Gweithiwch drwy pa gyflwr "cyn" sydd ei angen arnoch — cyfraddau derbyn, amseroedd aros, cyfraddau gwall, costau llwybr presennol — a chadarnhewch ei fod yn cael ei gofnodi nawr, wedi'i ddadgyfuno yn ôl yr is-grwpiau y gofalwch amdanynt, oherwydd na allwch byth ail-lunio llinell sylfaen y methoch ei chipio. Gwiriwch a fydd y cynnyrch ei hun yn allyrru'r data canlyniad a defnydd y mae eich dyluniad dewisedig ei angen, neu a yw'r offeryniaeth honno'n dal yn ddymuniad ôl-groniad. Dadleuwch y tensiwn amseru: mae pwysau i gludo'n aml yn stripio mesur i gwrdd â dyddiad, ac mae pob toriad o'r fath yn gwanhau'n dawel y dystiolaeth y gofynnir i chi ei chynhyrchu'n ddiweddarach. Cynhwyswch ddadansoddwr neu fethodolegydd tra bo'r dyluniad yn dal yn feddal, nid unwaith y mae'r logiau eisoes yn llifo. Mae ateb da'n rhestr goncrid o'r hyn a gipir, o pryd, ar ba fanylder, a phwy sydd wedi cadarnhau ei fod yn fyw — nid bwriad i'w ddatrys ar ôl cyflwyno.

5. Pa mor dda yw'r data rydym yn bwriadu dibynnu arno, a beth allai ddrysu ein casgliad? Mae data byd go iawn yn helaeth ond anaml yn lân, a gall siart credadwy guddio tymhoroldeb, newid gwasanaeth cydamserol, atchweliad i'r cymedr, neu newid codio nad oes a wnelo ddim â'ch offeryn. Holwch darddiad, cyflawnder ac ansawdd pob ffynhonnell rydych yn bwriadu ei defnyddio, ac enwch y rhagfarnau y mae pob un yn eu cario — pwy sydd ar goll o gofnodion electronig, pa feysydd sy'n annibynadwy, pa mor gyson y cymhwysir cod. Gofynnwch beth arall a newidiodd yn yr un ffenestr â'ch mynd yn fyw, oherwydd bydd cyfres amser ymyrrol neu gyn-ac-ar-ôl sy'n anwybyddu'r digwyddiadau hynny'n clodfori eich offeryn am effeithiau pobl eraill. Penderfynwch ymlaen llaw pa gymhariaeth neu ddyluniad sy'n rhoi'r gwrthffeithiol tecaf i chi, a pennwch y dadansoddiad ymlaen llaw fel na ellir ail-lunio'r data'n dawel i wenieithu i'r canlyniad. Mae ateb da'n dangos eich bod wedi mapio gwendidau'r data'n onest ac wedi dewis dyluniad all oroesi amheuwr yn tynnu ar bob un ohonynt.

6. Pwy ddylai redeg y gwerthusiad hwn, a pha mor annibynnol y mae angen iddo fod i gael ei gredu? Marcio eich gwaith cartref eich hun yw'r ffordd gyflymaf o gael canfyddiadau credadwy wedi'u diystyru, felly penderfynwch yn gynnar a fydd dadansoddiad cyflenwr neu fewnol yn argyhoeddi'r gynulleidfa y mae angen i chi ei symud mewn gwirionedd. Pwyswch gost ac amser ymgysylltu â thîm academaidd a gefnogir gan NIHR, prifysgol, neu Rwydwaith Arloesi Iechyd yn erbyn gwerth enw da a masnachol tystiolaeth annibynnol, y gellir ei chyhoeddi. Trafodwch ble mae'r gwrthdaro buddiannau'n eistedd — anaml y mae'r bobl a adeiladodd neu a brynodd yr offeryn yw'r bobl iawn i farnu a yw'n gweithio — a sut y byddwch yn ynysu'r gwerthusiad rhag pwysau i gynhyrchu newyddion da. Ystyriwch beth mae partneriaid yn ei ddwyn y tu hwnt i annibyniaeth: trylwyredd methodolegol, llwybrau cyllido, a safle gyda chomisiynwyr a chlinigwyr na allwch eu cynhyrchu'n fewnol. Mae ateb da'n cydweddu graddfa'r annibyniaeth â'r polion ac amheuaeth y gwneuthurwyr penderfyniadau, ac yn sicrhau'r bartneriaeth honno cyn bod y dyluniad wedi'i osod yn hytrach nag ar ôl i'r canlyniadau siomi.

Yn ymarferol: enghraifft iechyd a gofal#

Mae system gofal integredig (ICS) yn comisiynu ap monitro o bell i gleifion â methiant cronig y galon, gan obeithio lleihau derbyniadau heb eu cynllunio. Mae sleidiau'r cyflenwr yn dangos gostyngiad o 30% mewn mannau eraill, ac mae pwysau i'w gyflwyno'n gyflym ar draws pob un o'r deuddeg bwrdeistref cyn y gaeaf.

Mae arweinydd darparu digidol yn oedi i ddosbarthu'r gwaith. Gan fod yr ICS eisiau canfyddiadau y gellir eu cyffredinoli ac yn bwriadu cyhoeddi, a chan y bydd yn dadansoddi data cleifion adnabyddadwy at ddiben newydd, ymchwil yw hon, nid gwerthuso gwasanaeth — felly mae angen cais IRAS ac adolygiad REC. Yn hytrach na'i drin fel rhwystr, mae'r arweinydd yn mynd at y Rhwydwaith Arloesi Iechyd rhanbarthol a thîm ymchwil prifysgol leol a gefnogir gan NIHR, sy'n helpu i ddylunio'r astudiaeth ac yn cyd-ysgrifennu'r cais. Yn lle troi popeth ymlaen ar unwaith, maent yn mabwysiadu dyluniad gris-letem: mae'r deuddeg bwrdeistref yn mynd yn fyw mewn tonnau ar hap dros naw mis, felly mae pob bwrdeistref yn cael yr ap yn y pen draw tra bo'r dechrau graddol yn darparu cymhariaeth deg. Cipir llinell sylfaen o gyfraddau derbyn, wedi'i dadgyfuno yn ôl amddifadedd ac ethnigrwydd, cyn y don gyntaf.

Gan ddefnyddio Fframwaith Safonau Tystiolaeth NICE, mae'r tîm yn gosod yr offeryn mewn haen sy'n cario risg glinigol ac yn gosod y disgwyliad tystiolaeth yn unol â hynny, gan ragghofrestru cyfraddau derbyn, marwolaethau fel signal diogelwch, a chost fesul derbyniad a osgowyd fel canlyniadau. Naw mis yn ddiweddarach mae'r dadansoddiad interim yn sobreiddiol: mae derbyniadau cyffredinol yn gostwng yn gymedrol, ond ymhlith y garfan fwyaf difreintiedig — sy'n defnyddio'r ap leiaf — nid oes budd a chodiad pryderus mewn cyflwyniadau hwyr. Nid yw'r tîm yn claddu hyn. Maent yn ei adrodd i fwrdd yr ICS, yn oedi'r cyflwyno i'r carfanau hynny, yn ailddylunio cyflwyno ac ychwanegu cymorth dros y ffôn i gleifion sydd wedi'u hallgáu'n ddigidol, ac yn cyhoeddi'r diffyg a'r ailddylunio. Y canlyniad yw gwasanaeth sy'n helpu'n wirioneddol a bwrdd penderfynu sy'n ymddiried yn y dystiolaeth oherwydd ei fod wedi gweld y tîm yn dweud y gwir pan oedd yn brifo.

Golwg drwy wahanol sectorau#

Busnes newydd#

Mae cwmni iechyd digidol bach yn byw neu'n marw ar dystiolaeth, ond anaml y mae ganddo'r arian na'r fethodoleg fewnol i'w chynhyrchu ar ei ben ei hun. Eich llwybr credadwy cyflymaf yw partneriaeth: mae cydweithiwr academaidd a ariennir gan NIHR neu werthusiad byd go iawn gan Rwydwaith Arloesi Iechyd yn rhoi canfyddiadau annibynnol i chi y mae buddsoddwyr a phrynwyr y GIG yn eu credu mewn gwirionedd, yn llawer mwy nag erthygl wen hunan-gyhoeddedig. Byddwch yn ddisgybledig am honiadau cymesur — gorhawlio i ennill peilot yw'r ffordd gyflymaf o fethu gwerthusiad diweddarach a cholli eich enw da. Adeiladwch gipio data i mewn i bensaernïaeth eich cynnyrch o'r diwrnod cyntaf, oherwydd bod ei ôl-osod ar ôl eich rownd hadau'n ddrud ac yn esgor ar sylfaen dystiolaeth dlotach.

Busnes bach#

Disgwylir i ddarparwr bach sefydledig — practis meddyg teulu, fferyllfa gymunedol, cartref gofal, neu glinig un safle sy'n mabwysiadu offeryn digidol — werthuso'r hyn y mae'n ei ddefnyddio, ond nid oes ganddo swyddfa Ymchwil a Datblygu, methodolegydd, na bron ddwylo sbâr. Eich symudiad realistig nid yw rhedeg treial ond rhedeg gwerthusiad gwasanaeth disgybledig: cipiwch linell sylfaen syml cyn i chi droi ymlaen, cytunwch ar lond llaw o fesurau canlyniad gonest, a chofnodwch beth sy'n newid mewn gwirionedd i'ch cleifion. Pwyswch yn drwm ar seilwaith a rennir nad oes rhaid i chi ei adeiladu — eich Rhwydwaith Arloesi Iechyd, prifysgol leol, neu ffederasiwn neu rwydwaith gofal sylfaenol a all gronni data ac arbenigedd ar draws sawl safle bach. Byddwch yn arbennig o ofalus rhag derbyn honiad pennawd cyflenwr ar ei olwg pan na allwch ei wirio'n annibynnol, a byddwch yn glir bod dyletswyddau dosbarthu'n dal i fod yn berthnasol i chi hyd yn oed ar raddfa fach. Mae tystiolaeth leol gymesur, wedi'i dogfennu'n dda yn gyraeddadwy ac yn ddigon i gyfiawnhau parhau, addasu, neu ollwng yr offeryn.

Menter fawr#

Mae gan ymddiriedolaeth fawr y GIG neu ICS swyddfa Ymchwil a Datblygu, peirianwaith llywodraethiant gwybodaeth, a chysylltiadau academaidd presennol — asedau y byddai busnes newydd yn eu henvïo — ond hefyd y syrthni i ddefnyddio offer ar draws yr ymddiriedolaeth cyn eu gwerthuso. Eich her yw gwneud "gwerthuswch cyn i chi raddio" yn rhagosodiad, a gwrthsefyll momentwm contract menter wedi'i lofnodi pan fo tystiolaeth gynnar yn wan. Defnyddiwch eich graddfa fel mantais fethodolegol: mae sawl safle'n gwneud dyluniadau gris-letem a threialon clwstwr ar hap yn ymarferol mewn ffyrdd na all un clinig eu rheoli. Gochelwch rhag gwleidyddiaeth fewnol canlyniadau negyddol, lle mae buddsoddiad mawr yn creu cymhellion pwerus i ddatgan llwyddiant waeth beth fo'r canlyniad.

Llywodraeth#

Mae corff cenedlaethol — GIG Lloegr, yr Adran Iechyd a Gofal Cymdeithasol, neu lywodraeth ddatganoledig — yn gosod y rheolau y mae eraill yn eu dilyn, felly mae ei safonau tystiolaeth yn llunio'r farchnad gyfan. Ei waith yw stiwardio'r fframweithiau (system llywodraethiant yr HRA, Fframwaith Safonau Tystiolaeth NICE, DTAC) ac ariannu'r seilwaith — NIHR, Rhwydweithiau Arloesi Iechyd, amgylcheddau ymchwil dibynadwy — sy'n gadael i bawb gynhyrchu tystiolaeth dda. Pan fo'r llywodraeth yn caffael ar raddfa genedlaethol, mae'r polion tystiolaethol yn enfawr: gall cyflwyno â thystiolaeth wael ymwreiddio niwed ar draws miliynau o ddinasyddion ac mae'n wleidyddol bron yn amhosibl ei wrthdroi. Dylai felly ddal ei hun at y bar uchaf y mae'n ei ofyn gan eraill, a chyhoeddi ei werthusiadau ei hun, gan gynnwys y methiannau, i gadw ymddiriedaeth y cyhoedd.

Ffyrdd cyffredin o fethu#

• Tystiolaeth fel ôl-ystyriaeth. Defnyddio'n gyntaf a gofyn "a weithiodd?" yn ddiweddarach, heb gipio llinell sylfaen — gan eich gadael yn methu gwneud unrhyw honiad achosol credadwy.
• Camddosbarthu ymchwil fel gwerthuso. Dewis y label "gwerthuso" i osgoi cymeradwyaethau HRA a REC, gan amlygu cleifion i ymchwil heb ei chymeradwyo a'ch sefydliad i dor llywodraethiant difrifol.
• Cyn-ac-ar-ôl naïf. Cymharu dau lun a phriodoli pob newid i'ch offeryn, gan anwybyddu tymhoroldeb, mentrau cydamserol, ac atchweliad i'r cymedr.
• Metrigau gwagedd. Adrodd mewngofnodi, lawrlwythiadau a boddhad tra'n aros yn dawel am ganlyniadau clinigol, diogelwch, tegwch a chost.
• Cyfartaleddau sy'n cuddio niwed. Cyflwyno gwelliant cymedrig pennawd heb ddadgyfuno yn ôl poblogaeth, gan guddio is-grŵp y mae'r offeryn yn ei fethu neu'n ei niweidio.
• Marcio eich gwaith cartref eich hun. Dibynnu'n llwyr ar dystiolaeth a gynhyrchir gan gyflenwyr heb unrhyw werthuso annibynnol, felly nid oes unrhyw gynulleidfa amheus yn ei chredu.
• Claddu newyddion drwg. Cyhoeddi canfyddiadau cadarnhaol yn unig, gan fwydo rhagfarn gyhoeddi a gadael i offer aneffeithiol ledaenu ar draws y system.
• Gorhawlio. Ymestyn canlyniad cymedrol, dyluniad gwan yn honiad clinigol cryf na all y dystiolaeth ei gynnal.

Model aeddfedrwydd#

Rhestr wirio#

• Dosbarthwch y prosiect fel ymchwil, gwerthuso gwasanaeth, neu archwilio gan ddefnyddio offer penderfynu'r HRA, a dogfennwch y rhesymu.
• Os yw'n ymchwil, cynlluniwch y cais IRAS ac adolygiad y Pwyllgor Moeseg Ymchwil yn gynnar.
• Diffiniwch beth mae "gweithio" yn ei olygu, a'r canlyniadau a fyddai'n ei brofi, yn ystod darganfod.
• Cipiwch linell sylfaen — wedi'i dadgyfuno yn ôl is-grwpiau perthnasol — cyn mynd yn fyw.
• Lleolwch haen risg yr offeryn yn Fframwaith Safonau Tystiolaeth NICE a chydweddwch y trylwyredd â hi.
• Dewiswch y dyluniad cryfaf ymarferol (RCT, gris-letem, neu gyfres amser ymyrrol) a chofnodwch ei derfynau.
• Cynlluniwch eich ffynonellau data byd go iawn, ansawdd, a rhagfarnau; pennwch y dadansoddiad ymlaen llaw.
• Ymgysylltwch â phartner annibynnol (NIHR, prifysgol, Rhwydwaith Arloesi Iechyd) lle mae hygrededd neu gyllid yn gofyn amdano.
• Cynhwyswch ganlyniadau clinigol, signalau diogelwch, tegwch a chost — nid dim ond metrigau gweithgaredd.
• Ymrwymwch ymlaen llaw i gyhoeddi canlyniadau, gan gynnwys rhai negyddol, ac enwch ble.
• Diffiniwch amod stopio a chynllun dadgomisiynu osgeiddig cyn i chi ddechrau.
• Bwydwch ganfyddiadau yn ôl i'r map ffordd, yr achos busnes, a phenderfyniadau cyflwyno fesul cam.

Prif ffynonellau#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — "Is my study research?" decision tools, HRA Approval, and research ethics guidance.
• Integrated Research Application System (IRAS) — the single portal for UK health and social care research applications.
• National Institute for Health and Care Research (NIHR) — funding, evaluation support, and research infrastructure.
• Health Innovation Network (formerly Academic Health Science Networks) — real-world evaluation and adoption support.
• Medicines and Healthcare products Regulatory Agency (MHRA) — real-world data guidance and software/AI as a medical device.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (framework guidance).
• EQUATOR Network — reporting guidelines (CONSORT, STROBE, TRIPOD) for transparent research reporting.

Cyfeiriadau#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/