Pwnc 3.7 — Profi a Sicrhau Ansawdd

Mewn un frawddeg: Ym maes iechyd a gofal, nid cyfnod i'w wneud cyn rhyddhau yw profi a sicrhau ansawdd ond disgyblaeth barhaus sy'n darparu cyfran helaeth o'r dystiolaeth bod gwasanaeth yn ddiogel yn glinigol, yn hygyrch, yn ddiogel o ran seiberddiogelwch, ac yn addas i gyffwrdd â gofal claf.

Pam mae hyn yn bwysig ym maes iechyd a gofal#

Mae gan bob gwasanaeth digidol ddiffygion; yr unig gwestiynau yw faint, pa mor ddifrifol, ac a ydych yn dod o hyd iddynt cyn neu ar ôl i glaf gael ei effeithio. Mewn ap defnyddwyr, mae nam heb ei ganfod yn gwastraffu prynhawn defnyddiwr. Mewn system glinigol, gall ddangos alergeddau'r claf anghywir, talgrynnu dos cyffur pediatrig yn anghywir, neu ollwng atgyfeiriad yn dawel i giw nad oes neb yn ei fonitro. Profi yw'r ymdrech drefnus i ddod o hyd i'r diffygion hynny'n gynnar, a sicrhau ansawdd yw'r system ehangach o reolaethau sy'n atal ansawdd rhag dibynnu ar lwc neu ar arwriaeth.

Dyna pam mae profi ym maes TG iechyd yn anwahanadwy oddi wrth ddiogelwch clinigol. Dim ond pan fydd prawf yn dangos bod y mesur lliniaru'n gweithio ac yn dal i weithio ar ôl pob newid dilynol y caiff y peryglon a gofnodir mewn cofnod peryglon DCB0129/0160 (gweler Pwnc 1.6 — Diogelwch Clinigol a Rheoli Risg) eu lliniaru'n wirioneddol. Honiad yw achos diogelwch sy'n haeru "mae'r system yn atal presgripsiynau dyblyg" heb brawf ailadroddadwy y tu ôl iddo, nid sicrwydd. Profi yw'r sylfaen dystiolaeth o dan y ddadl diogelwch clinigol.

Mae'r polion hefyd yn ymwneud â thegwch ac ymddiriedaeth y cyhoedd. Bydd gwasanaeth na chafodd ei brofi erioed yn erbyn safonau hygyrchedd yn cau defnyddwyr anabl allan yn ddiofyn (gweler Pwnc 1.9 — Cynhwysiant Digidol a Hygyrchedd). Mae gwasanaeth a brofir â chopïau o gofnodion cleifion byw yn peryglu toriad data sy'n erydu'r ymddiriedaeth y mae'r GIG yn dibynnu arni. Ac nid yw'r arian yn ddibwys: mae ailweithio diffyg a ganfuwyd mewn gweithrediad byw yn costio sawl gwaith yn fwy na'i ddal wrth ddylunio, ac mae digwyddiad clinigol difrifol yn costio llawer mwy na'r naill na'r llall. Nid arbediad yw profi annigonol; bil gohiriedig a chwyddedig ydyw, a delir weithiau mewn niwed.

Cysyniadau craidd#

Profi yn erbyn sicrhau ansawdd. Profi yw'r weithred o ymarfer system i ddod o hyd i ddiffygion a chadarnhau ymddygiad. Sicrhau ansawdd yw'r set ehangach o brosesau — safonau, adolygiadau, diffiniadau o orffen, pyrth — sy'n adeiladu ansawdd i mewn yn hytrach na'i archwilio ar y diwedd. Mae profi'n dweud wrthych a yw'r adeiladwaith hwn yn gweithio; sicrhau ansawdd yw'r rheswm pam mae eich adeiladwaith yn tueddu i weithio o gwbl. Mae'r ddau'n bwysig, ac mae arweinwyr yn aml yn ariannu'r cyntaf gan esgeuluso'r ail.

Y pyramid profion a symud i'r chwith. Mae strategaeth brofi iach yn cynnwys llawer o brofion uned cyflym a rhad (sy'n gwirio swyddogaethau unigol), llai o brofion integreiddio (sy'n gwirio bod cydrannau'n gweithio gyda'i gilydd), ac ychydig o brofion o'r dechrau i'r diwedd sy'n araf ac yn ddrud (sy'n gwirio teithiau defnyddwyr cyfan). Mae'r "pyramid profion" hwn yn cadw adborth yn gyflym a chynnal a chadw yn fforddiadwy. Mae'n cyd-fynd â phrofi sy'n symud i'r chwith — symud profi'n gynharach yn y cylch bywyd, fel bod diffygion yn cael eu dylunio allan yn rhad yn hytrach na'u canfod mewn ras wyllt cyn rhyddhau. Mae pyramid wedi'i wrthdroi (profion o'r dechrau i'r diwedd â llaw ar y cyfan) yn araf, yn fregus, ac yn arwydd rhybudd.

Profi swyddogaethol ac anweithredol. Mae profi swyddogaethol yn gofyn "a yw'r system yn gwneud yr hyn y dylai?" — cyfrifiadau cywir, llifoedd gwaith cywir, data cywir. Mae profi anweithredol yn gofyn "pa mor dda y mae'n ymddwyn?" — perfformiad a llwyth (a yw'n parhau i ymateb pan fydd yr ymddiriedolaeth gyfan yn mewngofnodi am 08:00?), diogelwch (a ellir ei thorri?), dibynadwyedd a hygyrchedd. Ym maes iechyd a gofal, methiannau anweithredol yn aml yw'r rhai mwyaf peryglus: mae system sy'n berffaith yn swyddogaethol ond yn terfynu ar amser yn ystod galwad dadebru wedi methu'n glinigol.

Profi atchweliad. Mae profi atchweliad yn ailrhedeg profion presennol ar ôl newid i gadarnhau nad yw trwsio neu ychwanegu un peth wedi torri peth arall. Mewn systemau clinigol byw, dyma'r arfer diogelwch pwysicaf: daw'r rhan fwyaf o ddigwyddiadau meddalwedd glinigol nid o nodweddion newydd ond o newidiadau a dorrodd ymddygiad gweithredol yn dawel. Cyfres atchweliad y gellir ymddiried ynddi yw'r hyn sy'n eich galluogi i newid system fyw heb ddal eich gwynt.

Awtomeiddio profion ac integreiddio parhaus. Mae awtomeiddio profion yn defnyddio meddalwedd i redeg profion yn ailadroddadwy, fel bod cyfres fawr yn rhedeg mewn munudau ar bob newid. Ynghyd ag integreiddio parhaus — cyfuno a phrofi newidiadau'n awtomatig yn aml — mae hyn yn troi profi o ddigwyddiad achlysurol yn rhwyd ddiogelwch gyson (gweler Pwnc 3.5 — Cylchoedd Bywyd Darparu). Nid yw awtomeiddio'n disodli barn ddynol; mae'n rhyddhau pobl i wneud y profi archwiliadol a chlinigol na all peiriannau ei wneud.

Profi derbyn. Profi derbyn, ac yn benodol profi derbyn gan ddefnyddwyr (UAT), yw lle mae clinigwyr a defnyddwyr go iawn yn cadarnhau bod y system yn gweithio yn eu cyd-destun gwirioneddol cyn iddi fynd yn fyw. Mae profi derbyn gweithredol (OAT) yn cadarnhau y gellir rhedeg y gwasanaeth, ei gadw wrth gefn, a'i adfer. Mae UAT gyda gwir ddefnyddwyr terfynol yn dal yr anghysondebau llif gwaith na fydd unrhyw brawf datblygwr yn eu canfod.

Amgylcheddau profi a data profi diogel. Amgylchedd defnyddio yw system lle mae meddalwedd yn rhedeg — fel arfer haenau datblygu, profi, llwyfannu a chynhyrchu. Mae profi'n gofyn am amgylcheddau sy'n debyg i gynhyrchu ond rhaid iddynt byth ddefnyddio data cleifion byw yn ddi-hid. Mae arfer diogel yn defnyddio data synthetig (a gynhyrchir yn artiffisial) neu ddata a wnaed yn ddienw'n briodol, fel na all profi ffurflen atgyfeirio ollwng diagnosis dinesydd go iawn.

Pyrth ansawdd, diffiniad o orffen, a rheoli diffygion. Mae diffiniad o orffen yn datgan beth yw ystyr "gorffenedig" (wedi'i brofi, yn hygyrch, wedi'i ddogfennu, wedi'i adolygu o ran diogelwch) fel nad yw ansawdd yn agored i drafodaeth fesul nodwedd. Mae pyrth ansawdd yn bwyntiau gwirio y mae'n rhaid i newid eu pasio i symud ymlaen. Mae brysbennu diffygion yn broses ddisgybledig o asesu diffygion a ganfuwyd o ran difrifoldeb ac effaith glinigol, a phenderfynu beth i'w drwsio, pryd, a beth y gellir ei ryddhau fel mater hysbys.

Arferion gorau#

1. Adeiladwch y pyramid a symudwch brofi i'r chwith. Buddsoddwch mewn sylfaen eang o brofion uned ac integreiddio awtomataidd cyflym, a redir ar bob newid, fel bod diffygion yn dod i'r wyneb o fewn munudau i'w hysgrifennu yn hytrach nag wythnosau'n ddiweddarach mewn UAT. Neilltuwch brofion araf o'r dechrau i'r diwedd ar gyfer ychydig o deithiau hanfodol — y presgripsiwn, yr atgyfeiriad, paru hunaniaeth. Mae hyn yn gwneud profi'n rhatach ac yn gyflymach, a dyna sy'n peri i dimau wneud mwy ohono mewn gwirionedd.

2. Trinwch brofi atchweliad fel rheolaeth diogelwch clinigol. Cyn i unrhyw newid gyrraedd system glinigol fyw, rhaid i gyfres atchweliad awtomataidd gadarnhau bod ymddygiad presennol sy'n berthnasol i ddiogelwch yn dal i weithio. Mapiwch eich peryglon uchaf o'r cofnod peryglon DCB0129/0160 yn uniongyrchol i brofion atchweliad a enwir, fel bod newid a fyddai'n ailgyflwyno perygl hysbys yn methu'r adeiladwaith yn awtomatig. Dyma'r mecanwaith sy'n eich galluogi i ailadrodd ar systemau byw heb gronni risg glinigol ddistaw.

3. Peidiwch byth â phrofi â data cleifion byw yn ddiofyn. Darparwch amgylcheddau profi a llwyfannu â data synthetig neu ddata a wnaed yn ddienw'n gadarn, wedi'u llywodraethu gan yr un ddisgyblaeth llywodraethiant gwybodaeth a DPIA â chynhyrchu (gweler Pwnc 1.7 — Llywodraethiant Gwybodaeth, Diogelu Data a Seiberddiogelwch). Os yw prawf penodol yn gofyn yn wirioneddol am ddata tebyg i gynhyrchu, trinwch ef fel eithriad rheoledig â sail gyfreithlon ddogfenedig, lleihau data ac archwilio — nid fel cyfleustra arferol. Mae cronfa ddata brofi yn dal i fod yn gronfa ddata cleifion.

4. Profwch y gofynion anweithredol mor ddifrifol â'r rhai swyddogaethol. Rhedwch brofion perfformiad a llwyth yn erbyn galw brig realistig — trosglwyddo sifftiau, mewngofnodi fore dydd Llun, toriad rhanbarthol yn ailgyfeirio traffig — oherwydd mae system glinigol sy'n arafu i gropian dan lwyth wedi methu pan fo hynny'n bwysicaf. Cynhwyswch brofi diogelwch a phrofi hygyrchedd yn erbyn y Canllawiau Hygyrchedd Cynnwys Gwe (WCAG) fel mathau parhaol, anorfod o brofion. Mae diffygion anweithredol yn hawdd eu gohirio ac yn ddrud eu darganfod mewn cynhyrchu.

5. Awtomeiddiwch brofi hygyrchedd, yna ei wirio gyda phobl. Mae gwiriadau WCAG awtomataidd yn dal cyfran ystyrlon o broblemau (labeli coll, cyferbyniad gwael, strwythur) yn rhad ar bob adeiladwaith, ond maent yn methu'r rhai sydd bwysicaf i wir ddefnyddwyr technoleg gynorthwyol. Cyfunwch sganio awtomataidd â phrofi â llaw gan bobl sy'n defnyddio darllenwyr sgrin, llywio â bysellfwrdd yn unig, a chwyddo. Mae hygyrchedd yn ddyletswydd gyfreithiol i gyrff cyhoeddus ac yn fater diogelwch clinigol pan mai clinigydd neu glaf sy'n rheoli ei ofal ei hun yw'r defnyddiwr a gaiff ei gau allan.

6. Cynhaliwch brofi derbyn gan ddefnyddwyr gyda chlinigwyr go iawn mewn amodau realistig. Trefnwch UAT gyda'r bobl a fydd yn defnyddio'r system mewn gwirionedd — nyrsys, meddygon teulu, gweinyddwyr, fferyllwyr — gan ymarfer llifoedd gwaith go iawn, yn ddelfrydol mewn lleoliad sy'n adlewyrchu'r ward neu'r clinig, nid ystafell gyfarfod dawel. Mae eu hadborth yn dal anghysondebau llif gwaith peryglus (rhybudd a ddangosir ar yr adeg anghywir, rhagosodiad sy'n gwahodd gwall) na all profion uned eu canfod. Cyllidebwch amser cyflenwi clinigol fel bod UAT yn cael ei wneud yn iawn, nid ei wasgu i mewn ar ewyllys da.

7. Gwnewch y diffiniad o orffen a'r pyrth ansawdd yn eglur ac yn cael eu gorfodi. Cytunwch beth mae "gorffenedig" yn ei olygu yn eich cyd-destun — profion yn pasio, cydymffurfio â hygyrchedd, sgan diogelwch yn glir, adolygiad diogelwch clinigol wedi'i gwblhau, dogfennaeth wedi'i diweddaru — a'i orfodi fel porth, nid dymuniad. Mae diffiniad o orffen sy'n ysgrifenedig ond yn cael ei hepgor yn rheolaidd dan bwysau terfyn amser yn waeth na dim, oherwydd mae'n golchi gwaith anniogel fel gwaith cyflawn. Dylai pyrth fod yn awtomataidd lle bo modd fel na ellir eu hepgor yn dawel.

8. Brysbennwch a rheolwch ddiffygion gan gadw difrifoldeb clinigol yn flaenllaw. Aseswch bob diffyg nid yn unig o ran difrifoldeb technegol ond o ran effaith glinigol a thebygolrwydd, gan ddefnyddio'r un lens risg â'ch cofnod peryglon. Gall nam cosmetig aros; mae diffyg a allai gyfrannu at ddos anghywir yn rhwystro rhyddhau waeth beth fo'r dyddiad mynd yn fyw. Cynhaliwch gofrestr diffygion weladwy, a byddwch yn onest am faterion hysbys a ryddheir fel risgiau a dderbyniwyd ac a liniarwyd yn hytrach na rhai cudd.

9. Integrwch brofi i'r biblinell ddarparu, nid ar ei hôl. Gwifrwch brofion awtomataidd, sganio diogelwch a gwiriadau hygyrchedd i'r biblinell integreiddio a darparu parhaus fel bod pob newid yn cael ei brofi cyn y gall symud ymlaen (gweler Pwnc 3.5 — Cylchoedd Bywyd Darparu). Mae hyn yn gwneud ansawdd yn barhaus ac yn rhad, ac yn golygu bod y gallu i ddefnyddio atgyweiriad wedi'i brofi'n gyflym — sy'n rheolaeth diogelwch ynddo'i hun — ar gael bob amser. Mae cyfnodau profi â llaw ar ddiwedd prosiect yn araf, yn hwyr, a nhw yw'r peth cyntaf a aberthir pan fydd amser yn brin.

Cwestiynau i'w trafod gyda'ch tîm#

1. Pe baem yn newid un peth yn ein system glinigol fyw yfory, pa mor hyderus ydym y byddem yn canfod — cyn i glaf wneud — pe bai wedi torri rhywbeth arall? Mae'r cwestiwn hwn yn archwilio aeddfedrwydd eich profi atchweliad a gonestrwydd eich honiadau diogelwch. Nid methiannau newydd egsotig yw'r rhan fwyaf o ddigwyddiadau meddalwedd glinigol difrifol ond atchweliadau: newid a dorrodd ymddygiad yr oedd pawb yn tybio ei fod yn sefydlog yn dawel, a ddarganfuwyd dim ond pan gyrhaeddodd clinigydd neu glaf ef. Mae trafodaeth dda yn olrhain newid go iawn diweddar hyd at y profion a fyddai wedi dal atchweliad, ac yn gofyn a oes prawf awtomataidd y tu ôl i bob un o'r peryglon uchaf yn y cofnod peryglon DCB0129/0160 sy'n methu pan fydd y perygl yn ailymddangos. Y tensiwn i'w godi yw rhwng y pwysau i ryddhau atgyweiriadau'n gyflym a'r ddisgyblaeth o brofi na thorrodd dim arall — ac a yw eich piblinell yn gwneud y prawf hwnnw'n awtomatig neu'n ei adael i rywun gofio gwirio. Ystyriwch faint o amser y mae eich cyfres brofion yn ei gymryd i redeg, a yw'n rhedeg ar bob newid, ac a yw rhywun wedi analluogi profion sy'n methu'n dawel i gwrdd â therfyn amser. Mae ateb gonest yn gwahaniaethu rhwng "mae gennym gyfres atchweliad sy'n gysylltiedig â'n peryglon clinigol ac rydym yn ymddiried ynddi" a "rydym yn profi'r newid a wnaethom ac yn gobeithio am y gorau". Os mai'r olaf yw'r ateb, rydych yn cario risg glinigol na allwch ei gweld.

2. O ble mae ein data profi'n dod, ac a allai prawf byth ddatgelu gwybodaeth claf go iawn? Mae amgylcheddau profi yn llwybr cyffredin, na chaiff ei archwilio'n ddigonol, at doriad data, oherwydd bod timau dan bwysau'n estyn am y data realistig hawsaf — copi o gynhyrchu — ac yna mae'r cofnodion cleifion hynny'n eistedd mewn systemau profi llai gwarchodedig, ar liniaduron, neu mewn amgylcheddau cyflenwyr. Mae'r cwestiwn hwn yn gofyn i'r tîm olrhain pob amgylchedd profi a llwyfannu yn ôl i'w ffynhonnell ddata, a wynebu'n onest a yw copïau "dim ond y tro hwn" o ddata byw wedi dod yn arferol. Y cyfnewidiad i'w drafod yw realaeth yn erbyn diogelwch: mae data synthetig a data dienw yn fwy diogel ond gallant fethu'r achosion ymylol anniben y mae data go iawn yn eu cynnwys, tra bod data byw yn realistig ond yn rhwymedigaeth llywodraethiant a thoriad, ac mae gwneud data'n ddienw go iawn yn anoddach nag y mae'n ymddangos oherwydd gellir ail-adnabod cofnodion pan gânt eu cyfuno. Mae onglau pendant yn cynnwys pwy all gael mynediad i amgylcheddau profi, a yw cronfeydd data profi wedi'u hamgryptio a'u harchwilio fel cynhyrchu, ac a yw amgylcheddau profi eich cyflenwyr yn bodloni'r un bar. Mae ateb cryf yn disgrifio strategaeth fwriadol — data synthetig yn ddiofyn, gwneud data'n ddienw'n gywir, data byw dim ond fel eithriad dogfenedig, wedi'i leihau, ac o fewn amser cyfyngedig — yn hytrach na damwain yn aros am ymchwiliad llywodraethiant gwybodaeth.

3. Pan fydd y dyddiad mynd yn fyw a'r bar ansawdd yn gwrthdaro, beth sy'n ildio mewn gwirionedd — a phwy sy'n penderfynu? Mae pob prosiect darparu yn wynebu yn y pen draw yr adeg pan nad yw'r profi wedi'i orffen, pan fo diffyg heb ei ddatrys, neu pan fo cydymffurfio â hygyrchedd yn anghyflawn, a'r dyddiad lansio'n agosáu; mae'r ffordd y mae eich sefydliad yn ymddwyn ar yr adeg honno yn datgelu ai rheolaeth wirioneddol neu ddim ond dyhead yw ansawdd. Mae'r cwestiwn hwn yn gofyn i'r tîm gofio'r tro diwethaf y digwyddodd hynny a disgrifio'n onest beth a dorrwyd: ai'r ôl-groniad cosmetig oedd hwnnw, ynteu profi atchweliad, UAT, neu'r archwiliad hygyrchedd? Mae'r tensiwn yn real ac ni ddylid ei anwybyddu — mae dyddiadau'n bwysig, mae cylchoedd ariannu'n ddidrugaredd, a gall profi diddiwedd fod yn ddull methu ynddo'i hun — ond rhaid i risg glinigol a risg tegwch lywodraethu'r penderfyniad, nid pwy bynnag sy'n gweiddi uchaf. Trafodwch pwy sydd â'r awdurdod i ddal lansiad yn ôl ar sail ansawdd heb risg i'w yrfa, a yw eich diffiniad o orffen byth yn cael ei hepgor yn ffurfiol a chan bwy, ac a yw diffygion hysbys a ryddheir wrth fynd yn fyw yn cael eu cofnodi fel risgiau a dderbyniwyd neu'n cael eu claddu'n dawel. Mae ateb da yn dangos llwybr penderfynu clir ac a enwir, llinell glir y mae diffyg yn rhwystro rhyddhau o dani waeth beth fo'r dyddiad (unrhyw beth a allai gyfrannu at niwed i gleifion), a diwylliant lle mae dweud "ddim eto, nid yw'n ddiogel" yn cael ei wobrwyo yn hytrach na'i gosbi.

4. A yw ein profion yn gorchuddio'r pethau a allai niweidio claf mewn gwirionedd, neu ddim ond y pethau sy'n hawdd eu profi? Mae adeiladwaith gwyrdd yn galonogol dim ond os yw'r profion y tu ôl iddo yn ymarfer y gwir beryglon clinigol, ac mae'n anghyfforddus o gyffredin i ffigur sylw iach yr olwg eistedd ar ben cyfres sy'n gwirio gettwyr a setwyr dibwys tra bod y sgôr dirywiad, paru hunaniaeth a dangos alergeddau yn mynd heb eu profi. Mae'r cwestiwn hwn yn gofyn i'r tîm ddal y gyfres brofion yn erbyn y cofnod peryglon DCB0129/0160 a'r teithiau defnyddwyr risg uchaf a gofyn, perygl wrth berygl, "pa brawf a enwir fyddai'n methu pe bai hyn yn mynd o'i le?" Y tensiwn yw bod metrigau sylw yn gwobrwyo cyfaint, nid perthnasedd i risg, a bod timau'n cael eu temtio i fynd ar drywydd canran yn hytrach na wynebu'r achosion lletchwith, anodd eu hawtomeiddio — gwerthoedd ffin, mewnbynnau coll, cyfuniadau clinigol anarferol — sef yn union lle mae cleifion yn cael eu niweidio. Mae onglau pendant yn cynnwys adolygu a yw achosion ffin ac ymylol yn cael eu profi, a oes lle i brofi archwiliadol a chlinigol (y farn na all peiriannau ei disodli) ochr yn ochr ag awtomeiddio, ac a oes unrhyw un erioed wedi olrhain digwyddiad go iawn yn ôl i fwlch y dylai'r profion fod wedi'i ddal. Mae ateb gonest yn sôn am sylw wedi'i bwysoli yn ôl risg a gall enwi'r profion sy'n gwarchod y peryglon uchaf, yn hytrach na dyfynnu un ganran fel pe bai'n sicrwydd.

5. Pan fyddwn yn profi am hygyrchedd, a yw defnyddwyr anabl go iawn a chlinigwyr go iawn yn yr ystafell, neu ddim ond sganiwr awtomataidd? Mae gwiriadau WCAG awtomataidd yn rhad ac yn perthyn ar bob adeiladwaith, ond dim ond cyfran o'r rhwystrau sy'n cau pobl allan y maent yn eu canfod, a gall gwasanaeth basio pob rheol awtomataidd tra'n parhau i fod yn anaddas i'w ddefnyddio â darllenydd sgrin neu â bysellfwrdd yn unig. Mae'r cwestiwn hwn yn gofyn a yw eich profi hygyrchedd a'ch profi derbyn gan ddefnyddwyr yn cyrraedd pobl go iawn sy'n defnyddio technoleg gynorthwyol a chlinigwyr go iawn sy'n gweithio drwy lifoedd gwaith dilys, neu a yw "fe wnaethom brofi hygyrchedd" yn golygu'n dawel "roedd y sganiwr yn wyrdd." Y cyfnewidiad i'w godi yw cost a logisteg yn erbyn gonestrwydd: mae recriwtio defnyddwyr technoleg gynorthwyol a chyflenwi amser clinigol ar gyfer UAT realistig yn ddrud ac yn hawdd ei hepgor, ac eto hepgor hynny yw sut mae dyletswydd gyfreithiol yn cael ei thorri a sut mae anghysondeb llif gwaith peryglus — rhybudd ar yr adeg anghywir, rhagosodiad sy'n gwahodd gwall — yn cyrraedd ward fyw. Trafodwch pwy rydych yn ei gynnwys, pa mor gynrychioliadol ydynt, a yw profi'n digwydd mewn lleoliad sy'n adlewyrchu'r clinig yn hytrach nag ystafell gyfarfod dawel, a beth rydych yn ei wneud â'r hyn y maent yn ei ganfod. Mae ateb cryf yn disgrifio gwiriadau awtomataidd ynghyd â phrofi â llaw gan ddefnyddwyr anabl ac UAT dan arweiniad clinigwyr fel arfer parhaol, wedi'i gyllidebu, nid un blwch a diciwyd cyn mynd yn fyw.

6. Pan fydd newid yn croesi ffin rhwng ein system ni a system rhywun arall, pwy sy'n profi'r cymal — ac a fyddem yn gwybod pe bai wedi torri? Cydosodiadau o systemau integredig yw gwasanaethau iechyd a gofal modern — EPR, gwasanaeth asgwrn cefn cenedlaethol, ffrwd patholeg, modiwl cyflenwr trydydd parti — ac yn aml nid y tu mewn i unrhyw un gydran y mae'r diffygion mwyaf peryglus ond yn y gwythiennau rhyngddynt, lle mae newid ar un ochr i ryngwyneb yn torri'r llall yn dawel. Mae'r cwestiwn hwn yn gofyn i'r tîm fapio ei integreiddiadau hanfodol a gofyn, ar gyfer pob un, pwy sy'n berchen ar y prawf o'r dechrau i'r diwedd, pa ddata synthetig sy'n llifo ar draws y ffin, a sut y byddai newid sy'n torri mewn fersiwn gan gyflenwr yn cael ei ganfod cyn iddo gyrraedd cleifion. Y tensiwn yw nad oes unrhyw dîm sengl yn teimlo'n gwbl gyfrifol am ryngwyneb a rennir, bod contractau a byrddau cynghori ar newid yn symud ar gyflymderau gwahanol, a bod profi ar draws ffiniau sefydliadol yn araf, yn wleidyddol, ac yn hawdd ei adael i siawns. Mae onglau pendant yn cynnwys profion contract a rhyngwyneb, amgylcheddau profi a rennir, sut caiff hysbysiadau newid cyflenwyr eu trin, ac a yw eich cyfres atchweliad yn ymarfer y daith integredig (atgyfeiriad wedi'i anfon, ei dderbyn, ei gydnabod) ac nid dim ond eich hanner chi ohoni. Mae ateb gonest yn enwi pwy sy'n atebol am bob cymal ac yn dangos mecanwaith — awtomataidd lle bo modd — sy'n dal atchweliad trawsffiniol, yn hytrach na thybio bod y parti arall yn ei gael dan reolaeth.

Yn ymarferol: enghraifft iechyd a gofal#

Mae ymddiriedolaeth acíwt y GIG yn cyflwyno modiwl arsylwadau electronig a sgôr rhybudd cynnar (EWS) newydd o fewn ei chofnod cleifion electronig, gan ddisodli siartiau papur lle mae nyrsys yn cofnodi arwyddion bywyd a'r system yn cyfrifo sgôr dirywiad. Mae'r perygl clinigol yn amlwg: gallai sgôr anghywir olygu nad yw claf sy'n dirywio yn cael ei uwchgyfeirio.

Mae'r tîm yn adeiladu'r pyramid o'r dechrau. Mae profion uned yn gorchuddio cyfrifiad yr EWS yn erbyn y rheolau sgorio cenedlaethol, gan gynnwys achosion ffin (y trothwyon union lle mae sgôr yn tipio i uwchgyfeirio) a mewnbynnau lletchwith (cyfradd resbiradol ar goll, claf ar ocsigen atodol). Mae profion integreiddio'n cadarnhau bod y sgôr yn llifo'n gywir i'r rhybudd uwchgyfeirio a rhestr tasgau nyrsio. Mae set fach o brofion o'r dechrau i'r diwedd yn ymarfer y daith lawn o'r cofnodi wrth erchwyn y gwely i rybudd a sbardunwyd. Mae pob perygl yn y cofnod peryglon DCB0160 wedi'i fapio i brofion a enwir, ac mae'r gyfres gyfan yn rhedeg yn awtomatig ar bob newid yn y biblinell integreiddio parhaus.

Darperir amgylcheddau profi â chleifion synthetig — patrymau arwyddion bywyd realistig gan gynnwys llwybrau dirywio — fel nad oes unrhyw gofnod go iawn byth yn gadael cynhyrchu. Mae profi perfformiad yn efelychu rownd ward lawn wrth drosglwyddo sifft, gan gadarnhau bod rhybuddion yn tanio o fewn eiliadau dan lwyth brig. Mae profi hygyrchedd, yn awtomataidd ar bob adeiladwaith ac wedi'i wirio â llaw gyda nyrs yn defnyddio chwyddo sgrin, yn dal baner rybudd â chyferbyniad isel.

Mae UAT ar ward beilot, gyda nyrsys go iawn yn gweithio drwy sefyllfaoedd efelychiedig, yn codi nam llif gwaith nad oedd yr un datblygwr wedi'i weld: ymddangosai'r deialog cadarnhau ar ôl y sgôr, gan demtio staff i'w wrthod yn atgyrchol. Mae'r tîm yn ailddylunio'r llif ac yn ychwanegu prawf atchweliad. Wrth fynd yn fyw, rhyddheir tri diffyg cosmetig fel materion dogfenedig a dderbyniwyd; trwsiwyd dau a gyffyrddai â'r cyfrifiad ac fe wnaethant rwystro rhyddhau nes iddynt basio, ac mae'r achos diogelwch yn dyfynnu'r dystiolaeth brofi'n uniongyrchol. Chwe mis i mewn i weithrediad byw, mae newid arferol i'r rhestr tasgau yn sbarduno prawf atchweliad a fyddai, heb ei ganfod, wedi atal rhybudd uwchgyfeirio — fe'i daliwyd yn y biblinell, ei drwsio cyn ei ddefnyddio, heb gyrraedd ward byth.

Golwg drwy wahanol sectorau#

Busnes newydd#

Mae gan gwmni iechyd digidol bach y fantais o adeiladu profi awtomataidd ac integreiddio parhaus i'w DNA o'r diwrnod cyntaf, heb unrhyw broses brofi â llaw etifeddol i'w datod, a gall gyflawni iteru cyflym a diogel y byddai ymddiriedolaeth fawr yn eiddigeddus ohono. Y perygl yw trin profi fel moethusrwydd i'w ohirio wrth fynd ar drywydd cyfateb cynnyrch-marchnad, a thorri corneli ar y profi anweithredol a diogelwch clinigol nad oes yr un cwsmer cynnar yn gofyn amdano eto. Rhaid i'r sylfaenydd gofio bod rhwymedigaethau DCB0129 yn glynu wrth y gwneuthurwr waeth beth fo maint y cwmni, felly nid yw'r dystiolaeth atchweliad y tu ôl i honiad diogelwch yn ddewisol hyd yn oed cyn cael refeniw. Mae data profi synthetig hefyd yn gyfaill i fusnes newydd: mae'n osgoi'r baich llywodraethiant o drin data cleifion go iawn cyn bod gan y cwmni'r rheolaethau i wneud hynny'n ddiogel.

Busnes bach#

Fel arfer mae darparwr bach sefydledig — practis meddyg teulu, fferyllfa gymunedol, cartref gofal, neu glinig un safle — yn prynu ei systemau clinigol yn hytrach na'u hadeiladu, felly mae ei waith profi'n ymwneud â derbyn, nid adeiladu: cadarnhau bod diweddariad cyflenwr neu integreiddiad newydd yn dal i weithio'n ddiogel yn y llif gwaith go iawn cyn i staff ddibynnu arno. Heb fawr ddim gallu TG pwrpasol, yr arfer disgybledig ymarferol yw rhestr wirio fer, ailadroddadwy a redir yn erbyn y teithiau risg uchaf (trefnu apwyntiadau, rhagnodi, cofnodi arsylwadau) ar ôl pob newid gan gyflenwr, yn ddelfrydol mewn amgylchedd profi neu hyfforddi â chleifion synthetig yn hytrach na chofnodion byw. Mae'r un dyletswyddau diogelwch defnyddio a hygyrchedd DCB0160 yn berthnasol ag i ymddiriedolaeth fawr, ond heb y tîm profi, felly'r cam realistig yw pwyso ar sicrwydd y cyflenwr gan gadw'r llond llaw o wiriadau derbyn lleol y gall dim ond chi eu gwneud — a yw'n gweddu i'r ffordd y mae'r clinig hwn yn gweithio mewn gwirionedd? Mae darparwr bach sy'n hepgor hyd yn oed hyn ac yn profi newidiadau'n uniongyrchol ar gleifion byw un diweddariad gwael i ffwrdd o ddigwyddiad diogelwch na all ei ganfod.

Menter fawr#

Mae ymddiriedolaeth y GIG neu gyflenwr mawr yn rhedeg profi ar raddfa ac o dan sicrwydd llawn: amgylcheddau profi pwrpasol, UAT ffurfiol gyda chyflenwi clinigol, profi derbyn gweithredol, profi treiddiad diogelwch, a byrddau cynghori ar newid yn rheoli fersiynau i systemau clinigol byw. Yr her nodweddiadol yw etifeddiaeth — systemau mawr, hen â sylw profi awtomataidd tenau, lle mae pob newid yn codi ofn am nad oes neb yn hyderus beth y gallai ei dorri, gan gynhyrchu cylchoedd atchweliad araf, drud â llaw. Y symudiad strategol yw buddsoddi'n gyson mewn sylw profi awtomataidd o amgylch y meysydd risg uchaf, gan droi ofn yn hyder a fersiynau araf yn rhai cyflym a diogel. Mae mentrau mawr hefyd yn cario'r baich cydgysylltu o brofi ar draws systemau integredig, lle gall newid yng nghynnyrch un cyflenwr dorri cynnyrch un arall.

Llywodraeth#

Mae corff cenedlaethol yn cyflawni profi o dan y Safon Gwasanaeth, asesiadau gwasanaeth cyhoeddedig, a'r bar uchaf o atebolrwydd cyhoeddus, lle gall methiant profi mewn system genedlaethol effeithio ar filiynau a chyrraedd y Senedd. Mae profi hygyrchedd yn erbyn WCAG yn ddyletswydd gyfreithiol a orfodir ar gyrff y sector cyhoeddus, ac mae profi anweithredol ar raddfa genedlaethol — llwyth, gwydnwch, diogelwch — yn fodolaethol yn hytrach nag yn ddewisol. Yr her yw cydgysylltu sicrhau ansawdd ar draws llawer o gyflenwyr a gwasanaethau integredig, a dal diffiniad cyson o orffen ar draws rhaglen eang. Mae gwasanaethau cenedlaethol hefyd yn llunio'r ecosystem: mae'r data profi, yr offer a'r safonau y mae corff y llywodraeth yn eu gorchymyn neu'n eu cyhoeddi yn dod yn norm y mae cyflenwyr yn adeiladu iddo.

Ffyrdd cyffredin o fethu#

• Y pyramid wedi'i wrthdroi. Profi yw gwiriadau araf o'r dechrau i'r diwedd â llaw ar y cyfan; mae adborth yn araf, mae sylw'n denau, ac mae profi atchweliad yn cael ei hepgor dan bwysau amser. Gwrthwenwyn: buddsoddi mewn sylfaen eang o brofion uned ac integreiddio awtomataidd cyflym.
• Profi fel cam terfynol. Mae profi'n gam sy'n cael ei wasgu i mewn cyn mynd yn fyw a'r peth cyntaf a dorrir pan fydd yr amserlen yn llithro. Gwrthwenwyn: symud i'r chwith a gwifro profi i'r biblinell integreiddio parhaus fel ei fod yn barhaus ac yn rhad.
• Data byw mewn amgylcheddau profi. Caiff cofnodion cleifion go iawn eu copïo i systemau profi llai gwarchodedig er mwyn realaeth, gan greu toriad yn aros i ddigwydd. Gwrthwenwyn: data synthetig a dienw yn ddiofyn; data byw dim ond fel eithriad wedi'i lywodraethu.
• Adeiladwaith gwyrdd, dim hyder. Mae profion yn pasio ond yn gorchuddio pethau dibwys tra bod y gwir beryglon clinigol heb eu profi. Gwrthwenwyn: mapio profion yn benodol i'r cofnod peryglon a'r teithiau risg uchaf.
• Hygyrchedd fel blwch ticio awtomataidd. Caiff sgan awtomataidd sy'n pasio ei drin fel cydymffurfiaeth tra na chaiff defnyddwyr technoleg gynorthwyol go iawn byth eu cynnwys. Gwrthwenwyn: cyfuno gwiriadau awtomataidd â phrofi â llaw gan ddefnyddwyr anabl.
• Y diffiniad o orffen a hepgorir. Diffinnir "gorffenedig" ond fe'i diystyrir yn rheolaidd dan bwysau terfyn amser, gan lansio gwaith anniogel fel gwaith cyflawn. Gwrthwenwyn: awtomeiddio pyrth a rhoi'r awdurdod i rywun ddal lansiad yn ôl ar sail ansawdd.

Model aeddfedrwydd#

Rhestr wirio#

• Mae pyramid profion yn bodoli: sylw awtomataidd eang o ran uned/integreiddio, ychydig o brofion o'r dechrau i'r diwedd, pob un yn rhedeg mewn integreiddio parhaus.
• Mae'r peryglon uchaf yn y cofnod peryglon DCB0129/0160 pob un wedi'i fapio i brofion atchweliad awtomataidd a enwir.
• Mae cyfres atchweliad yn rhedeg a rhaid iddi basio cyn i unrhyw newid gyrraedd system glinigol fyw.
• Mae amgylcheddau profi a llwyfannu yn defnyddio data synthetig neu ddienw; ni ddefnyddir data cleifion byw yn ddi-hid byth.
• Rhedir profi perfformiad a llwyth yn erbyn galw brig realistig ar gyfer teithiau clinigol hanfodol.
• Mae profi diogelwch a phrofi hygyrchedd WCAG (awtomataidd ynghyd â llaw gyda defnyddwyr technoleg gynorthwyol) yn fathau parhaol o brofion.
• Cynhelir profi derbyn gan ddefnyddwyr gyda chlinigwyr go iawn mewn amodau realistig, gydag amser llenwi bylchau wedi'i gyllidebu.
• Mae diffiniad o orffen a phyrth ansawdd wedi'u gorfodi yn bodoli ac nid ydynt yn cael eu hepgor yn dawel dan bwysau terfyn amser.
• Caiff diffygion eu brysbennu yn ôl effaith glinigol, a chaiff materion hysbys a ryddheir wrth fynd yn fyw eu cofnodi fel risgiau a dderbyniwyd ac a liniarwyd.
• Dyfynnir tystiolaeth brofi'n uniongyrchol yn adroddiad achos diogelwch clinigol.

Prif ffynonellau#

• NHS England Digital — DCB0129 and DCB0160 clinical risk management standards; hazard log and clinical safety case report.
• NHS England — NHS Service Standard and NHS Digital Service Manual (accessibility, testing, and operating a reliable service).
• GOV.UK Service Manual (Government Digital Service) — testing, test data and environments, accessibility, and continuous delivery guidance.
• W3C Web Accessibility Initiative — Web Content Accessibility Guidelines (WCAG) 2.2 and testing techniques.
• NHS England — Digital Technology Assessment Criteria (DTAC), including clinical safety, technical assurance, and usability/accessibility.
• ISTQB (International Software Testing Qualifications Board) — foundational testing terminology and test levels.
• Public Sector Bodies (Websites and Mobile Applications) Accessibility Regulations 2018.
• Mike Cohn — the test pyramid concept; Martin Fowler / Continuous Delivery (Humble & Farley) — test automation and CI/CD practice.

Cyfeiriadau#

1. Software testing — Wikipedia — https://en.wikipedia.org/wiki/Software_testing
2. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
3. Unit testing — Wikipedia — https://en.wikipedia.org/wiki/Unit_testing
4. Integration testing — Wikipedia — https://en.wikipedia.org/wiki/Integration_testing
5. Shift-left testing — Wikipedia — https://en.wikipedia.org/wiki/Shift-left_testing
6. Non-functional testing — Wikipedia — https://en.wikipedia.org/wiki/Non-functional_testing
7. Regression testing — Wikipedia — https://en.wikipedia.org/wiki/Regression_testing
8. Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
9. Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
10. Acceptance testing — Wikipedia — https://en.wikipedia.org/wiki/Acceptance_testing
11. Web Content Accessibility Guidelines — Wikipedia — https://en.wikipedia.org/wiki/Web_Content_Accessibility_Guidelines
12. Deployment environment — Wikipedia — https://en.wikipedia.org/wiki/Deployment_environment
13. Synthetic data — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_data
14. Clinical risk management standards DCB0129 and DCB0160 — NHS England (Clinical Safety) — https://digital.nhs.uk/services/clinical-safety
15. NHS service standard and NHS digital service manual — NHS England — https://service-manual.nhs.uk/
16. Testing your service, and test data and environments — Government Digital Service, GOV.UK Service Manual — https://www.gov.uk/service-manual/technology
17. Web Content Accessibility Guidelines (WCAG) 2.2 — W3C Web Accessibility Initiative — https://www.w3.org/WAI/standards-guidelines/wcag/
18. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-tools/digital-technology-assessment-criteria-dtac/
19. Public Sector Bodies (Websites and Mobile Applications) Accessibility Regulations 2018 — UK Government / GOV.UK — https://www.legislation.gov.uk/uksi/2018/952/contents/made
20. Continuous Delivery — Jez Humble and David Farley — https://continuousdelivery.com/