Pwnc 10.1 — Dangosyddion Perfformiad Allweddol (DPAau)

Rhif bach, wedi'i ddewis yn ofalus, sy'n dweud wrthych a yw gwasanaeth yn ddiogel, yn deg, yn effeithiol ac yn ddibynadwy yw dangosydd perfformiad allweddol (DPA) — ac ym maes iechyd a gofal mae dewis a darllen y rhifau hynny'n dda ei hun yn fater diogelwch clinigol ac atebolrwydd cyhoeddus, nid gwaith tŷ gweinyddol.

Pam mae hyn yn bwysig ym maes iechyd a gofal#

Ym maes iechyd a gofal, mae'r rhifau rydych yn eu gwylio'n llunio'r gofal y mae pobl yn ei dderbyn. Gall DPA rhestr aros sy'n cyfrif "cleifion a archebwyd" ond nid "cleifion a welwyd" guddio carfan sy'n dirywio'n dawel gartref. Bydd dangosfwrdd gwasanaeth digidol sy'n wyrdd ar amser gweithredu ond yn dawel ar a all defnyddwyr anabl gwblhau archeb yn gadael i broblem mynediad dyfu'n anghydraddoldeb iechyd. Mae'r hyn rydych yn ei fesur yn arwyddo'r hyn rydych yn ei werthfawrogi, ac mae staff, cyflenwyr ac algorithmau i gyd yn optimeiddio tuag at y targed a fesurir — weithiau ar draul y peth heb ei fesur a oedd yn bwysig mewn gwirionedd.

Mae'r polion yn uwch yma nag yn y rhan fwyaf o sectorau oherwydd bod y dulliau methu'n ddynol. Canfu ymchwiliadau Mid Staffordshire ac eraill dro ar ôl tro sefydliadau a gyrhaeddodd eu targedau ariannol a gweithgarwch pennawd tra bo ansawdd gofal yn cwympo oddi tanynt. Adroddwyd metrigau i fyny'n wyrdd tra bo cleifion yn dioddef niwed — y patrwm a elwir bellach yn eang yn "adrodd watermelon" (gwyrdd ar y tu allan, coch ar y tu mewn), y mae Pwnc 10.4 — Gwelededd i'r Prif Weithredwr ac Uwch Arweinwyr yn ei archwilio'n fanwl. Mae DPAau da'n un o'ch amddiffynfeydd yn erbyn y bwlch hwnnw rhwng y darlun a adroddir a'r un go iawn.

Mae DPAau hefyd yn gwario arian cyhoeddus ac ymddiriedaeth y cyhoedd. Mae pob dangosydd a gyhoeddwch yn dod yn rhan o sut mae dinasyddion, rheoleiddwyr a chomisiynwyr yn barnu'r system. Nid rheoli gwael yn unig yw gorhawlio, dewis yn ddetholus, neu gamio targed; mae'n erydu'r ymddiriedaeth y mae iechyd digidol yn dibynnu arni i gael pobl i rannu data a mabwysiadu gwasanaethau newydd. Y pwnc hwn yw'r partner mesur i Bwnc 10.0 — Amcanion a Chanlyniadau Allweddol (OKRau): lle mae OKRau'n gyrru newid â ffocws, mae DPAau'n monitro iechyd parhaus y gwasanaethau a'r systemau rydych yn eu rhedeg.

Cysyniadau craidd#

Mae dangosydd perfformiad, neu DPA, yn fetrig a ddewisir oherwydd ei fod yn adlewyrchu cynnydd yn erbyn amcan sy'n bwysig. Mae metrig perfformiad yn unrhyw fesuriad o weithgarwch neu gyflwr; DPA yw'r is-set rydych wedi'i dyrchafu'n fwriadol i "gwyliwch yr un hwn". Mae'r gair allweddol yn dwyn llwyth — os yw popeth yn DPA, nid yw dim. Disgyblaeth ddefnyddiol yw dal llond llaw o DPAau fesul gwasanaeth, pob un â pherchennog a enwir, diffiniad, ffynhonnell data, a rheswm dros ennill ei le ar y bwrdd.

Mae gan DPA da bedwar priodwedd. Mae'n gysonedig â chanlyniad sy'n wirioneddol bwysig i gleifion, dinasyddion neu glinigwyr, nid dim ond gweithgarwch mewnol. Mae'n weithredadwy — pan fydd yn symud, gall rhywun wneud rhywbeth yn ei gylch. Mae'n amserol — mae'n cyrraedd yn ddigon buan i weithredu arno, nid chwe wythnos ar ôl i'r chwarter gau. Ac mae'n anodd ei gamio — ni ellir ei wella ar bapur heb wella'r peth go iawn. Mae metrigau sy'n methu'r prawf olaf yn gwahodd cyfraith Goodhart: "pan fo mesur yn dod yn darged, mae'n peidio â bod yn fesur da."

Rhennir dangosyddion yn gyffredin yn flaenllaw ac ar ei hôl hi. Mae dangosydd ar ei hôl hi yn cadarnhau canlyniad ar ôl y ffaith (marwolaethau 30 diwrnod, boddhad blynyddol cleifion). Mae dangosydd blaenllaw yn symud yn gynharach ac yn rhagfynegi'r un ar ei hôl hi (cyflawnder cysoni meddyginiaeth, amlder defnyddio, cyfran yr atgyfeiriadau a frysbennwyd o fewn 24 awr). Mae angen y ddau arnoch: mae dangosyddion ar eu hôl hi'n dweud wrthych a ydych yn ennill, mae dangosyddion blaenllaw'n dweud wrthych mewn pryd i newid y canlyniad. Mae llawer o fframweithiau economaidd a gweithredol yn disgrifio'r gwahaniaeth blaenllaw/ar ei hôl hi hwn.

Hollt cyfochrog a chyfartal bwysig yw mesurau proses, allbwn a chanlyniad. Mae mesur proses yn cyfrif a wnaethoch y peth (apwyntiadau a gynigiwyd, cofnodion a fudwyd). Mae mesur allbwn yn cyfrif yr hyn a gynhyrchwyd (llythyrau a anfonwyd, profion a ganlyniadwyd). Mae mesur canlyniad yn cipio'r hyn a newidiodd mewn gwirionedd i'r person — mesur canlyniad fel gwelliant symptomau, derbyniad a osgowyd, neu sgôr ansawdd bywyd a adroddir gan y claf. Mae gan systemau iechyd a gofal duedd gronig tuag at weithgarwch oherwydd bod gweithgarwch yn hawdd ei gyfrif ac yn aml yn sut mae arian yn llifo. Gwrthsefwch ef: rhowch flaenoriaeth i ganlyniadau a phrofiad, a defnyddiwch fesurau proses fel y dangosyddion blaenllaw sy'n eu hegluro.

Gan nad oes unrhyw rif unigol yn ddiogel ar ei ben ei hun, defnyddiwch fesur cytbwys. Mae disgyblaeth y cerdyn sgorio cytbwys gan Kaplan a Norton yn paru pob mesur perfformiad ag eraill fel bod gwella un ar draul un arall yn dod yn weladwy. Mae'r Institute for Healthcare Improvement yn ffurfioli hyn fel mesurau canlyniad, proses, a chydbwyso — mae'r mesur cydbwyso'n gwylio am y niwed y gallai eich gwelliant ei achosi mewn man arall (rhyddhau cyflymach wedi'i gydbwyso yn erbyn ailderbyniad, er enghraifft).

Nid yw pob rhif sy'n codi'n gynnydd. Mae metrig gwagedd yn edrych yn drawiadol ac yn codi'n ddibynadwy ond nid yw'n llywio penderfyniad — cyfanswm defnyddwyr cofrestredig, mewngofnodi cronnus, golygon tudalen. Poblogeiddiodd y mudiad lean startup y cyferbyniad rhwng metrigau gwagedd a gweithredadwy: mae metrig gweithredadwy'n clymu newid a wnaethoch wrth newid mewn ymddygiad neu ganlyniad y gallwch weithredu arno. Cyfrifon cronnus yw'r arwydd clasurol — dim ond codi y maent byth yn ei wneud, felly ni allant byth signalu bod rhywbeth o'i le.

Yn olaf, gwahaniaethwch fesur ar gyfer gwella oddi wrth fesur ar gyfer barn. Mae barn yn gofyn "a gyrhaeddoch y targed y mis hwn?" ac yn lleihau proses fyw i gymhariaeth dau-bwynt, coch-neu-wyrdd yn erbyn y cyfnod diwethaf — cymhariaeth sydd bron bob amser yn ystadegol ddiystyr oherwydd na all wahanu signal oddi wrth sŵn. Mae gwella'n gofyn "a yw'r broses hon yn newid, ac a allwn ymddiried yn y newid?" ac yn ei ateb â rheoli prosesau ystadegol (SPC): plotio metrig dros amser ar siart rhedeg neu siart reoli â therfynau rheoli, fel y gallwch weld a yw amrywiad yn sŵn arferol (achos cyffredin) neu'n signal gwirioneddol (achos arbennig) sy'n werth gweithredu arno. Mae rhaglen Making Data Count GIG Lloegr wedi gwneud hyn yn y ffordd a argymhellir i gyflwyno data gweithredol ar draws y GIG, yn union i ladd yr atgyrch "i fyny ar y mis diwethaf, i lawr ar y targed" sy'n gyrru penderfyniadau gwael.

Arferion gorau#

1. Dechreuwch o'r canlyniad, yna gweithiwch yn ôl at y dangosydd. Enwch y peth y mae'n rhaid iddo fod yn wir i glaf, dinesydd neu glinigydd — llai o dderbyniadau osgoadwy, mynediad cyflymach, meddyginiaeth ddiogel — a dim ond wedyn gofynnwch beth fyddai'n dweud wrthych ei fod yn digwydd. Mae hyn yn eich cadw rhag y fagl ragosodedig o fesur yr hyn y mae eich systemau'n digwydd ei logio. Os na allwch gysylltu DPA ymgeisiol â chanlyniad y mae unrhyw un yn gofalu amdano, mae'n debyg ei fod yn fetrig gwagedd.

2. Cadwch y set yn fach a rhowch berchennog a diffiniad i bob DPA. Dylai bwrdd neu wasanaeth wylio llond llaw o DPAau, nid hanner cant. Mae angen diffiniad manwl gywir ar bob un (beth sy'n cyfrif, beth sy'n cael ei eithrio, dros ba gyfnod), perchennog a enwir sy'n atebol amdano, a ffynhonnell ddata ddogfenedig. Diffiniadau amwys yw sut mae dau dîm yn dadlau am fis am rif yr oeddent yn ei fesur yn wahanol.

3. Cydbwyswch bob DPA fel na ellir ei gamio ar ei ben ei hun. Ar gyfer pob mesur, gofynnwch "sut y gallai person rhesymegol wella'r rhif hwn heb wella'r peth go iawn, a pha fesur cydbwyso fyddai'n eu dal?" Parwch fynediad â diogelwch, trwybwn ag ailderbyniad, cost â phrofiad, cyflymder darparu â chyfradd methu newid. Mae setiau cytbwys yn gwneud camio'n weladwy ac yn anrhydeddu'r realiti bod canlyniadau iechyd a gofal yn aml-ddimensiwn.

4. Rhowch flaenoriaeth i fesurau canlyniad a phrofiad dros weithgarwch. Mae cyfrifon gweithgarwch yn hudolus oherwydd eu bod yn helaeth ac yn aml wedi'u clymu wrth ariannu, ond maent yn ateb "pa mor brysur oeddem ni?" nid "a oedd yn helpu?". Lle gallwch, dyrchafwch fesurau canlyniad a mesurau profiad a chanlyniad a adroddir gan gleifion (PREMau a PROMau) i'r set DPAau, a gostyngwch weithgarwch crai i'r haen gefnogol. Lle mae canlyniad yn araf neu'n anodd ei fesur, dewiswch fesur proses blaenllaw wedi'i ddilysu sy'n ei ragfynegi'n ddibynadwy.

5. Cyflwynwch DPAau fel cyfresi amser gydag SPC, nid cymariaethau dau-bwynt. Mabwysiadwch ddull Making Data Count: plotiwch y metrig yn null siart rhedeg neu siart reoli fel y gellir gwahaniaethu amrywiad achos cyffredin a signalau achos arbennig ar un olwg. Mae hyn yn atal timau rhag ymateb i sŵn, dathlu mis lwcus, neu gael eu cosbi am un anlwcus. Mae hefyd yn newid y sgwrs yn yr ystafell fwrdd o "pam y methon ni?" i "a yw'r broses wedi newid mewn gwirionedd?" — sef y cwestiwn gwella (gweler Pwnc 10.2 — Gwella Ansawdd a Gwyddor Gwella).

6. Segmentwch DPAau yn ôl poblogaeth i ddatgelu anghydraddoldeb. Mae rhif cyfanredol yn cuddio'r dosbarthiad. Gall amser aros cyfartalog "da" guddio bod cleifion o'r cymdogaethau mwyaf difreintiedig, neu'r rhai y mae angen cyfieithydd arnynt, yn aros yn llawer hwy. Torrwch bob DPA sy'n berthnasol i degwch i lawr yn ôl amddifadedd, ethnigrwydd, oedran, anabledd a mynediad digidol, yn unol â dyletswyddau tegwch iechyd a fframweithiau fel Core20PLUS5 y GIG. Mewn gwasanaethau digidol, segmentwch gyfraddau mabwysiadu a chwblhau hefyd — gall ffigur defnydd pennawd guddio bod eich gwasanaeth yn eithrio'n union y bobl sydd ei angen fwyaf (gweler Pwnc 4.5 — Data, Dadansoddeg a Rheoli Iechyd Poblogaeth).

7. Trinwch ansawdd data fel rhagofyniad, a'i fesur. Dim ond mor ddibynadwy â'r data oddi tano yw DPA. Tracwch ansawdd data y meysydd y mae eich DPAau'n dibynnu arnynt — cyflawnder, dilysrwydd, amseroldeb, cwmpas — gan ddefnyddio offerynnau fel Mynegai Aeddfedrwydd Ansawdd Data'r GIG, a dangoswch ymwadiadau ansawdd data ochr yn ochr â'r rhif. Os yw 30% o gofnodion yn colli'r maes, dywedwch hynny ar y dangosfwrdd; mae DPA sy'n edrych yn hyderus ac a adeiladwyd ar ddata gwael yn waeth na dim DPA.

8. Defnyddiwch fetrigau darparu ar gyfer y gwasanaeth digidol ei hun, a ddewiswyd â'r un trylwyredd. Ar gyfer y feddalwedd rydych yn ei hadeiladu a'i rhedeg, mae pedwar allwedd DevOps Research and Assessment (DORA) — amlder defnyddio, amser arwain ar gyfer newid, cyfradd methu newid, ac amser i adfer gwasanaeth — yn rhoi golwg gytbwys ar gyflymder a sefydlogrwydd. Maent yn gwrthsefyll camio fel set: ni allwch gludo'n gyflymach drwy dorri pethau, oherwydd bydd cyfradd methu newid ac amser adfer yn ei ddal. Ategwch hwy â DPAau dibynadwyedd a diogelwch sy'n bwysig yn glinigol, fel cyfraddau digwyddiadau ac argaeledd swyddogaethau hanfodol i ddiogelwch (gweler Pwnc 3.6 a Phwnc 3.8).

9. Haenwch eich adrodd fel bod pob cynulleidfa'n cael yr uchder cywir. Mae tîm rheng flaen angen mesurau proses manwl, amser real; mae bwrdd gwasanaeth angen llond llaw cytbwys ag SPC; mae arweinyddiaeth system angen ychydig wedi'u curadu o fesurau canlyniad a thegwch. Dyluniwch yr haenau'n fwriadol fel bod y golwg uchaf yn gyfanred onest o'r rhai oddi tano, nid is-set a ddewiswyd â llaw sy'n gwenieithu. Dyma eich amddiffyniad strwythurol yn erbyn adrodd watermelon (Pwnc 10.4).

10. Adolygwch a ymddeolwch DPAau ar amserlen. Mae dangosyddion yn dadfeilio: gall mesur a yrrodd welliant go iawn ddod yn ddefod a gamiwyd unwaith y mae'r ymddygiad y targedodd wedi'i ymwreiddio, ac mae risgiau newydd yn ymddangos nad oes dim yn eu gwylio. Rhowch DPAau ar adolygiad rheolaidd lle gofynnwch o bob un "a yw hwn yn dal i ddweud rhywbeth wrthym rydym yn gweithredu arno?" a ymddeolwch y pren marw. Nid yw set DPAau hen yn niwtral: mae'n camgyfeirio sylw'n weithredol.

Cwestiynau i'w trafod gyda'ch tîm#

1. Ar gyfer pob un o'n DPAau pennawd, sut y gallai rhywun wella'r rhif heb wella'r realiti — ac a fyddem yn sylwi? Dyma brawf straen cyfraith Goodhart, a'r ffordd orau o'i wneud yw fel ymarfer gwrthwynebol bwriadol. Cymerwch bob DPA a gofynnwch i'r tîm chwarae rôl gwasanaeth dan straen sy'n ceisio ei daro: rhyddhau cyn hanner nos i ailosod y cloc, ail-fandio claf sy'n aros, cau ac ailagor tocyn i ailosod amser datrys, cofrestru defnyddwyr mewn swp nad ydynt byth yn dychwelyd. Y pwynt nid sinigiaeth am gydweithwyr ond cydnabyddiaeth bod pwysau ynghyd â tharged un-rhif yn cynhyrchu ystumiadau rhagweladwy, yn enwedig pan fo tâl, enw da, neu gosbau contract yn pwyso ar y ffigur. Mae ateb da'n enwi'r llwybr camio penodol ar gyfer pob DPA ac yn nodi'r mesur cydbwyso neu'r gwiriad data a fyddai'n ei ddatgelu — ac yn fflagio'n onest unrhyw DPA lle nad oes gennych unrhyw ddiogelwch o'r fath ar hyn o bryd. Os na ellir amddiffyn metrig fel hyn, dylai'r drafodaeth ddod i ben â phenderfyniad i'w baru, ei ailddiffinio, neu ei ollwng.

2. Pa rai o'n rhifau ydym ni'n eu hadrodd ar gyfer gwella, a pha rai ar gyfer barn — ac a ydym yn cyflwyno pob un mewn ffordd sy'n cyfateb? Mae timau'n rheolaidd yn cymryd metrig a adeiladwyd i helpu gwasanaeth ddysgu a'i roi, yn ddigyfnewid, i bwyllgor sy'n ei ddefnyddio i ddal rhywun yn atebol, neu'r gwrthwyneb. Mae'r tensiwn yn real: mae arweinwyr angen sicrwydd, ac mae gwella angen diogelwch i weld problemau'n onest, ac ni all yr un siart wasanaethu'r ddau bob amser heb ystumio. Cerddwch drwy eich pecynnau bwrdd a gweithredol gwirioneddol a labelwch wir ddiben pob metrig, yna gofynnwch a yw'r cyflwyniad yn ffitio — a ydych yn dangos cymhariaeth coch/gwyrdd dau-bwynt lle byddai siart SPC yn atal ymatebion pen-glin i sŵn? Bydd ateb da, gonest yn cyfaddef lle mae diwylliant barn wedi ymlusgo i fforymau gwella (gan wneud i staff guddio problemau) a lle mae naratifau gwella amwys yn cael eu defnyddio i osgoi atebolrwydd cyfreithlon. Y nod yw dewis ymwybodol fesul metrig, ag SPC fel y cyflwyniad rhagosodedig, yn hytrach na llanast damweiniol.

3. A yw ein DPAau'n datgelu neu'n cuddio anghydraddoldeb, a phrofiad pwy sydd ar goll ohonynt yn gyfan gwbl? Mae DPAau cyfanredol yn gyfforddus yn union oherwydd eu bod yn cyfartaleddu i ffwrdd y bobl ar yr ymylon, ac ym maes iechyd a gofal yr ymylon hynny yw lle mae niwed osgoadwy'n crynhoi. Trafodwch pa rai o'ch dangosyddion sydd wedi'u segmentu yn ôl amddifadedd, ethnigrwydd, anabledd, oedran a mynediad digidol — a pha rai sy'n dal i gael eu hadrodd fel un ffigur ar draws y system gyfan a allai edrych yn iach tra bo is-grŵp yn cael ei fethu. Gwthiwch ymhellach at y bobl nad ydynt byth yn mynd i mewn i'ch data o gwbl: cleifion na allent fynd heibio'r mewngofnodi, a adawodd y ffurflen ddigidol, na chafodd eu hatgyfeirio erioed, a wrthododd rannu'r maes demograffig rydych yn segmentu yn ôl. Mae ateb cryf yn nodi o leiaf un DPA lle newidiodd segmentu'r stori neu y byddai'n ei newid, yn cydnabod terfynau ansawdd data a chaniatâd ar segmentu'n onest, ac yn ymrwymo i gam penodol — hyd yn oed dirprwy neu astudiaeth ansoddol fach — i weld y rhai anweladwy ar hyn o bryd. Mae unrhyw beth llai'n mentro dangosfwrdd sy'n dechnegol gywir ac yn foesol ddall.

4. Faint o DPAau ydym ni'n eu gwylio mewn gwirionedd, a pha rai y byddem yn colli dim wrth eu hymddeol? Dim ond os yw'r set yn fach y mae'r gair allweddol yn golygu rhywbeth, ac eto mae dangosyddion yn cronni'n gyflymach nag y mae neb yn eu tynnu — dychweliad cenedlaethol yma, metrig cytundebol acw, rhif y gofynnodd cyn-gyfarwyddwr amdano ac nad yw neb wedi meiddio ei ollwng ers hynny. Y tensiwn yw bod pob DPA yn teimlo'n amddiffynadwy ar ei ben ei hun, felly mae'r set yn tyfu nes bod pecynnau bwrdd yn gan tudalen nad oes neb yn eu darllen a'r signalau gwirioneddol bwysig wedi'u claddu ymhlith metrigau zombi a gynhyrchir allan o arfer. Cerddwch eich adrodd gwirioneddol a chyfrwch y dangosyddion yn onest, yna gofynnwch o bob un a weithredodd unrhyw un arno yn y flwyddyn ddiwethaf a pha benderfyniad y mae'n ei lywio; y metrigau sy'n goroesi'r un o'r ddau brawf yw pren marw sy'n dal i ddefnyddio amser dadansoddwyr ac yn gwanhau sylw. Mae ateb da'n enwi rhif penodol y byddwch yn ei ddal fesul gwasanaeth, yn nodi o leiaf un DPA i'w hymddeol yn gyfan gwbl, ac yn rhoi adolygiad wedi'i drefnu ar waith fel bod y set yn aros wedi'i churadu yn hytrach na chwyddo'n dawel eto. Byddwch yn wyliadwrus o'r atgyrch bod hymddeol metrig yn gyfaddefiad o fethiant — mae tynnu disgybledig yn arwydd o aeddfedrwydd, nid esgeulustod.

5. Faint rydym yn ymddiried mewn gwirionedd yn y data o dan bob DPA pennawd, ac a yw'r dangosfwrdd yn dweud hynny? Mae rhif sy'n edrych yn hyderus a adeiladwyd ar faes sydd 30% yn anghyflawn yn fwy peryglus na dim rhif o gwbl, oherwydd ei fod yn gwahodd penderfyniadau na all y data eu cynnal tra'n gwisgo awdurdod ffigur glân. Ym maes iechyd a gofal mae hyn yn acíwt: mae meysydd demograffig sydd eu hangen ar gyfer segmentu tegwch yn aml yn denau, mae arfer codio'n amrywio rhwng safleoedd, a gall yr act o ddigideiddio proses bapur ei hun newid yr hyn a gofnodir a phryd. Trafodwch, ar gyfer pob DPA, a ydych yn gwybod ei gyflawnder, dilysrwydd, amseroldeb a chwmpas, ac a yw'r ymwadiadau hynny'n teithio gyda'r rhif ar y pecyn bwrdd neu'n cael eu stripio'n dawel wrth iddo symud i fyny. Mae ateb cryf yn pwyntio at offeryn concrid — gwiriad ansawdd data, y DQMI, trothwy cyflawnder islaw y caiff metrig ei fflagio — ac yn dangos o leiaf un lle y dangosir ymwadiad ansawdd data ochr yn ochr â'r DPA yn hytrach na'i guddio. Mae'r fersiwn onest yn cyfaddef lle rydych ar hyn o bryd yn adrodd rhif na allwch sefyll y tu ôl iddo'n llawn, ac yn trin trwsio'r data fel rhan o'r DPA, nid eitem ôl-groniad ar wahân.

6. A yw haenau ein hadrodd yn crynhoi'n onest, a ble y gallai coch droi'n wyrdd ar y ffordd i'r bwrdd? Mae cynulleidfaoedd gwahanol yn haeddiannol angen uchderau gwahanol — mae tîm rheng flaen eisiau mesurau proses manwl amser real, mae bwrdd eisiau llond llaw cytbwys ag SPC, mae system eisiau ychydig wedi'u curadu o ganlyniadau — ond mae pob cyfanrediad yn gyfle i'r darlun sylfaenol gael ei lyfnhau, ei gyfartaleddu neu ei ddewis â llaw yn rhywbeth mwy cyfforddus na'r gwir. Dyma wreiddyn strwythurol adrodd watermelon: po fwyaf o haenau rhwng y ward a'r bwrdd, y mwyaf o fannau y gellir gwastatáu dosbarthiad yn gymedr tawelu, neu nodi safle sy'n cael trafferth yn erbyn un cryf. Dilynwch un DPA o'i ffynhonnell rheng flaen yr holl ffordd i'r olwg uchaf a gofynnwch a yw ffigur y gweithredwr yn gyfanred ffyddlon neu'n is-set sy'n gwenieithu, a phwy — os oes unrhyw un — sy'n archwilio'r crynhoi hwnnw. Mae ateb da'n dangos bod haenau adrodd wedi'u dylunio'n fwriadol â diffiniadau a pherchnogion y cytunwyd arnynt, yn nodi o leiaf un pwynt lle gallai'r cyfanrediad guddio problem, ac yn enwi'r mesur cydbwyso neu'r drilio i lawr sy'n cadw'r olwg uchaf yn wir. Mae gonestrwydd yma'n golygu cyfaddef lle mae'r crynhoi ar hyn o bryd yn cael ei gymryd ar ymddiriedaeth yn hytrach na'i wirio (gweler Pwnc 10.4).

Yn ymarferol: enghraifft iechyd a gofal#

Mae system gofal integredig (ICS) yn lansio gwasanaeth atgyfeirio digidol sy'n gadael i feddygon teulu atgyfeirio'n uniongyrchol i ffisiotherapi cyhyrysgerbydol (MSK) cymunedol, gan ddisodli proses bapur a ffacs. Greddf bwrdd y rhaglen yw adrodd dau DPA: nifer yr atgyfeiriadau digidol a dderbyniwyd, ac amser gweithredu'r system. O fewn tri mis mae'r ddau'n gryf o wyrdd — miloedd o atgyfeiriadau, 99.9% o amser gweithredu — ac mae'r bwrdd yn barod i ddatgan llwyddiant.

Mae'r cyfarwyddwr clinigol yn anesmwyth ac yn gofyn i'r tîm dadansoddeg (gan weithio â'r patrwm ym Mhwnc 4.5) ailadeiladu'r set DPAau o amgylch canlyniadau. Maent yn glanio ar lond llaw cytbwys: amser o atgyfeiriad i gyswllt cyntaf (mynediad, a ddangosir fel siart SPC), cyfran yr atgyfeiriadau a ddychwelir neu a wrthodir fel rhai anghyflawn (signal ansawdd blaenllaw), sgôr canlyniad a adroddir gan y claf wrth ryddhau (canlyniad), mesur profiad byr (a oeddech yn teimlo'n rhan o'r penderfyniadau?), a chyfradd methu newid ar gyfer rhyddhau'r gwasanaeth (sefydlogrwydd darparu). Segmentir pob mesur mynediad a chanlyniad yn ôl degradd amddifadedd ac a oedd angen cymorth digidol ar y claf.

Mae'r olwg a ailadeiladwyd yn dweud stori wahanol iawn. Mae amser gweithredu'n wirioneddol iawn, ond mae'r gyfradd dychwelyd-i-atgyfeiriwr yn 22% — mae un o bob pump atgyfeiriad yn bownsio oherwydd bod y ffurflen ddigidol yn gwneud hanes testun rhydd yn orfodol, felly mae meddygon teulu'n ei gamio drwy deipio "gweler atodiad" ac mae'r tîm brysbennu'n eu gwrthod. Mae'r siart SPC yn dangos bod amser mynediad yn sefydlog ond yn eistedd ymhell uwchlaw'r targed heb unrhyw duedd welliant. Ac mae segmentu'n datgelu bod cleifion yn y ddau ddegradd mwyaf difreintiedig hanner mor debygol o gwblhau'r llwybr hunan-atgyfeirio yr oedd y gwasanaeth yn eu gwthio tuag ato'n dawel, gan ehangu bwlch yr oedd y rhaglen wedi tybio ei fod yn ei gau. Nid oedd dim o hyn yn weladwy yn y ddau rif gwyrdd gwreiddiol. Mae'r bwrdd yn ailddylunio'r ffurflen, yn ychwanegu llwybr atgyfeirio â chymorth, ac yn cadw'r set DPAau gytbwys, segmentedig, seiliedig ar SPC fel ei olwg sefydlog — â'r cyfrif atgyfeiriadau crai wedi'i ostwng i fetrig cefnogi lle mae'n perthyn.

Golwg drwy wahanol sectorau#

Busnes newydd#

Mae busnes newydd iechyd digidol yn byw neu'n marw ar ychydig o fetrigau gweithredadwy, felly'r ddisgyblaeth yw ffocws diddiwedd a gonestrwydd. Mae sylfaenwyr yn cael eu temtio i ddangos metrigau gwagedd i fuddsoddwyr — lawrlwythiadau cronnus, cyfanswm defnyddwyr cofrestredig — oherwydd dim ond codi y maent byth yn ei wneud; gwrthsefwch, ac arweiniwch ag actifadu, cadw, a, lle gallwch ei fesur, canlyniad clinigol neu ddirprwy wedi'i ddilysu. Â niferoedd bach, mae SPC a segmentu'n anoddach ond hyd yn oed yn bwysicach: gall llond llaw o brofiadau gwael fod eich holl signal diogelwch. Offerynnwch y cynnyrch o'r diwrnod cyntaf fel bod pob DPA yn clymu newid a gludwyd gennych wrth newid mewn ymddygiad go iawn, a byddwch yn onest â phartneriaid clinigol a rheoleiddiol am derfynau ansawdd data yn hytrach na chaboli set ddata denau.

Busnes bach#

Mae darparwr bach sefydledig — practis meddyg teulu, fferyllfa gymunedol, cartref gofal, asiantaeth gofal cartref, clinig un safle, neu gyflenwr technoleg iechyd bach y tu hwnt i'r cam cyn-refeniw — yn cario'r un dyletswyddau mesur a thegwch ag ymddiriedolaeth fawr ond heb unrhyw ddadansoddwr pwrpasol a fawr o amser sbâr. Y fagl yw boddi yn y DPAau y mae dychweliadau cenedlaethol, CQC, a chomisiynwyr eisoes yn eu mynnu wrth fesur dim sy'n eich helpu i redeg y lle; y gwrthwenwyn yw dewis llond llaw gwirioneddol fach o fesurau canlyniad a phrofiad y gallwch weithredu arnynt mewn gwirionedd, a phwyso ar yr hyn y mae eich system glinigol neu reoli practis bresennol eisoes yn ei gipio yn hytrach nag adeiladu offeryniaeth newydd. Mae SPC yn dal i fod yn werth chweil hyd yn oed â llaw neu mewn taenlen — bydd siart rhedeg syml o, dyweder, amser-i-apwyntiad wythnosol yn eich atal rhag mynd ar ôl sŵn un wythnos wael. Mae segmentu'n bwysig yr un mor ar y raddfa hon, ond â niferoedd bach gall cwpl o gleifion unigol siglo canran, felly darllenwch ddadansoddiadau fel anogaeth i edrych yn agosach yn hytrach na dyfarniad. Byddwch yn onest â chomisiynwyr am derfynau ansawdd data gweithrediad darbodus, a gwrthsefwch fabwysiadu dangosfwrdd hanner cant-metrig sefydliad mawr pan fydd pum rhif a ddewiswyd yn dda'n gwasanaethu eich cleifion yn well.

Menter fawr#

Mae ymddiriedolaeth fawr y GIG neu gyflenwr technoleg iechyd eisoes yn boddi mewn dangosyddion — dychweliadau cenedlaethol, DPAau cytundebol, metrigau bwrdd, dangosfyrddau gweithredol — felly'r her yw curadu a chydlyniad, nid casglu. Mabwysiadwch SPC ar draws adrodd bwrdd a gweithredol (fel y bwriada Making Data Count) i atal y mynd ar ôl sŵn misol, ac adeiladwch haenau adrodd penodol fel bod golwg y gweithredwr yn gyfanred onest o'r un rheng flaen. Adrodd watermelon yw risg graddfa menter: po fwyaf o haenau rhwng y ward a'r bwrdd, yr hawsaf i goch droi'n wyrdd ar y ffordd i fyny, felly buddsoddwch yn y mesurau cydbwyso ac ymwadiadau ansawdd data sy'n cadw'r olwg uchaf yn wir. Ymddeolwch DPAau etifeddol yn fwriadol; mae sefydliadau mawr yn cronni metrigau zombi nad oes neb yn gweithredu arnynt ond y mae pawb yn dal i'w cynhyrchu.

Llywodraeth#

Mae corff cyhoeddus cenedlaethol neu leol yn gosod DPAau sy'n crychdonni ar draws system gyfan ac yn dod yn dargedau gwleidyddol, sy'n gwneud cyfraith Goodhart yn berygl systemig yn hytrach nag un lleol — mae targed amser aros cenedlaethol yn ail-lunio blaenoriaethau clinigol ym mhobman dros nos. Dyluniwch ddangosyddion a gyhoeddir gan wybod y byddant yn cael eu hoptimeiddio tuag atynt, parwch hwy â mesurau cydbwyso a segmentu tegwch, a byddwch yn dryloyw am ddiffiniadau ac ansawdd data oherwydd bod ymddiriedaeth y cyhoedd yn dibynnu arno. Mae fframweithiau fel Fframwaith Canlyniadau'r GIG a Core20PLUS5 yn bodoli'n union i gadw sylw cenedlaethol ar ganlyniadau ac anghydraddoldebau yn hytrach na gweithgarwch crai. Mae'r llywodraeth hefyd yn cario dyletswydd nad yw'r lleill yn ei chario: mesur y bobl y mae ei gwasanaethau'n eu heithrio, nid dim ond y bobl y maent yn eu gwasanaethu, oherwydd anaml y mae'r rhai a eithrir yn ymddangos yn y data gweinyddol.

Ffyrdd cyffredin o fethu#

• Cyfrif gweithgarwch a'i alw'n llwyddiant. Atgyfeiriadau a dderbyniwyd, mewngofnodi, apwyntiadau a gynigiwyd — nid yw prysur yr un peth ag effeithiol. Dyrchafwch ganlyniadau a phrofiad; gostyngwch weithgarwch i'r haen gefnogol.
• Y rhif unigol heb unrhyw fesur cydbwyso. Bydd unrhyw DPA unigol dan bwysau'n cael ei gamio. Parwch fesurau bob amser fel bod gwella un ar draul un arall yn weladwy.
• Adrodd coch/gwyrdd dau-bwynt. Nid yw "i lawr ar y mis diwethaf, islaw'r targed" yn dweud bron dim wrthych a newidiodd y broses. Defnyddiwch siartiau rhedeg a rheoli SPC yn lle.
• Dangosfyrddau watermelon. Cyfanrediad sy'n troi coch sylfaenol yn wyrdd arwyneb. Adeiladwch haenau adrodd onest ac archwiliwch y crynhoi (Pwnc 10.4).
• Metrigau gwagedd. Cyfrifon cronnus, sy'n codi'n barhaus, na allant signalu problem. Ffafriwch fetrigau gweithredadwy wedi'u clymu wrth benderfyniad.
• Dallineb tegwch heb ei segmentu. Cyfartaleddau sy'n cuddio'r bobl sy'n cael eu methu. Segmentwch yn ôl poblogaeth a hela am bwy sydd ar goll yn gyfan gwbl.
• DPAau wedi'u hadeiladu ar ddata heb ei archwilio. Mae rhif hyderus ar ddata gwael yn camarwain. Mesurwch a datgelwch ansawdd data ochr yn ochr â'r DPA.
• DPAau zombi. Metrigau sy'n dal i gael eu cynhyrchu allan o arfer na weithredir arnynt gan neb. Adolygwch a ymddeolwch ar amserlen.

Model aeddfedrwydd#

Rhestr wirio#

• Gellir olrhain pob DPA at ganlyniad sy'n bwysig i glaf, dinesydd neu glinigydd.
• Mae'r set DPAau fesul gwasanaeth yn fach, ac mae gan bob un berchennog, diffiniad ysgrifenedig, a ffynhonnell ddata a enwir.
• Mae gan bob DPA o leiaf un mesur cydbwyso fel na ellir ei gamio ar ei ben ei hun.
• Blaenoriaethir mesurau canlyniad a phrofiad; mae gweithgarwch crai yn eistedd yn yr haen gefnogol.
• Cyflwynir DPAau gweithredol fel siartiau rhedeg/rheoli SPC, nid cymariaethau coch/gwyrdd dau-bwynt.
• Segmentir DPAau sy'n berthnasol i degwch yn ôl amddifadedd, ethnigrwydd, anabledd, oedran a mynediad digidol.
• Caiff ansawdd data'r meysydd y tu ôl i bob DPA ei dracio a'i ymwadu ar y dangosfwrdd.
• Mesurir darparu'r gwasanaeth digidol â set gytbwys (e.e. pedwar allwedd DORA ynghyd â diogelwch/dibynadwyedd).
• Dyluniwyd haenau adrodd fel bod y golwg uchaf yn gyfanred onest o'r un rheng flaen.
• Adolygir DPAau ar amserlen, â metrigau marw neu rai a gamiwyd yn cael eu hymddeol.
• Rydych wedi gofyn, ar gyfer pob DPA, "pwy sydd ar goll o'r rhif hwn yn gyfan gwbl?"

Prif ffynonellau#

• NHS England — Making Data Count (statistical process control for NHS operational data)
• Institute for Healthcare Improvement — Science of Improvement: outcome, process, and balancing measures
• NHS England — NHS Outcomes Framework; Core20PLUS5 approach to reducing healthcare inequalities
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (DORA metrics); Google Cloud DORA State of DevOps reports
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — Measuring success / measuring the performance of your service
• The Health Foundation — guidance on measurement for improvement

Cyfeiriadau#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php