Viðfangsefni 8.6 — Rannsóknir og raunheimsmat

Í heilbrigðis- og velferðarþjónustu er stafræn nýjung aðeins jafn áreiðanleg og sönnunargögnin um að hún virki í raun — svo þú verður að hanna þau sönnunargögn inn frá byrjun, með nákvæmni í réttu hlutfalli við áhættuna og fullyrðingarnar sem þú gerir.

Hvers vegna þetta skiptir máli í heilbrigðis- og velferðarþjónustu#

Sérhver stafræn vara sem þú setur upp gefur ósagt loforð: þetta mun hjálpa sjúklingum, starfsfólki eða kerfinu án þess að valda skaða. Í flestum geirum kostar ósannað loforð viðskiptavin eða ársfjórðungs tekjur. Í heilbrigðis- og velferðarþjónustu getur það kostað mannslíf, víkkað ójöfnuð eða rýrt almannatraustið sem allt kerfið hvílir á. Áhugi og góð kynning eru ekki sönnunargögn, og sennilegur vélbúnaður er ekki sönnun á ávinningi.

Saga stafrænnar heilbrigðisþjónustu er full af tólum sem litu sannfærandi út og voru tekin upp í stórum stíl áður en nokkur hafði sýnt að þau virkuðu — og sumum sem hljóðlega ollu skaða, misstu af greiningum eða knúðu klíníska starfsmenn til krókaleiða. Eftirlitsaðilar, pantendur og klínískir starfsmenn hafa brugðist við með því að hækka kröfuna: þeir vænta nú trúverðugra, hlutfallslegra sönnunargagna fyrir, meðan á og eftir útfærslu. Ef þú getur ekki sýnt fram á að þjónusta þín skili niðurstöðunum sem þú fullyrðir ættir þú að búast við að hún verði véfengd, afskrifuð eða dregin til baka — og réttilega.

Sönnunargögn eru líka jafnræðis- og öryggismál, ekki skrifræðishindrun. Tól sem bætir meðalniðurstöður getur samt skaðað undirhóp — stafrænt útilokaða, fólk með takmarkaða ensku eða þýði sem er vanfulltrúað í þjálfunargögnum þínum. Aðeins vísvitandi mat afhjúpar þetta. Að framleiða góð sönnunargögn er því hluti umönnunarskyldu þinnar, ráðsmennsku þinnar yfir opinberu fé og trúverðugleika þíns gagnvart fólkinu sem þú þjónar (sjá Viðfangsefni 1.3 — Sönnunargagnabyggðar ákvarðanir og Viðfangsefni 1.6 — Klínískt öryggi og áhættustýring).

Lykilhugtök#

Byrjaðu á greinarmun sem stýrir öllu öðru: muninum á rannsókn, þjónustumati og klínískri úttekt. Rannsókn miðar að því að búa til nýja, almenna þekkingu — niðurstöður sem ætlað er að vera sannar umfram staðbundið umhverfi þitt. Þjónustumat spyr hve vel þessi þjónusta virkar hér, með stöðlunum sem þjónustan sjálf hefur tekið upp. Klínísk úttekt ber núverandi starfshætti saman við fyrirliggjandi, samþykktan staðal og lokar lykkjunni með breytingu. Greinarmunurinn er ekki fræðileg smámunasemi: hann ákvarðar stjórnarháttaleið þína. Rannsóknir sem fela í sér sjúklinga, starfsfólk eða gögn NHS þarfnast næstum alltaf formlegs siðasamþykkis; mest þjónustumat og úttektir gera það ekki. Að rangflokka rannsókn sem mat til að sniðganga samþykki er alvarleg stjórnarháttabilun.

Á Englandi liggur rannsóknastjórnun gegnum Health Research Authority (HRA), armslengdarstofnun heilbrigðis- og félagsmálaráðuneytisins. HRA verndar og eflir hagsmuni þátttakenda og samræmir samþykki svo rannsókn sé yfirfarin einu sinni fyrir allt landið. Siðfræðileg yfirferð er framkvæmd af Research Ethics Committee (REC) — breska jafngildinu við rannsóknarsiðanefnd (institutional review board) — sem dæmir hvort rannsókn sé siðleg, hlutfallsleg og örugg fyrir þátttakendur. Umsóknir eru sendar gegnum Integrated Research Application System (IRAS), eina vefgátt sem beinir verkefni þínu til REC, HRA Approval og annarra leyfa sem það þarfnast. Vefákvörðunartól HRA hjálpa þér að ákvarða hvort verkefni þitt teljist yfirleitt rannsókn.

Mikið af stafrænum heilbrigðissönnunargögnum er nú byggt úr raunheimsgögnum (RWD) — upplýsingum safnað utan stýrðra rannsókna, svo sem rafrænum sjúkraskrám, tækjaskrám, skrám og kröfugögnum — greindum til að framleiða raunheimssönnunargögn (RWE) um hvernig inngrip stendur sig við venjulegar aðstæður. RWE er öflug því stafræn tól mynda auðug notkunargögn sem aukaafurð, og því hún endurspeglar sóðalegan raunveruleikann sem rannsóknir útiloka oft. Hún er líka brothætt: athugunargögn eru full af truflunarbreytum og hlutdrægni, svo barnalegur fyrir-og-eftir samanburður getur ruglað árstíðabundinni þróun eða samhliða breytingu við áhrif þín.

Þess vegna skiptir hönnun matsins máli. Sterkasta hönnun fyrir orsakafullyrðingar er enn slembiröðuð samanburðarrannsókn (RCT), sem dregur úr hlutdrægni með því að úthluta þátttakendum af handahófi. Stafrænt samhengi kýs oft raunsæjar afbrigði — klasa-slembiraðaðar rannsóknir og þrepaskiptar fleygrannsóknir (stepped-wedge), þar sem staðir fara úr samanburði í inngrip í slembiröðuðum bylgjum, sem passar við þrepaða útfærslu sem þú ætlaðir að gera hvort sem er. Þar sem slembiröðun er óframkvæmanleg hjálpa hálf-tilraunahönnun: rofin tímaröð (interrupted time series) (ITS) greining rekur niðurstöðu yfir marga punkta fyrir og eftir gangsetningu til að greina breytingar á stigi og þróun, og er oft besta framkvæmanlega hönnunin fyrir kerfisbreiða stafræna breytingu. Einfaldur fyrir-og-eftir samanburður er veikasti og villandi, því hann getur ekki aðgreint áhrif þín frá öllu öðru sem breyttist.

Tvö akkeri móta vinnuna enn frekar. Sönnunargagnastiginn fyrir stafræna heilbrigðisþjónustu á Englandi er settur af Evidence Standards Framework for Digital Health Technologies, gefnum út af National Institute for Health and Care Excellence (NICE): hann flokkar tól eftir mögulegri áhættu og tilgreinir styrk sönnunargagna sem vænst er fyrir hvert þrep. Og þrálát röskun til að gæta gegn er útgáfuhlutdrægni — tilhneigingin til að deila jákvæðum niðurstöðum og grafa neikvæðar, sem smjaðrar fyrir öllu sviðinu og leyfir óvirkum tólum að dreifast.

Bestu starfsvenjur#

1. Flokkaðu verkefni þitt áður en þú hannar það. Notaðu ákvörðunartól HRA til að ákvarða hvort vinna þín sé rannsókn, þjónustumat eða úttekt, og skráðu rökstuðninginn. Þetta eina skref setur stjórnarháttaleið þína, tímalínu og leyfi. Fáðu það rangt í bjartsýnu áttina og þú átt á hættu að keyra ósamþykkta rannsókn á sjúklingum; fáðu það rangt í varkáru áttina og þú íþyngir einföldu mati með mánuðum af óþarfa ferli.

2. Byggðu mat inn frá byrjun, ekki sem áfasta viðbót. Ákveddu hvað „að virka“ þýðir og hvernig þú munt mæla það, í könnun — áður en framleiðslukóðalína er skrifuð (sjá Viðfangsefni 3.4 — Könnunaráfangar). Fangaðu grunnlínu fyrir gangsetningu, því þú getur aldrei endurbyggt hana eftir á, og tækjavæddu vöruna til að senda frá sér niðurstöðu- og notkunargögnin sem hönnun þín þarfnast. Að endurbæta mat á lifandi þjónustu skilar nær alltaf veikari sönnunargögnum á hærra verði, og oft engri nothæfri grunnlínu yfirleitt.

3. Samræmdu nákvæmni við áhættu og fullyrðingu. Bókunartól sem endurraðar biðlista þarfnast minni sönnunargagnaþyngdar en reiknirit sem flokkar brjóstverk. Notaðu NICE Evidence Standards Framework til að finna áhættuþrep tóls þíns, og gerðu fullyrðingar sem sönnunargögn þín geta borið: ef þú hefur rofna tímaröð sem sýnir minnkað hlutfall ókominna, segðu það — gefðu ekki í skyn dánartíðniávinning. Hlutfallsleiki verndar sjúklinga frá vanstuddri áhættu og verndar þig frá að sóa fyrirhöfn í að ofsanna lítilvæg tól.

4. Veldu sterkustu framkvæmanlegu hönnunina, og nefndu takmörk hennar. Teygðu þig í slembiröðun þegar þú getur, og íhugaðu þrepaskipta fleygrannsókn þegar þrepuð útfærsla gerir samtímis samanburðarhóp ómögulegan. Þegar slembiröðun er ósvik óframkvæmanleg, kjóstu rofna tímaröð fram yfir barnalegan fyrir-og-eftir samanburð, og forskilgreindu greiningu þína til að standast freistinguna að veiða hagstæða niðurstöðu. Sérhver hönnun hefur veikleika; segðu þína látlaust svo lesendur geti vegið sönnunargögnin heiðarlega.

5. Notaðu raunheimsgögn vísvitandi, og meðhöndlaðu truflunarbreytur sem óvininn. Stafrænar þjónustur mynda gnótt RWD, en gnótt er ekki réttmæti. Áætlaðu hvaða gögn þú munt nota, gæði þeirra og heilleika og hlutdrægnina sem þau bera, og fáðu greinanda eða aðferðafræðing að frá byrjun frekar en að grafa í skrám eftir á. Skráðu niðurstöður og greiningu fyrirfram þar sem hægt er svo gögnin verði ekki pínd til að segja þér það sem þú vonaðist til að heyra.

6. Vinndu með fólki sem framleiðir sönnunargögn að atvinnu. Háskólar, National Institute for Health and Care Research (NIHR) og staðbundna Health Innovation Network ykkar — stofnanirnar áður þekktar sem Academic Health Science Networks (AHSN) — koma með aðferðafræðilega nákvæmni, sjálfstæði, fjármögnunarleiðir og trúverðugleika sem þú getur ekki framleitt innanhúss. Sjálfstætt mat vegur langtum þyngra hjá pöntendum og klínískum starfsmönnum en eigin greining birgis. Virkjaðu þau snemma, því bestu hönnunirnar eru settar fyrir útfærslu, ekki eftir (sjá Viðfangsefni 9.0 — Samstarf við samstarfsstofnanir).

7. Mældu niðurstöður og hagfræði, ekki bara virkni. Innskráningar, smellir og ánægjueinkunnir eru nauðsynleg en ekki nægjanleg; pantendur fjármagna niðurstöður og virði. Hvar sem þú getur, tengdu mat þitt við klínískar niðurstöður, öryggismerki, jafnræði yfir undirhópa og kostnaðarafleiðingar, vinnandi með heilsuhagfræðingum til að ramma ávinning á máli sem ákvörðunaraðilar nota (sjá Viðfangsefni 6.1 — Heilsuhagfræði). Sundurliðaðu alltaf niðurstöður eftir þýði svo tól sem hjálpar að meðaltali en skaðar undirhóp geti ekki falið sig bak við meðaltalið.

8. Birtu niðurstöður þínar — þar með vonbrigðaniðurstöður. Skuldbindu þig fyrirfram til að deila niðurstöðum, jákvæðum eða neikvæðum, gegnum skýrslu, forprent eða ritrýnda grein. Að birta neikvæðar niðurstöður er fagleg skylda: það hlífir öðrum skipulagsheildum við að endurtaka mistök þín og vinnur gegn útgáfuhlutdrægninni sem leyfir óvirkum tólum að fjölga sér. Menning sem getur sagt „við mátum þetta og það virkaði ekki, svo við hættum“ er áreiðanlegri, ekki minna.

9. Lokaðu lykkjunni og bregstu við því sem þú lærir. Sönnunargögn sem breyta engri ákvörðun eru sóun. Fæddu niðurstöður aftur inn í vegvísi þinn, viðskiptamál og þrepunarákvarðanir — stækkaðu það sem virkar, lagaðu það sem hálf-virkar og leggðu niður það sem gerir það ekki (sjá Viðfangsefni 8.0 — Þrepuð innleiðing nýsköpunar). Metðu síðan aftur, því stafrænt tól sem virkaði í tilraunastærð í einu umhverfi getur hegðað sér öðruvísi í landsstærð eða í öðru þýði.

Spurningar til að ræða með teyminu#

1. Er það sem við erum að fara að gera rannsókn, þjónustumat eða úttekt — og hve örugg erum við í því svari? Þetta er fyrsta spurningin því svarið setur alla stjórnarháttaleið ykkar, og að fá það rangt hefur alvarlegar afleiðingar. Ræðið hverjir þátttakendur ykkar eru, hvort þið eruð að slembiraða nokkru, hvort þið ætlið að framleiða almenna þekkingu og hvort þið ætlið að birta — öll merki sem ýta verkefni í átt að „rannsókn“. Stenstu hvaða þrýsting sem er að merkja eitthvað sem mat einfaldlega því samþykkisleiðin er hraðari; sá þrýstingur er einmitt þar sem stjórnarháttabilanir byrja. Notið HRA ákvörðunartólið saman, í herberginu, og skrifið niður rökstuðning ykkar og hver samþykkti hann. Gott svar er ekki bara merki heldur skjalfestur, verjanlegur dómur sem upplýsingastjórnarháttar- og klínískir öryggissamstarfsmenn ykkar hafa séð. Ef þið eruð ósvik óviss er heiðarlega leiðin að spyrja HRA eða R&D skrifstofu ykkar frekar en að giska í áttina sem hentar tímalínu ykkar.

2. Hvað teldist sannfærandi sönnunargögn um að þetta virki — og fyrir hverjum? Ólíkir áhorfendur krefjast ólíkra sönnunargagna: klínískur starfsmaður vill öryggis- og niðurstöðugögn, pantandi vill kostnað og virði, eftirlitsaðili vill sjá viðeigandi NICE þrep uppfyllt og sjúklingur vill vita að það sé öruggt og sanngjarnt fyrir fólk eins og hann. Þrætið um hvað „virkar“ þýðir í raun fyrir tól ykkar, og hvaða niðurstaða fengi ykkur til að hætta — því teymi sem getur ekki orðað stöðvunarskilyrði er ekki í raun að meta. Íhugið hvaða hönnun er framkvæmanleg miðað við útfærsluáætlun ykkar, gögn og fjárlög, og verið heiðarleg um málamiðlunina milli nákvæmni og hraða. Ræðið hvort þið þurfið sjálfstætt mat til að verða trúað, og ef svo, hver ætti að gera það. Gott svar nefnir ákvörðunaraðilana, niðurstöðurnar sem myndu hreyfa þá, hönnunina sem getur trúverðugt framleitt þær niðurstöður og þröskuldinn þar sem þið mynduð álykta að tólið hafi mistekist.

3. Hvernig munum við meðhöndla neikvæða eða vonbrigðaniðurstöðu? Spyrjið þetta áður en þið hafið niðurstöðuna, því svarið er langtum heiðarlegra fyrirfram. Kannið hvað þið mynduð gera ef matið sýndi engan ávinning, eða ávinning fyrir meirihlutann en skaða fyrir útilokaðan undirhóp, og hver þyrfti að heyra það. Dragið fram raunverulegan þrýsting: sokkinn kostnað, birgjasambönd, orðsporsáhyggjur og starfsferilshvata sem láta fólk vilja góðar fréttir. Ræðið fyrirfram skuldbindingu ykkar til að birta óháð niðurstöðu, og hvaða stjórnarhættir myndu halda ykkur við það loforð þegar niðurstaðan er vandræðaleg. Gott svar meðhöndlar vel rekið mat sem framleiðir neikvæða niðurstöðu sem árangur ferlisins, ekki bilun teymisins — og hefur áþreifanlega áætlun um að leggja niður með reisn, miðla hreinskilnislega og vernda fólkið sem skilaði heiðarlegu niðurstöðunni.

4. Hvað verðum við að fanga og tækjavæða fyrir gangsetningu — og höfum við í raun byggt það inn? Mat er aðeins jafn gott og grunnlínan og gögnin sem það getur sótt í, og hvort tveggja er langtum ódýrara að tryggja fyrir ræsingu en eftir. Vinnið gegnum hvaða „fyrir“-ástand þið þurfið — innlagnartíðni, biðtíma, villutíðni, núverandi leiðakostnað — og staðfestið að það sé skráð núna, sundurliðað eftir undirhópunum sem ykkur varða, því þið getið aldrei endurbyggt grunnlínu sem þið náðuð ekki að fanga. Athugið hvort varan sjálf mun senda frá sér niðurstöðu- og notkunargögnin sem valin hönnun ykkar þarfnast, eða hvort sú tækjavæðing er enn bakskrárósk. Þrætið um tímaspennuna: þrýstingur að afhenda strípar oft mælingu til að ná degi, og hver slíkur niðurskurður veikir hljóðlega sönnunargögnin sem þið verðið síðar beðin um. Fáið greinanda eða aðferðafræðing að meðan hönnunin er enn mjúk, ekki þegar skrárnar eru þegar farnar að flæða. Gott svar er áþreifanlegur listi yfir hvað er fangað, frá hvenær, á hvaða kornastigi og hver hefur staðfest að það sé lifandi — ekki ásetningur um að laga það eftir útfærslu.

5. Hve góð eru gögnin sem við ætlum að reiða okkur á, og hvað gæti truflað niðurstöðu okkar? Raunheimsgögn eru gnóttarrík en sjaldan hrein, og sennilegt línurit getur falið árstíðabundið mynstur, samhliða þjónustubreytingu, aftursnúning til meðaltals eða kóðabreytingu sem hefur ekkert með tól ykkar að gera. Yfirheyrið uppruna, heilleika og gæði hverrar uppsprettu sem þið ætlið að nota, og nefnið hlutdrægnina sem hver ber — hverja vantar í rafrænar skrár, hvaða reitir eru óáreiðanlegir, hve samkvæmt kóði er beitt. Spyrjið hvað annað breyttist í sama glugga og gangsetning ykkar, því rofin tímaröð eða fyrir-og-eftir sem hunsar þá atburði mun eigna tóli ykkar áhrif annarra. Ákveðið fyrirfram hvaða samanburður eða hönnun gefur ykkur sanngjörnustu gagnstæðu stöðuna (counterfactual), og forskilgreinið greininguna svo ekki sé hægt að umbreyta gögnunum hljóðlega til að smjaðra fyrir niðurstöðunni. Gott svar sýnir að þið hafið kortlagt veikleika gagnanna heiðarlega og valið hönnun sem lifir af efasemdamann sem togar í hvern þeirra.

6. Hver ætti að reka þetta mat, og hve sjálfstætt þarf það að vera til að verða trúað? Að gefa eigin heimavinnu einkunn er fljótlegasta leiðin til að láta trúverðugar niðurstöður vera afskrifaðar, svo ákveðið snemma hvort greining birgis eða innanhúss muni sannfæra áhorfendurna sem þið þurfið í raun að hreyfa. Vegið kostnað og tíma við að virkja NIHR-studt fræðilegt teymi, háskóla eða Health Innovation Network gegn orðspors- og viðskiptagildi sjálfstæðra, birtanlegra sönnunargagna. Ræðið hvar hagsmunaárekstrarnir sitja — fólkið sem smíðaði eða keypti tólið er sjaldan rétta fólkið til að dæma hvort það virkar — og hvernig þið munuð einangra matið frá þrýstingi að framleiða góðar fréttir. Íhugið hvað samstarfsaðilar koma með umfram sjálfstæði: aðferðafræðilega nákvæmni, fjármögnunarleiðir og stöðu hjá pöntendum og klínískum starfsmönnum sem þið getið ekki framleitt innanhúss. Gott svar samræmir stig sjálfstæðis hagsmununum og tortryggni ákvörðunaraðilanna, og tryggir það samstarf áður en hönnun er fest frekar en eftir að niðurstöður valda vonbrigðum.

Í reynd: dæmi úr heilbrigðis- og velferðarþjónustu#

Samþætt umönnunarkerfi (ICS) pantar fjarvöktunarforrit fyrir sjúklinga með langvinna hjartabilun, í von um að draga úr óáætluðum innlögnum. Skyggnur birgisins sýna 30% minnkun annars staðar, og þrýstingur er að útfæra hratt yfir öll tólf hverfin fyrir veturinn.

Stafræni afhendingarleiðtoginn gerir hlé til að flokka vinnuna. Þar sem ICS vill almennar niðurstöður og ætlar að birta, og þar sem það mun greina persónugreinanleg sjúklingagögn í nýjum tilgangi, er þetta rannsókn, ekki þjónustumat — svo IRAS-umsókn og REC-yfirferð eru nauðsynleg. Frekar en að meðhöndla það sem hindrun leitar leiðtoginn til staðbundinnar Health Innovation Network og NIHR-studds rannsóknateymis staðbundins háskóla, sem hjálpa til við að hanna rannsóknina og skrifa umsóknina saman. Í stað þess að kveikja á öllu í einu taka þau upp þrepaskipta fleygrannsókn: tólf hverfin fara í loftið í slembiröðuðum bylgjum yfir níu mánuði, svo hvert hverfi fær á endanum forritið meðan skipt byrjun veitir sanngjarnan samanburð. Grunnlína innlagnartíðni, sundurliðuð eftir fátækt og þjóðerni, er fönguð fyrir fyrstu bylgju.

Með NICE Evidence Standards Framework staðsetur teymið tólið í þrepi sem ber klíníska áhættu og setur sönnunargagnavæntingu í samræmi, skráir fyrirfram innlagnartíðni, dánartíðni sem öryggismerki og kostnað á forðaða innlögn sem niðurstöður. Níu mánuðum síðar er bráðabirgðagreiningin sláandi: heildarinnlagnir falla hóflega, en meðal fátækasta hópsins — sem notar forritið minnst — er enginn ávinningur og áhyggjuefni um aukningu í síðbúnum komum. Teymið grefur þetta ekki. Það skýrir stjórn ICS frá því, gerir hlé á útfærslu til þeirra hópa, endurhannar innleiðingu og bætir við símastuðningi fyrir stafrænt útilokaða sjúklinga, og birtir bæði hallann og endurhönnunina. Útkoman er þjónusta sem hjálpar í raun og stjórn sem treystir sönnunargögnunum því hún hefur séð teymið segja sannleikann þegar það sveið.

Geirasjónarhorn#

Sprotafyrirtæki#

Lítið stafrænt heilbrigðisfyrirtæki lifir eða deyr á sönnunargögnum, en hefur sjaldan fé eða innanhúss aðferðafræði til að framleiða þau eitt. Hraðasta trúverðuga leið ykkar er samstarf: NIHR-fjármagnaður fræðilegur samstarfsaðili eða Health Innovation Network raunheimsmat gefur ykkur sjálfstæðar niðurstöður sem fjárfestar og NHS-kaupendur trúa í raun, langtum frekar en sjálfútgefin hvítbók. Vertu agaður með hlutfallslegar fullyrðingar — að ofmeta til að vinna tilraun er fljótlegasta leiðin til að falla á síðara mati og tapa orðspori þínu. Byggðu gagnasöfnun inn í vöruarkitektúr þinn frá degi eitt, því að endurbæta hana eftir sáðfjármögnun er dýrt og skilar fátækari sönnunargagnagrunni.

Lítil fyrirtæki#

Rótgróinn lítill veitandi — heimilislæknastofa, samfélagsapótek, hjúkrunarheimili eða stakstaða stofa sem tekur upp stafrænt tól — er ætlast til að meta það sem hann setur upp, samt hefur hann enga R&D skrifstofu, engan aðferðafræðing og varla nokkrar auka hendur. Raunhæfa leiðin er ekki að keyra rannsókn heldur að keyra agað þjónustumat: fanga einfalda grunnlínu áður en þú kveikir, samþykkja handfylli heiðarlegra niðurstöðumælikvarða og skrá hvað breytist í raun fyrir sjúklinga þína. Styðstu fast við sameiginlega innviði sem þú þarft ekki að byggja — Health Innovation Network þína, staðbundinn háskóla, eða samtök eða grunnþjónustunet sem getur sameinað gögn og sérfræðiþekkingu yfir nokkra litla staði. Vertu sérlega varkár við að þiggja fyrirsagnarfullyrðingu birgis á nafnvirði þegar þú getur ekki athugað hana sjálfstætt, og vertu skýr um að flokkunarskyldur gilda enn um þig jafnvel í litlum mæli. Hlutfallsleg, vel skjalfest staðbundin sönnunargögn eru bæði framkvæmanleg og nóg til að réttlæta að halda áfram, aðlaga eða sleppa tólinu.

Stórfyrirtæki#

Stór NHS-samsteypa eða ICS hefur R&D skrifstofu, upplýsingastjórnarháttavélbúnað og núverandi fræðileg tengsl — eignir sem sprotafyrirtæki myndi öfunda — en einnig tregðuna til að útfæra tól um samsteypuna alla áður en þau eru metin. Áskorun ykkar er að gera „metið áður en þú stækkar“ að sjálfgefnu, og að standast skriðþunga undirritaðs stórfyrirtækjasamnings þegar snemmbúin sönnunargögn eru veik. Notið umfang ykkar sem aðferðafræðilegt forskot: margir staðir gera þrepaskiptar fleygrannsóknir og klasa-slembiraðaðar hönnunir framkvæmanlegar á hátt sem ein stofa ræður ekki við. Gætið að innri pólitík neikvæðra niðurstaðna, þar sem mikil fjárfesting skapar öfluga hvata til að lýsa yfir árangri óháð niðurstöðu.

Hið opinbera#

Landsstofnun — NHS England, heilbrigðis- og félagsmálaráðuneytið eða landshlutastjórn — setur reglurnar sem aðrir fylgja, svo sönnunargagnastaðlar hennar móta allan markaðinn. Hlutverk hennar er að vera ráðsmaður rammanna (HRA stjórnarháttakerfisins, NICE Evidence Standards Framework, DTAC) og að fjármagna innviðina — NIHR, Health Innovation Networks, traust rannsóknarumhverfi — sem leyfa öllum að framleiða góð sönnunargögn. Þegar hið opinbera kaupir í landsstærð eru sönnunargagnahagsmunirnir gríðarlegir: illa studd útfærsla getur fest skaða í sessi yfir milljónir borgara og er pólitískt nær ómögulegt að snúa við. Það ætti því að halda sér við hæstu kröfu sem það biður aðra um, og birta eigið mat, þar með bilanirnar, til að viðhalda almannatrausti.

Algeng mistök#

• Sönnunargögn sem eftiráhugsun. Að útfæra fyrst og spyrja „virkaði það?“ síðar, án grunnlínu fangaðrar — sem skilur þig ófæran um að gera nokkra trúverðuga orsakafullyrðingu.
• Að rangflokka rannsókn sem mat. Að velja „mats“-merkið til að forðast HRA og REC samþykki, sem afhjúpar sjúklinga fyrir ósamþykktri rannsókn og skipulagsheild þína fyrir alvarlegu stjórnarháttabroti.
• Barnalegur fyrir-og-eftir. Að bera saman tvær skyndimyndir og eigna tóli þínu allar breytingar, hunsa árstíðasveiflur, samhliða framtök og aftursnúning til meðaltals.
• Hégómamælikvarðar. Að skýra frá innskráningum, niðurhali og ánægju meðan þagað er um klínískar niðurstöður, öryggi, jafnræði og kostnað.
• Meðaltöl sem fela skaða. Að setja fram fyrirsagnarmeðalbata án sundurliðunar eftir þýði, sem felur undirhóp sem tólið bregst eða skaðar.
• Að gefa eigin heimavinnu einkunn. Að reiða sig eingöngu á sönnunargögn framleidd af birgi án sjálfstæðs mats, svo enginn tortrygginn áhorfandi trúir þeim.
• Að grafa slæm tíðindi. Að birta aðeins jákvæðar niðurstöður, sem nærir útgáfuhlutdrægni og leyfir óvirkum tólum að dreifast um kerfið.
• Ofmat. Að teygja hóflega niðurstöðu veikrar hönnunar í sterka klíníska fullyrðingu sem sönnunargögnin geta ekki stutt.

Þroskalíkan#

Gátlisti#

• Flokkaðu verkefnið sem rannsókn, þjónustumat eða úttekt með HRA ákvörðunartólum, og skjalfestu rökstuðninginn.
• Ef það er rannsókn, áætlaðu IRAS-umsókn og Research Ethics Committee yfirferð snemma.
• Skilgreindu hvað „að virka“ þýðir, og niðurstöðurnar sem myndu sanna það, í könnun.
• Fangaðu grunnlínu — sundurliðaða eftir viðeigandi undirhópum — fyrir gangsetningu.
• Finndu áhættuþrep tólsins í NICE Evidence Standards Framework og samræmdu nákvæmni við það.
• Veldu sterkustu framkvæmanlegu hönnun (RCT, stepped-wedge eða rofna tímaröð) og skráðu takmörk hennar.
• Áætlaðu raunheimsgagnauppsprettur, gæði og hlutdrægni; forskilgreindu greininguna.
• Virkjaðu sjálfstæðan samstarfsaðila (NIHR, háskóla, Health Innovation Network) þar sem trúverðugleiki eða fjármögnun krefst.
• Hafðu klínískar niðurstöður, öryggismerki, jafnræði og kostnað — ekki bara virknimælikvarða.
• Skuldbindðu þig fyrirfram til að birta niðurstöður, þar með neikvæðar, og nefndu hvar.
• Skilgreindu stöðvunarskilyrði og virðulega niðurlagningaráætlun áður en þú byrjar.
• Fæddu niðurstöður aftur inn í vegvísi, viðskiptamál og þrepunarákvarðanir.

Helstu heimildir#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — „Is my study research?“ ákvörðunartól, HRA Approval og leiðbeiningar um rannsóknasiðfræði.
• Integrated Research Application System (IRAS) — einstaka gáttin fyrir breskar heilbrigðis- og félagsþjónusturannsóknaumsóknir.
• National Institute for Health and Care Research (NIHR) — fjármögnun, matsstuðningur og rannsóknainnviðir.
• Health Innovation Network (áður Academic Health Science Networks) — raunheimsmat og upptökustuðningur.
• Medicines and Healthcare products Regulatory Agency (MHRA) — leiðbeiningar um raunheimsgögn og hugbúnað/gervigreind sem lækningatæki.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (rammaleiðbeiningar).
• EQUATOR Network — skýrsluleiðbeiningar (CONSORT, STROBE, TRIPOD) fyrir gagnsæja rannsóknaskýrslugerð.

Tilvísanir#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/