Viðfangsefni 3.9 — Samfella í rekstri og endurheimt eftir hamfarir

Í heilbrigðis- og velferðarþjónustu er meiriháttar kerfisbilun sjúklingaöryggisatburður áður en hún er upplýsingatæknivandamál, svo geta þín til að halda áfram að veita umönnun meðan kerfi er niðri — og að endurheimta það að fullu og fljótt — er kjarna klínísk og almannatraustsgeta, ekki tæknileg neðanmálsgrein.

Hvers vegna þetta skiptir máli í heilbrigðis- og velferðarþjónustu#

Umönnun stoppar ekki þegar tæknin gerir það. Þegar rafræn sjúkraskrá, rafrænt ávísanakerfi eða rannsóknarniðurstöðukerfi bilar um allt sjúkrahús fá klínískir starfsmenn ekki að gera hlé á meðferð meðan verkfræðingar vinna. Þeir verða að halda áfram að sjá sjúklinga, ávísa lyfjum og taka ákvarðanir — oft án ofnæmisviðvarana, skammtaathugana og fyrri sögu sem bilaða kerfið veitir venjulega. Þess vegna er bilun ekki aðeins mæld í niðritímatímum og þjónustuinneign; hún er mæld í seinkuðum greiningum, misstum milliverkunum, aflýstum aðgerðum og viðbótaráhættunni sem hver klínískur starfsmaður sem vinnur blindur ber. Samfella í rekstri er agi þess að tryggja að þegar hið versta gerist haldist umönnun eins örugg og hún getur verið.

Hagsmunirnir eru þjóðlegir og vel skjalfestir. WannaCry gíslatökuárásin 2017 truflaði um þriðjung NHS-samsteypa á Englandi, neyddi aflýsingu þúsunda tíma og aðgerða, sveigði sjúkrabíla frá og læsti starfsfólk úti úr tækjunum — þar með talin sum myndgreiningar- og meinafræðitæki — sem það þurfti til að meðhöndla fólk. Hún kostaði NHS áætlaðar 92 milljónir punda og, mikilvægara, sýndi að netárás á heilbrigðisinnviði lendir sem klínísk kreppa, ekki bara gagnaöryggisatvik. Síðan hefur seigla flust úr netþjónaherberginu að stjórnarborðinu, og réttilega.

Þetta viðfangsefni útvíkkar rekstrarfræðigreinina í Viðfangsefni 3.8 — Þjónustustjórnun og lifandi rekstur, en færir áherslu frá daglegum rekstri að meiriháttar truflun: eldi, flóði, netárás, hruni birgis eða svæðisbilun sem ógnar að taka mikilvæga þjónustu niður í klukkustundir eða daga. Það tengist þétt við Viðfangsefni 1.7 — Upplýsingastjórnarhættir, gagnavernd og netöryggi (því endurheimt eftir gíslatöku er nú miðlæg samfelluatburðarás), við Viðfangsefni 4.0 — Tæknilegur arkitektúr, ský og arfakerfi (því seigla er hönnuð inn, ekki fest á) og við Viðfangsefni 6.4 — Stjórnarhættir og trygging (því einhver verður að eiga, prófa og bera ábyrgð á áætluninni). Fáðu þetta rétt og truflun verður slæmur dagur; fáðu það rangt og hún verður opinber rannsókn.

Lykilhugtök#

Samfella í rekstri og endurheimt eftir hamfarir. Samfelluáætlun rekstrar (BCP) er getan til að halda áfram að afhenda vörur eða þjónustu — í þínu tilviki örugga umönnun — á fyrirfram skilgreindu ásættanlegu stigi meðan á og eftir truflandi atvik. Endurheimt upplýsingatækni eftir hamfarir (DR) er þrengri, tæknileg undirmengi sem snýst um að endurheimta kerfin, gögnin og innviðina sem undirbyggja þær þjónustur. Samfella í rekstri er víðara loforðið („sjúklingar halda áfram að fá meðferð“); endurheimt eftir hamfarir er eitt af leiðunum („niðurstöðukerfið er komið aftur innan fjögurra klukkustunda“). Þú þarft hvort tveggja, og þú mátt ekki rugla endurheimtum netþjóni við endurheimta þjónustu.

Stjórnun samfellu í rekstri og áhrifagreining á rekstur. Stjórnun samfellu í rekstri (BCM) er áframhaldandi stjórnunarferlið — ekki einskipta skjal — sem greinir ógnir og byggir upp seiglu skipulagsheildar. Grunnur hennar er áhrifagreining á rekstur (BIA): skipulagt mat á hverri þjónustu sem spyr hversu hratt tap hennar veldur óásættanlegum skaða, hverju hún er háð og hversu langt aftur í tímann þú hefur efni á að tapa gögnum. BIA er þar sem klínísk dómgreind kemur inn í verkfræði: klínískir starfsmenn, ekki bara tæknifólk, verða að skilgreina hvað „óásættanlegt“ merkir fyrir fæðingarkerfi á móti innra neti starfsfólks.

Endurheimtartímamarkmið og endurheimtarpunktsmarkmið. Tvær tölur festa sérhverja endurheimtaráætlun. Endurheimtartímamarkmið (RTO) er hámarks ásættanlegur tími til að endurheimta þjónustu eftir bilun. Endurheimtarpunktsmarkmið (RPO) er hámarks ásættanlegt gagnatap, sett fram sem tími — RPO upp á fimmtán mínútur þýðir að þú þolir að tapa í mesta lagi síðustu fimmtán mínútum færslna. Fyrir mikilvægt klínískt kerfi geta þetta verið mínútur; fyrir skýrslugagnasafn geta það verið dagar. Að setja þau heiðarlega, fyrir hverja þjónustu, er gagnlegasta samfelluákvörðunin sem þú munt taka.

Afrit og prófaðar endurheimtur. Afrit er eintak gagna geymt annars staðar svo hægt sé að endurheimta frumgögnin eftir tap. Grunnlína greinarinnar er 3-2-1 reglan: þrjú eintök, á tveimur gerðum miðla, með eitt geymt utan staðar (og, á gíslatökutímanum, eitt óbreytanlegt eða ótengt). Mikilvægt er að afrit sem þú hefur aldrei endurheimt er von, ekki stýring. Gíslatökuhugbúnaður dulkóðar reglulega afrit sem ná má frá netinu, og óprófaðar endurheimtur bregðast reglulega á deginum. Agi er ekki „tökum við afrit?“ heldur „hvenær endurheimtum við síðast með góðum árangri, enda á milli, og hve langan tíma tók það?“

Hátt aðgengi, offramboð og yfirfærsla. Hátt aðgengi (HA) er hönnunareiginleiki sem heldur kerfi gangandi gegnum bilun íhluta, venjulega mældur í „nínum“ af uppitíma. Því er náð með offramboði — vísvitandi tvítekningu mikilvægra íhluta — og yfirfærslu, sjálfvirka skiptin yfir í biðíhlut eða stað þegar aðalíhluturinn bilar. Hátt aðgengi dregur úr tíðni bilana; endurheimt eftir hamfarir sinnir þeim sem komast í gegn. Þau eru viðbótarhlutir, ekki valkostir, og að rugla þeim saman skilur eftir hættuleg bil.

Stakir veikleikapunktar og mikilvægar háðir. Stakur veikleikapunktur (SPOF) er hver íhlutur þar sem bilun stöðvar alla þjónustuna — ein netteng, ein auðkenningarþjónusta, einn birgir, einn gagnagrunnur eða ein manneskja sem ein veit hvernig eitthvað virkar. Kortlagning SPOF og mikilvægra háða (uppstreymisþjónusturnar og þriðju aðilar sem þjónusta þín reiðir sig hljóðlega á) er greiningarhjartað í seiglu. Í nútíma heilbrigðisupplýsingatækni eru háðir sjaldan staðbundnar: einskráning, landsnetstenging eða skýjasvæði getur tekið mörg kerfi niður í einu.

Klínísk niðritímaferli og samfelluferli rekstrar. Heilbrigðis- og velferðarþjónusta hefur sérstaka stýringu sem almenn upplýsingatækni skortir: klínískt niðritímaferli, æfða, örugga varaleið — venjulega pappír — til að veita umönnun þegar stafrænt kerfi er ekki tiltækt, auk endurskráningarferlisins til að samræma pappírsskrána aftur inn í kerfið þegar það kemur aftur. Þetta er samfella í rekstri gerð áþreifanleg við rúmið, og það er þar sem samfelluáætlanir hitta oftast veruleikann.

Gíslatökuhugbúnaður og netendurheimt. Gíslatökuhugbúnaður dulkóðar gögnin þín og krefst greiðslu, og hann er orðinn skilgreinandi samfelluógn heilbrigðiskerfa. WannaCry gíslatökuárásin 2017 er viðmiðunartilfellið: þess vegna er netendurheimt — að einangra, endurbyggja úr hreinum afritum og staðfesta heilleika áður en tengt er aftur — nú fyrsta flokks atburðarás í sérhverri alvarlegri áætlun.

Samfellustaðallinn. ISO 22301 er alþjóðlegi staðallinn fyrir stjórnunarkerfi samfellu í rekstri. Hann veitir viðurkennda byggingu — samhengi, forystu, áætlanagerð, stuðning, rekstur, mat, umbætur — til að smíða og endurskoða samfellugetu, og er gagnlegur grunnur hvort sem þú sækist eftir formlegri vottun eða ekki.

Bestu starfsvenjur#

1. Byrjaðu á áhrifagreiningu á rekstur í eigu klínískra starfsmanna, ekki upplýsingatækni einnar. Raðaðu hverri þjónustu eftir klíníska skaðanum sem hlýst þegar hún bilar og eftir því hversu hratt sá skaði verður óbærilegur, og úthlutaðu hverri tilteknu RTO og RPO. Gerðu þetta með klínísku starfsmönnunum og rekstrarstjórunum sem bera afleiðingarnar, því „hve lengi getum við starfað án þessa á öruggan hátt?“ er umönnunarspurning, ekki innviðaspurning. Afurðin er forgangsröðuð listi sem segir þér hvar á að eyða takmörkuðum seigluáætlunum þínum fyrst.

2. Hannaðu seiglu í hlutfalli við mikilvægi. Samræmdu verkfræðina áhrifunum: kerfi sem skipta sköpum (bráðamóttaka, sjúklingastjórnun, rafræn ávísun) verðskulda hátt aðgengi, landfræðilegt offramboð og sjálfvirka yfirfærslu; kerfi minna mikilvægt geta tekið lengri endurheimt og einfaldari afrit. Forðastu bæði of litla verkfræði á mikilvægum kerfum og gullhúðun léttvægra. Arkitektúr og samfella verða að vera hönnuð saman (sjá Viðfangsefni 4.0 — Tæknilegur arkitektúr, ský og arfakerfi), því þú getur ekki fest seiglu á brothætta hönnun eftirá.

3. Leitaðu uppi staka veikleikapunkta og faldar háðir. Kortleggðu kerfisbundið háðir hverrar mikilvægrar þjónustu — net, auðkenningu, DNS, landstengingar, rafmagn, kælingu, lykilbirgja og lykilfólk — og greindu hvar ein bilun hefur áhrifakeðju. Gefðu sérstakan gaum að sameiginlegum þjónustum eins og einskráningu eða sameiginlegri samþættingarvél, þar sem bilun tekur mörg kerfi niður í einu. Háð sem þú hefur ekki kortlagt er háð sem þú munt uppgötva meðan á bilun stendur.

4. Taktu afrit til að lifa af gíslatöku, og sannaðu endurheimtur með prófunum. Fylgdu 3-2-1 reglunni og hafðu að minnsta kosti eitt afritseintak óbreytanlegt eða líkamlega ótengt, svo árásaraðili sem nær netinu þínu geti ekki dulkóðað síðustu varnarlínu þína. Prófaðu síðan endurheimtir samkvæmt áætlun, tímasettu þær gegn RTO þínu og staðfestu gagnaheilleika gegn RPO þínu — endurheimt sem tekur tvo daga gegn fjögurra klukkustunda markmiði er fallin stýring sem þú hefur einfaldlega ekki tekið eftir enn. Meðhöndlaðu „síðasta árangursríka fulla endurheimt“ sem mælikvarða sem þú skýrir frá, ekki verkefni sem þú gerir ráð fyrir.

5. Skrifaðu, fjármagnaðu og æfðu klínísk niðritímaferli. Fyrir sérhvert mikilvægt klínískt kerfi, haltu prófaðri pappírs- (eða ótengdri) varaleið sem leyfir starfsfólki að halda áfram að veita örugga umönnun meðan á bilun stendur, auk skýrs ferlis til að endurskrá þau gögn á eftir án taps eða tvítekningar. Geymdu niðritímaeyðublöð þar sem hægt er að ná í þau þegar netið og prentararnir eru líka niðri. Æfðu þau með frontlínustarfsfólki, því ferli sem lifir aðeins í möppu verður ekki fundið, skilið eða treyst klukkan þrjú um nótt í kreppu.

6. Haltu endurheimtaráætlun eftir hamfarir með raunverulegri staðaryfirfærslu. Skjalaðu, fyrir hvert mikilvægt kerfi, nákvæmlega hvernig það endurheimtist: hvað keyrir hvar, í hvaða röð, hver ákveður að beita því og hvernig þú ferð aftur til baka á eftir. Þar sem áhrifin réttlæta það, rektu ósvikið aðskilinn endurheimtarstað eða skýjasvæði og sannaðu að þú getir skipt yfir í það — endurheimtarröð skiptir máli, því kerfi hafa háðir sem skipa röðinni. Óprófaður DR-staður er dýr forsenda.

7. Æfðu áætlunina; áætlun sem aldrei er prófuð er áætlun sem bregst. Haldið reglulegar æfingar yfir svið: skrifborðs-ganga um atburðarásir, tæknilegar yfirfærsluprófanir og stöku fullar lifandi hermanir sem fela í sér klínísku varaleiðina. Æfingar afhjúpa bilin — úrelta tengiliðalistann, endurheimtarskrefið sem krefst lykilorðs sem enginn á, forsenduna að starfsfólk kunni pappírsferlið — meðan öruggt er að finna þau. Skráðu lærdóminn, lagaðu og prófaðu aftur; æfing án eftirfylgni er leikhús.

8. Útvíkkaðu samfellu til birgja þinna og skýsins. Seigla þín er aðeins jafn sterk og þriðju aðilarnir sem mikilvægar þjónustur þínar eru háðar, svo gerðu samfellu að samnings- og tryggingarmáli: krefstu þess að birgjar sýni eigin RTO/RPO, DR-prófanir og netendurheimt, og skildu ábyrgðarskiptilíkan skýjaveitu þinnar — framboðssvæði og svæði verja gegn sumum bilunum en ekki gegn rangstillingu eða reikningsskerðingu sem þú átt. Skipuleggðu fyrir bilun birgisins sjálfs, þar með talda atburðarásina þar sem lykilbirgi er sá sem verður fyrir gíslatöku (sjá Viðfangsefni 6.3 — Innkaup og viðskipti).

9. Taktu upp viðurkenndan staðal og settu samfellu undir stjórnarhætti. Notaðu ISO 22301 sem skipulagðan grunn og NHS- og landsleiðbeiningar sem geirayfirlag, og gefðu nafngreindum stjórnanda ábyrgð á samfellu í rekstri, með skýrslugjöf til stjórnar. Samfella sem enginn á, fjármagnar eða yfirfer rýrnar hljóðlega þar til atvikið afhjúpar hana. Tengdu hana við tryggingarramma þinn (sjá Viðfangsefni 6.4 — Stjórnarhættir og trygging) svo áætlanir séu viðhaldnar, prófaðar og bættar sem rútína, ekki enduruppgötvaðar í kreppu.

Spurningar til að ræða með teyminu#

1. Fyrir hvert mikilvægt klínískt kerfi okkar, hvaða RTO og RPO höfum við í raun samþykkt með klínískum starfsmönnum – og getum við uppfyllt þau núna? Þessi spurning knýr bilið milli metnaðar og getu út í opið. Margar skipulagsheildir hafa aldrei sett skýr endurheimtarmarkmið, eða sett þau í upplýsingatækni án klínísks framlags, svo „ásættanlegur“ niðritími er í raun bara það sem núverandi arkitektúr skilar. Þrætið um hvar klínísk þörf (mínútur fyrir neyðarkerfi) rekst á það sem afrit ykkar og DR geta í raun náð (kannski dag), því það bil er óstýrð klínísk áhætta sem þið berið hvort sem þið nefnið hana eða ekki. Lítið áþreifanlega á síðustu raunverulegu eða prófuðu endurheimt ykkar: hve langan tíma tók hún, hve mikið af gögnum hefðuð þið tapað og hver undirritaði að þetta sé öruggt? Gott, heiðarlegt svar nefnir tilteknar tölur fyrir hvert kerfi, viðurkennir hvar þið getið ekki enn uppfyllt þær og breytir hverju bili í fjármagnaða aðgerð frekar en þægilega þögn.

2. Ef gíslatökuhugbúnaður dulkóðaði kjarnakerfi okkar og afrit í kvöld, hvernig myndum við halda sjúklingum öruggum á morgun – og hve langur tími þar til við erum að fullu endurheimt? Þetta er atburðarásin sem hefur þegar komið niður á raunverulegum heilbrigðiskerfum, svo hún verðskuldar áþreifanlega, óhikaða yfirferð frekar en fullvissu. Kannið báða helmingana heiðarlega: bráða klíníska samfellu (eru niðritímaferlin æfð, fjármögnuð og nógu treyst til að reka heilt sjúkrahús á pappír dögum saman?) og tæknilega endurheimt (eru afrit óbreytanleg og ótengd, hafið þið prófað endurbyggingu úr hreinum eintökum og þekkið þið endurheimtarröðina?). Dragið fram óþægilegu háðirnar — ef einskráning, samþættingarvélin eða lykilbirgir er niðri, hve mikið annað fellur með? Íhugið hver lýsir yfir meiriháttar atviki, hver talar við starfsfólk, sjúklinga og fjölmiðla og hver ákveður að kerfi sé öruggt að tengja aftur. Sterkt svar lýsir æfðri áætlun með nafngreind hlutverk og prófaðar endurheimtir; veikt gerir ráð fyrir að afritin séu í lagi og pappírsferlið einfaldlega virki.

3. Hvenær prófuðum við síðast samfellu- og hamfaraendurheimtaráætlanir okkar enda á milli, og hvað lærðum við? Tilgangurinn hér er að aðgreina lifandi getu frá hillurskjali. Áætlun sem hefur ekki verið æfð er óprófuð, og óprófaðar áætlanir bregðast reglulega við snertingu við veruleikann — tengiliðalistinn er úreltur, endurheimtarskrefið krefst skilríkja sem enginn á, niðritímaeyðublöðin eru geymd á kerfinu sem er niðri. Ræðið svið æfinga sem þið gerið í raun: skrifborðsatburðarásir, tæknilegar yfirfærsluprófanir og fullar hermanir sem fela í sér klínísku varaleiðina í frontlínunni, ekki bara netþjónaendurheimtina. Kannið hvort lærdómur frá fyrri atvikum og æfingum var í raun lagaður og prófaður aftur, eða skráður og gleymdur. Gott svar sýnir reglulegt æfingadagatal, sönnunargögn um bil fundin og lokuð og heiðarleika um hvaða hlutar áætlunarinnar eru enn ósannaðir.

4. Hverjar af mikilvægum háðum okkar stjórnum við ekki – og hver er áætlun okkar fyrir daginn þegar ein þeirra bilar? Nútíma heilbrigðisupplýsingatækni bilar sjaldan ein; hún bilar gegnum þjónusturnar og birgjana undir henni. Ýtið teyminu út fyrir kerfin sem þið eigið að þeim sem þið reiðið ykkur aðeins á: landsnetstenginguna, einskráningarveituna, skýjasvæðið, samþættingarvélina, útvistaða gagnaverið, stýrðu þjónustusamstarfsaðilann sem heldur lyklunum að endurheimt. Spyrjið, fyrir hverja, hvað gerist við umönnun ef hún hverfur í dag, hvort samningurinn skyldar þriðja aðilann til endurheimtarmarkmiðs sem passar klíníska þörf ykkar og hvort þið hafið nokkru sinni séð sönnunargögn um DR-prófanir þeirra frekar en fullvissandi málsgrein í tilboði. Óþægilegi sannleikurinn er að þið getið borið afgangsáhættu sem þið hafið aldrei verðlagt, því bilunin situr í eign einhvers annars. Heiðarlegt svar nefnir tilteknu ytri háðirnar fyrir hverja mikilvæga þjónustu, segir hverjar eru samningsbundið tryggðar og hverjum er einfaldlega treyst og greinir varaleið — jafnvel handvirka — fyrir háðir sem þið getið ekki gert seigar.

5. Þegar meiriháttar atvik skellur á, hver ákveður hvað, hver miðlar til hverra og veit allir hlutverk sitt fyrir daginn? Samfella snýst jafn mikið um stjórn og samskipti og afrit, og hér skilja æfðar áætlanir sig frá spunnu öngþveiti. Farið gegnum mannlega dansritunina: hver hefur umboð til að lýsa yfir meiriháttar atviki og beita áætluninni, hver rekur rekstrarviðbragðið, hver ákveður að kerfi sé öruggt að tengja aftur og hver talar við starfsfólk, sjúklinga, fjölmiðla, eftirlitsaðila og — í netárás — lögreglu. Íhugið bilun eigin tóla ykkar meðan á atvikinu stendur, því bilunin kann að taka niður tölvupóstinn, símaskrána eða innranetið sem þið mynduð venjulega nota til að samhæfa. Dragið fram spennuna milli þess að hreyfa sig hratt og hreyfa sig örugglega, og orðsporshagsmunina af því að fá opinber skilaboð röng. Sterkt svar bendir á prófaða atvikastjórnunarskipan með nafngreind, staðgenglaða hlutverk, samskiptarásir utan bands og fyrirfram samþykkt skilaboðasnið; veikt gerir ráð fyrir að rétta fólkið safnist einfaldlega saman og viti hvað á að gera.

6. Hvernig fjármögnum við, eigum og höldum samfellu lifandi þegar ekkert hefur farið úrskeiðis í tvö ár? Seigla rýrnar hljóðlega í bilinu milli atvika, og þessi spurning horfist í augu við agann í skipulagsheildinni sem heldur henni frá að rotna. Samfella keppir um fé og athygli við sýnileg, áríðandi klínísk og stafræn forgangsatriði, og óþroskuð-og-heppin skipulagsheild lítur eins út og þroskuð allt þar til daginn sem hún gerir það ekki. Þrætið um hver á í raun samfellu á stjórnendastigi, hvort hún hefur fjármagnaða línu frekar en lánaða velvild og hvernig áætlanir, háðakort og tengiliðalistar eru haldnir núverandi þegar kerfi og starfsfólk breytast. Spyrjið hvað stjórnin sér í raun — prófaða tryggingu og heiðarleg bil, eða grænt einkunn og skjal í skjalasafni. Gott svar lýsir nafngreindri ábyrgð, endurteknum fjárlögum og æfingadagatali, og stjórnarháttahrynjandi sem meðhöndlar viðhaldna, prófaða samfellu sem rútínu frekar en eitthvað enduruppgötvað í næstu kreppu.

Í reynd: dæmi úr heilbrigðis- og velferðarþjónustu#

Meadowvale NHS Foundation Trust rekur 600 rúma bráðasjúkrahús. Á þriðjudagsmorgni koma starfsmenn að rafrænu sjúkraskránni sinni (EPR), meinafræði- og myndgreiningarkerfum læstum af lausnargjaldsbréfi; árásaraðilarnir höfðu komist inn gegnum fjaraðgangsreikning birgis tíu dögum fyrr. Upplýsingastjóri lýsir yfir meiriháttar atviki innan klukkustundar og samfelluáætlun samsteypunnar virkjast.

Þar sem samsteypan hafði gert áhrifagreiningu á rekstur vissi hún að EPR og meinafræði voru mikilvægustu kerfin hennar, með samþykkt endurheimtarmarkmið, meðan niðritímaferli hennar höfðu verið æfð haustið áður. Deildir skipta yfir í pappírslyfjatöflur og fyrirfram prentuð mælingaeyðublöð — geymd vísvitandi í líkamlegum skápum á hverri deild, ekki á sameiginlegu drifi — og bráðamóttakan snýr aftur að pappírsleið sinni. Valaðgerðum vikunnar er frestað og miðlað til sjúklinga; sjúkrabílar eru sveigðir frá á annasömustu tímabilunum. Umönnun heldur áfram, skert en örugg, því starfsfólk hafði æft að vinna á þennan hátt.

Endurheimt er erfiðari en endurreisn. Öryggisteymið einangrar netið til að stöðva útbreiðslu, endurbyggir síðan mikilvæg kerfi úr óbreytanlegum afritum geymdum ótengdum — eintökum sem árásaraðilarnir náðu ekki til. Þessi afrit höfðu verið endurheimtarprófuð ársfjórðungslega, svo teymið vissi að ferlið virkaði og um það bil hve langan tíma það tók; EPR er aftur komið innan RTO þess upp á átta klukkustundir, þótt meinafræði, með flóknari háðir, taki tvo daga. RPO upp á fimmtán mínútur þýðir að aðeins stutt gagnagluggi tapaðist, og starfsfólk samræmir pappírsskrárnar aftur inn í kerfið undir stýrðu endurskráningarferli, tvíathugar lyf og niðurstöður.

Í eftirmálsfundi finnur samsteypan raunveruleg bil: einskráning var stakur veikleikapunktur sem seinkaði aðgangi klínískra starfsmanna meðan á endurheimt stóð, og fjaraðgangur birgisins hafði ekki verið þakinn af eigin samfellutryggingu samsteypunnar. Hvort tveggja fer á áhættuskrá stjórnar með eigendum og dagsetningum, og næsta fulla æfing er tímasett. Þetta var slæm vika — en ekki stórslys, því áætlunin var til, fjármögnuð og hafði verið prófuð.

Geirasjónarhorn#

Sprotafyrirtæki#

Stafrænt heilbrigðissprotafyrirtæki hefur sjaldan lausa gagnaver, svo samfellustefna þess styðst nær alfarið við skýjafædda seiglu og agað afrit. Notaðu stýrðar þjónustur með innbyggðu háu aðgengi yfir framboðssvæði, sjálfvirknivæddu afrit með óbreytanlegum eintökum utan reiknings til að lifa af bæði gíslatöku og skertan skýjareikning, og æfðu í raun endurheimt í hreint umhverfi. Viðskiptavinir ykkar — NHS-samsteypur og samþætt umönnunarkerfi — munu í vaxandi mæli krefjast sönnunargagna um RTO, RPO og DR-prófanir gegnum ramma eins og DTAC og birgjatryggingu, svo meðhöndlið samfellu sem sölueign, ekki yfirbyggingu. Tilvistaráhætta lítils birgis er að eitt atvik, eða stofnandinn sem einn skilur innleiðinguna, verður stakur veikleikapunktur ykkar.

Lítil fyrirtæki#

Rótgróinn lítill veitandi — heimilislæknastofa, samfélagsapótek, hjúkrunarheimili, heimaþjónustufyrirtæki eða stakstaða stofa — ber sömu skyldu til að halda sjúklingum öruggum gegnum bilun og stór samsteypa, en með raunverulega sjúklinga, þröngt fé og oft engan sérstakan upplýsingatæknistarfsmann. Samfella hér er vísvitandi hagnýt: vitið hvaða eitt eða tvö kerfi (klíníska skráin, afgreiðslu- eða eMAR-kerfið) myndu stöðva örugga umönnun ef þau bila, krefjist þess að kerfisbirgir ykkar sýni eigin afrit, RTO og RPO, og haldið einföldum, prentuðum niðritímapakka — pappírslyfjatöflum, lykilsímanúmerum, nýlegum sjúklingalistum — þar sem starfsfólk nær í hann þegar skjáirnir eru dimmir. Þar sem ein stofustjóri eða einn upplýsingatæknisverktaki er oft eina manneskjan sem skilur uppsetninguna, skrifið endurheimtarskrefin niður og tryggið að önnur manneskja geti fylgt þeim. Gíslatökuhugbúnaður og biluð breiðbandslína eru hversdagslegar ógnir, svo ótengt eða óbreytanlegt afritseintak og varaleið vinnuaðferðar skipta meira máli en nokkur flókin DR-staður sem þið hafið ekki efni á eða getið ekki rekið.

Stórfyrirtæki#

Stór NHS-sjúkrahússamsteypa, samþætt umönnunarkerfi eða stór heilbrigðistæknibirgi ber útbreidda, samtengda eign þar sem erfiðasta vandamálið er að kortleggja háðir og sameiginlegar þjónustur, ekki neitt eitt kerfi. Fjárfestu í formlegri BCM-áætlun samræmdri ISO 22301, viðhaldnu háðakorti, DR-stöðum eða -svæðum fyrir mikilvæg kerfi og rúllandi dagatali æfinga sem felur í sér klínísku varaleiðina. Umfangið þýðir að SPOF eru oft sameiginlegar þjónustur — auðkenni, samþættingarvélar, netkjarnar — þar sem bilun hefur áhrifakeðju yfir tugi kerfa. Stjórnarhættir eru bindandi hömlunin: með mörg teymi og birgja heldur samfella aðeins ef nafngreindur stjórnandi á hana og stjórnin yfirferð prófaða tryggingu, ekki pappírsáætlanir.

Hið opinbera#

Landsstofnun — NHS England, heilbrigðisráðuneyti landshluta eða UKHSA — verður að hugsa um seiglu í þýðis- og kerfisstærð, þar sem bilun landsþjónustu eða víðnotaðs birgis er sjálf samfelluatburður fyrir allan geirann. Setjið staðla og væntingar (endurheimtarmarkmið, netendurheimt, skyldubundnar æfingar), fjármagnið sameiginlega verndandi getu og samhæfið geirabreitt viðbragð við meiriháttar atvikum eins og landsherferð gíslatöku. WannaCry-viðbragðið endurmótaði landsstefnu einmitt því áhrifin fóru yfir hundruð skipulagsheilda í einu og afhjúpuðu sameiginlega veikleika. Ábyrgð hér er opinber og þingleg, svo gagnsæi um þekktar áhættur og heiðarleg skýrslugjöf um viðbúnað skipta jafn miklu máli og tæknilegu stýringarnar sjálfar.

Algeng mistök#

• Afrit sem aldrei hafa verið endurheimt. Að rugla „við tökum afrit á hverri nóttu“ við „við getum endurheimt.“ Óprófaðar endurheimtir bregðast eða sprengja RTO reglulega; mældu og skýrðu frá árangursríkum enda-á-enda endurheimtum, ekki lokum afrits.
• Afrit sem gíslatökuhugbúnaður nær til. Að halda hverju afriti nettengdu og á netinu, svo árásaraðili dulkóðar þau ásamt framleiðslu. Haltu að minnsta kosti einu óbreytanlegu eða ótengdu eintaki.
• DR sem ver netþjóna, ekki þjónustur. Að endurheimta gagnagrunn en ekki háðirnar, samþættingarnar og aðganginn sem gera hann að nothæfri klínískri þjónustu. Endurheimtu og prófaðu heilar þjónustur, í háðaröð.
• Niðritímaferli sem eru aðeins á pappír um pappír. Varaáætlanir sem eru aldrei æfðar, geymdar á kerfinu sem bilar eða óþekktar frontlínustarfsfólki. Æfðu þau þar sem umönnun gerist í raun.
• Ókortlagðar háðir og sameiginlegir SPOF. Að uppgötva meðan á bilun stendur að einskráning, DNS eða einn birgir undirbyggði allt. Kortleggðu háðir fyrir, ekki meðan á, atvikinu.
• Áætlun skrifuð fyrir endurskoðandann, aldrei æfð. Samfella sem reglufylgniskjal sem rýrnar óprófað þar til daginn sem þörf er á því. Áætlun sem aldrei er prófuð er áætlun sem bregst.
• Að hunsa samfellu birgja og skýs. Að gera ráð fyrir að þriðju aðilar ykkar séu seigir án sönnunargagna, og gleyma ábyrgðarskiptilíkaninu. Gerðu samfellu samningsbundna og tryggða.

Þroskalíkan#

Gátlisti#

• Áhrifagreining á rekstur, í eigu með klínískum starfsmönnum, raðar hverri þjónustu og setur skýrt RTO og RPO fyrir hvert mikilvægt kerfi.
• Mikilvæg kerfi hafa hátt aðgengi og offramboð í réttu hlutfalli við klínískt mikilvægi sitt.
• Stakir veikleikapunktar og mikilvægar háðir (þar með talin sameiginleg þjónusta og birgjar) eru kortlagðar og dregnar úr.
• Afrit fylgja 3-2-1 reglunni með að minnsta kosti einu óbreytanlegu eða ótengdu eintaki sem gíslatökuhugbúnaður nær ekki til.
• Endurheimtir eru prófaðar samkvæmt áætlun og tímasettar gegn RTO/RPO, með „síðasta árangursríka endurheimt“ skýrð sem mælikvarða.
• Sérhvert mikilvægt klínískt kerfi hefur æft niðritímaferli og stýrt gagnaendurskráningarferli.
• Endurheimtaráætlun eftir hamfarir skilgreinir endurheimtarskref, röð, ákvörðunarvald og afturfærslu, og DR-staðurinn/svæðið er prófað.
• Netendurheimtaratburðarás (einangra, endurbyggja úr hreinum afritum, staðfesta, tengja aftur) er skjalfest og æfð.
• Samfella birgja og skýs er samningsbundið krafist, sönnuð og tryggð, þar með talið ábyrgðarskiptilíkanið.
• Samfella er samræmd ISO 22301, í eigu nafngreinds stjórnanda, æfð samkvæmt dagatali og skýrð til stjórnar.

Helstu heimildir#

• NHS England — Business Continuity Management Toolkit og Emergency Preparedness, Resilience and Response (EPRR) Framework og Core Standards.
• National Cyber Security Centre (NCSC) — leiðbeiningar um ótengd/óbreytanleg afrit, mótvægi gegn gíslatökuhugbúnaði og atvikaviðbrögð.
• ISO 22301:2019 — Security and resilience — Business continuity management systems — Requirements (International Organization for Standardization).
• ISO/IEC 27031 — Guidelines for information and communication technology readiness for business continuity.
• Business Continuity Institute (BCI) — Good Practice Guidelines.
• National Audit Office — Investigation: WannaCry cyber attack and the NHS (2017) og lærdómsyfirferð heilbrigðisráðuneytisins.
• NHS England / Data Security and Protection Toolkit (DSPT) — gagnaöryggisstaðlar þar með talin samfella í rekstri og atvikaviðbrögð.
• GOV.UK Service Manual — leiðbeiningar um seiglu, vöktun og endurheimt fyrir lifandi þjónustur.

Tilvísanir#

1. Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
2. IT disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/IT_disaster_recovery
3. ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
4. Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
5. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
6. Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
7. Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
8. Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
9. Ransomware — Wikipedia — https://en.wikipedia.org/wiki/Ransomware
10. WannaCry ransomware attack — Wikipedia — https://en.wikipedia.org/wiki/WannaCry_ransomware_attack
11. ISO 22301:2019 Security and resilience — Business continuity management systems — Requirements — International Organization for Standardization — https://www.iso.org/standard/75106.html
12. Investigation: WannaCry cyber attack and the NHS — National Audit Office — https://www.nao.org.uk/reports/investigation-wannacry-cyber-attack-and-the-nhs/
13. Emergency Preparedness, Resilience and Response (EPRR) — NHS England — https://www.england.nhs.uk/ourwork/eprr/
14. Offline backups in an online world — National Cyber Security Centre — https://www.ncsc.gov.uk/blog-post/offline-backups-in-an-online-world
15. Data Security and Protection Toolkit — NHS England — https://www.dsptoolkit.nhs.uk/