주제 8.6 — 연구 및 실세계 평가

보건·돌봄에서 디지털 혁신은 그것이 실제로 효과가 있다는 증거만큼만 신뢰할 수 있으므로, 위험과 주장에 비례하는 엄격함으로 그 증거를 처음부터 설계해 넣어야 한다.

보건·돌봄에서 이것이 중요한 이유#

배치하는 모든 디지털 제품은 암묵적 약속을 한다. 이것은 해를 끼치지 않으면서 환자, 직원, 또는 시스템에 도움이 될 것이다. 대부분의 분야에서 입증되지 않은 약속은 고객 한 명이나 한 분기의 매출을 잃게 한다. 보건·돌봄에서는 생명을 잃게 하고, 불평등을 벌리며, 시스템 전체가 의존하는 공공 신뢰를 갉아먹을 수 있다. 열의와 좋은 시연은 증거가 아니고, 그럴듯한 기제는 편익의 증명이 아니다.

디지털 보건의 역사는 설득력 있어 보였고 효과가 있음을 아무도 보이기 전에 규모로 도입되었으며, 일부는 조용히 해를 끼치거나, 진단을 놓치거나, 임상의를 우회책으로 내몬 도구로 가득하다. 규제 기관, 위탁자, 임상의는 기준을 높여 응답했다. 이제 배치 전, 중, 후에 신뢰할 만하고 비례적인 증거를 기대한다. 서비스가 주장하는 성과를 전달함을 입증할 수 없다면, 이의 제기를 받거나, 재원이 끊기거나, 철회되리라 예상해야 하며, 마땅히 그렇다.

증거는 관료적 장애물이 아니라 형평성과 안전의 문제이기도 하다. 평균 성과를 개선하는 도구도 디지털에서 배제된 이, 영어가 제한된 사람, 학습 데이터에서 과소 대표된 인구 같은 하위 집단에는 해를 끼칠 수 있다. 의도적 평가만이 이를 드러낸다. 따라서 좋은 증거를 생성하는 것은 돌봄 의무, 공적 자금의 청지기 역할, 서비스하는 사람들 앞의 신뢰성의 일부다(주제 1.3 — 근거 기반 의사결정과 주제 1.6 — 임상 안전과 위험 관리 참조).

핵심 개념#

다른 모든 것을 지배하는 구별에서 시작하라. 연구, 서비스 평가, 임상 감사의 차이다. 연구는 새롭고 일반화 가능한 지식 — 지역 환경 너머에서도 참인 발견 — 을 생성하려는 것이다. 서비스 평가는 서비스 자체가 채택한 기준을 써서 이 서비스가 여기서 얼마나 잘 작동하는지 묻는다. 임상 감사는 현재 실무를 기존의 합의된 기준과 비교하고 변화로 고리를 닫는다. 이 구별은 학문적 현학이 아니다. 거버넌스 경로를 결정한다. 국민보건서비스(NHS) 환자, 직원, 데이터를 포함하는 연구는 거의 언제나 공식 윤리 승인이 필요하고, 대부분의 서비스 평가와 감사는 그렇지 않다. 승인을 피하려고 연구를 평가로 잘못 분류하는 것은 심각한 거버넌스 실패다.

잉글랜드에서 연구 거버넌스는 보건사회복지부의 독립 공공 기관인 Health Research Authority(HRA)를 통해 이뤄진다. HRA는 참여자의 이익을 보호하고 증진하며 승인을 조율하여 연구가 전국에 대해 한 번 검토되게 한다. 윤리 검토는 기관 윤리 심의 위원회의 영국 대응물인 연구 윤리 위원회(REC)가 수행하며, 연구가 윤리적이고, 비례적이며, 참여자에게 안전한지 판단한다. 신청은 프로젝트를 REC, HRA 승인, 필요한 기타 허가로 보내는 단일 온라인 포털인 통합 연구 신청 시스템(IRAS)을 통해 제출된다. HRA의 온라인 결정 도구는 프로젝트가 아예 연구에 해당하는지 판정하도록 돕는다.

현재 디지털 보건 증거의 상당 부분은 실제 세계 데이터(RWD) — 전자 건강 기록, 기기 로그, 등록부, 청구 데이터처럼 통제된 시험 밖에서 수집된 정보 — 로 구축되며, 이를 분석하여 개입이 일상 조건에서 어떻게 작동하는지에 대한 실제 세계 증거(RWE)를 낳는다. 디지털 도구가 부산물로 풍부한 이용 데이터를 생성하고, 시험이 흔히 배제하는 어수선한 현실을 반영하므로 RWE는 강력하다. 취약하기도 하다. 관찰 데이터는 교란과 편향으로 가득하여, 순진한 사전-사후 비교는 계절적 추세나 동시에 일어난 변화를 여러분의 효과로 착각할 수 있다.

그래서 평가 설계가 중요하다. 인과 주장을 위한 가장 강력한 설계는 여전히 참여자를 무작위로 배정해 편향을 줄이는 무작위 대조 시험(RCT)이다. 디지털 맥락은 흔히 실용적 변형을 선호한다. 군집 무작위 시험, 그리고 어차피 하려던 단계적 롤아웃에 맞게 사업장이 무작위 물결로 대조군에서 개입군으로 넘어가는 단계적 쐐기 시험이다. 무작위가 비현실적인 곳에서는 준실험 설계가 도움이 된다. 중단 시계열(ITS) 분석은 가동 전후의 많은 시점에 걸쳐 성과를 추적해 수준과 추세의 변화를 탐지하며, 흔히 시스템 전체 디지털 변화에 대해 실행 가능한 최선의 설계다. 단순한 사전-사후 비교는 가장 약하고 가장 오도하는데, 여러분의 효과를 바뀐 다른 모든 것과 분리할 수 없기 때문이다.

두 가지 닻이 더 업무를 형성한다. 잉글랜드의 디지털 보건 증거 기준은 국립보건임상연구원(NICE)이 발간한 디지털 보건 기술 근거 표준 프레임워크가 정한다. 도구를 잠재적 위험에 따라 등급화하고 각 단계에 기대되는 증거의 강도를 명시한다. 그리고 경계해야 할 지속적 왜곡은 출판 편향이다. 긍정적 결과는 공유하고 부정적 결과는 묻는 경향으로, 분야 전체를 치켜세우고 효과 없는 도구가 퍼지게 한다.

모범 사례#

1. 설계하기 전에 프로젝트를 분류하라. HRA의 결정 도구를 써서 업무가 연구인지, 서비스 평가인지, 감사인지 판정하고 근거를 기록하라. 이 단일 단계가 거버넌스 경로, 일정, 허가를 정한다. 낙관적 방향으로 잘못하면 환자에 대한 승인되지 않은 연구를 운영할 위험이 있고, 신중한 방향으로 잘못하면 단순한 평가에 몇 달의 불필요한 프로세스를 지운다.

2. 평가를 덧붙이지 말고 처음부터 내장하라. 운영 환경 코드를 한 줄 쓰기 전, 디스커버리 중에 "작동한다"가 무엇을 뜻하는지, 어떻게 측정할지 결정하라(주제 3.4 — 디스커버리 단계 참조). 사후에 재구성할 수 없으므로 가동 전에 기준선을 포착하고, 설계가 필요로 하는 성과 및 이용 데이터를 내보내도록 제품을 계측하라. 라이브 서비스에 평가를 끼워 맞추는 것은 거의 언제나 더 높은 비용으로 더 약한 증거를 내며, 흔히 쓸 만한 기준선이 아예 없다.

3. 엄격함을 위험과 주장에 맞추라. 대기자 명단을 재정렬하는 예약 도구는 흉통을 분류하는 알고리즘보다 증거의 무게가 덜 필요하다. NICE 근거 표준 프레임워크로 도구의 위험 단계를 찾고, 증거가 감당할 수 있는 주장을 하라. 진료 예약 불참률이 줄었음을 보이는 중단 시계열이 있다면 그렇게 말하고, 사망률 편익을 암시하지 말라. 비례성은 환자를 증거가 부족한 위험으로부터, 여러분을 위험이 낮은 도구를 지나치게 입증하는 노력의 낭비로부터 보호한다.

4. 실행 가능한 가장 강한 설계를 고르고 그 한계를 명명하라. 가능하면 무작위를 택하고, 단계적 롤아웃 때문에 동시 대조군이 불가능할 때는 단계적 쐐기 설계를 고려하라. 무작위가 진정으로 불가능할 때는 순진한 사전-사후보다 중단 시계열을 선호하고, 유리한 결과를 낚으려는 유혹에 저항하도록 분석을 사전 명시하라. 모든 설계에는 약점이 있다. 독자가 증거를 정직하게 저울질할 수 있도록 여러분의 것을 분명히 밝혀라.

5. 실제 세계 데이터를 의도적으로 쓰고, 교란을 적으로 다루라. 디지털 서비스는 풍부한 RWD를 생성하지만 풍부함이 타당성은 아니다. 어떤 데이터를 쓸지, 그 품질과 완전성, 담긴 편향을 계획하고, 사후에 로그를 캐내지 말고 분석가나 방법론자를 일찍 참여시키라. 가능하면 성과와 분석을 사전 등록하여, 데이터가 바라던 것을 말하도록 고문당하지 않게 하라.

6. 증거를 생업으로 생성하는 사람들과 협업하라. 대학, 국립보건임상연구소(NIHR), 지역 Health Innovation Network — 구 Academic Health Science Networks(AHSN) — 는 사내에서 만들어 낼 수 없는 방법론적 엄격함, 독립성, 재원 경로, 신뢰성을 가져온다. 독립적 평가는 위탁자와 임상의에게 공급업체 자체 분석보다 훨씬 더 큰 무게를 지닌다. 일찍 참여시키라. 최선의 설계는 배치 후가 아니라 전에 정해지기 때문이다(주제 9.0 — 파트너 조직과의 협업 참조).

7. 활동만이 아니라 성과와 경제성을 측정하라. 로그인, 클릭 수, 만족도 점수는 필요하지만 충분하지 않다. 위탁자는 성과와 가치에 재원을 댄다. 가능하면 평가를 임상 성과, 안전 신호, 하위 집단 간 형평성, 비용 결과에 연결하고, 보건경제학자와 함께 의사결정자가 쓰는 말로 편익을 구성하라(주제 6.1 — 보건경제학 참조). 평균적으로 도움이 되지만 하위 집단에 해를 끼치는 도구가 평균 뒤에 숨지 못하도록 결과를 인구별로 항상 세분화하라.

8. 결과를 공표하라 — 실망스러운 것도 포함해서. 긍정적이든 부정적이든 보고서, 사전 인쇄본, 동료 심사 논문으로 발견을 공유하겠다고 미리 약속하라. 부정적 결과를 공표하는 것은 전문직의 의무다. 다른 조직이 여러분의 실수를 반복하지 않게 하고, 효과 없는 도구가 증식하게 하는 출판 편향에 맞선다. "이것을 평가했는데 효과가 없어서 중단했다"고 말할 수 있는 문화는 덜이 아니라 더 신뢰할 만하다.

9. 고리를 닫고 배운 것에 따라 행동하라. 어떤 결정도 바꾸지 않는 증거는 낭비다. 발견을 로드맵, 비즈니스 케이스, 단계화 결정에 되먹임하라. 효과 있는 것은 확대하고, 반쯤 되는 것은 고치며, 안 되는 것은 폐기하라(주제 8.0 — 혁신의 단계적 도입 참조). 그다음 다시 평가하라. 한 환경에서 파일럿 규모로 작동한 디지털 도구가 국가 규모나 다른 인구에서는 다르게 행동할 수 있기 때문이다.

팀과 논의할 질문#

1. 우리가 하려는 일은 연구인가, 서비스 평가인가, 감사인가 — 그리고 그 답에 얼마나 확신하는가? 이것이 첫 질문인 이유는 답이 거버넌스 경로 전체를 정하고 잘못하면 심각한 결과가 따르기 때문이다. 데이터 주체가 누구인지, 무엇이든 무작위화하는지, 일반화 가능한 지식을 낳으려는지, 공표할 계획인지 이야기하라. 모두 프로젝트를 "연구" 쪽으로 미는 신호다. 승인 경로가 더 빠르다는 이유로 무언가를 평가로 라벨링하라는 압박에 저항하라. 그 압박이 정확히 거버넌스 실패가 시작되는 곳이다. HRA 결정 도구를 방 안에서 함께 쓰고, 근거와 누가 동의했는지 적어 두라. 좋은 답은 단지 라벨이 아니라 정보 거버넌스와 임상 안전 동료가 본 문서화되고 방어 가능한 판단이다. 진정으로 확신이 없다면, 일정에 맞는 방향으로 추측하지 말고 HRA나 R&D 사무실에 묻는 것이 정직한 수다.

2. 이것이 작동한다는 설득력 있는 증거로 무엇이 칠 것이며 — 누구에게인가? 청중마다 다른 증거를 요구한다. 임상의는 안전과 성과 데이터를, 위탁자는 비용과 가치를, 규제 기관은 적절한 NICE 단계가 충족되었는지를, 환자는 자기 같은 사람들에게 안전하고 공정한지를 알고 싶어 한다. 도구에 "작동한다"가 실제로 무엇을 뜻하는지, 어떤 결과가 여러분을 중단하게 할지 토론하라. 중단 조건을 말할 수 없는 팀은 사실 평가하는 것이 아니기 때문이다. 롤아웃 계획, 데이터, 예산을 고려할 때 어떤 설계가 실행 가능한지 생각하고, 엄격함과 속도 사이의 상충 관계에 정직하라. 신뢰받으려면 독립적 평가가 필요한지, 필요하다면 누가 해야 하는지 논의하라. 좋은 답은 의사결정자, 그들을 움직일 성과, 그 성과를 신뢰성 있게 낳을 수 있는 설계, 도구가 실패했다고 결론 내릴 임계를 명명한다.

3. 부정적이거나 실망스러운 결과를 어떻게 다룰 것인가? 결과가 나오기 전에 이것을 물으라. 답이 사전에 훨씬 더 정직하기 때문이다. 평가가 편익이 없음을 보이거나, 다수에게는 편익이 있고 배제된 하위 집단에는 해가 있음을 보인다면 무엇을 할지, 누가 들어야 할지 탐색하라. 실제 압력을 드러내라. 매몰 비용, 공급업체 관계, 평판 걱정, 좋은 소식을 원하게 만드는 경력 유인이다. 결과와 무관하게 공표하겠다는 사전 약속과, 결과가 난처할 때 그 약속을 지키게 할 거버넌스를 논의하라. 좋은 답은 부정적 결과를 낸 잘 운영된 평가를 팀의 실패가 아니라 프로세스의 성공으로 다루고, 우아하게 폐기하고, 솔직하게 소통하며, 정직한 발견을 내놓은 사람들을 보호할 구체적 계획이 있다.

4. 가동 전에 무엇을 포착하고 계측해야 하며 — 실제로 내장했는가? 평가는 기준선과 그것이 끌어올 수 있는 데이터만큼만 좋으며, 둘 다 출시 후보다 전에 확보하는 것이 훨씬 싸다. 어떤 "전" 상태가 필요한지 점검하라. 입원율, 대기 시간, 오류율, 현재 경로 비용이다. 그리고 이것이 지금 기록되고 있는지, 관심 있는 하위 집단별로 세분화되어 있는지 확인하라. 포착하지 못한 기준선은 결코 재구성할 수 없기 때문이다. 제품 자체가 선택한 설계가 필요로 하는 성과 및 이용 데이터를 내보낼지, 그 계측이 여전히 백로그의 소망인지 확인하라. 시기의 긴장을 토론하라. 출시 압박은 일자를 맞추려고 측정을 걷어 내는 경우가 많고, 그런 삭감마다 나중에 내놓으라고 요구받을 증거를 조용히 약화시킨다. 로그가 이미 흐르기 시작한 뒤가 아니라 설계가 아직 유연할 때 분석가나 방법론자를 참여시키라. 좋은 답은 롤아웃 후에 해결하겠다는 의도가 아니라 무엇을, 언제부터, 어떤 세분성으로 포착하는지, 누가 라이브임을 확인했는지의 구체적 목록이다.

5. 의존하려는 데이터는 얼마나 좋으며, 우리 결론을 무엇이 교란할 수 있는가? 실제 세계 데이터는 풍부하지만 깨끗한 일은 드물고, 그럴듯한 차트는 계절성, 동시에 일어난 서비스 변화, 평균으로의 회귀, 도구와 무관한 코딩 변화를 숨길 수 있다. 쓰려는 모든 원천의 출처, 완전성, 품질을 따져 묻고, 각각이 지닌 편향을 명명하라. 전자 기록에서 누가 빠지는지, 어느 필드가 신뢰할 수 없는지, 코드가 얼마나 일관되게 적용되는지다. 가동과 같은 시기에 다른 무엇이 바뀌었는지 물으라. 그런 사건을 무시하는 중단 시계열이나 사전-사후는 다른 이들의 효과를 여러분 도구의 공으로 돌린다. 어떤 비교나 설계가 가장 공정한 반사실을 주는지 미리 결정하고, 데이터가 결과를 치켜세우도록 조용히 재구성되지 않게 분석을 사전 명시하라. 좋은 답은 데이터의 약점을 정직하게 지도로 그렸고, 회의론자가 각각을 잡아당겨도 살아남을 설계를 골랐음을 보여 준다.

6. 누가 이 평가를 운영해야 하며, 신뢰받으려면 얼마나 독립적이어야 하는가? 자기 숙제를 스스로 채점하는 것은 신뢰할 만한 발견이 묵살되는 가장 빠른 길이므로, 공급업체나 사내 분석이 실제로 움직여야 할 청중을 설득할지 일찍 결정하라. NIHR이 지원하는 학술 팀, 대학, Health Innovation Network를 참여시키는 비용과 시간을 독립적이고 공표 가능한 증거의 평판 및 상업적 가치와 저울질하라. 이해 상충이 어디 있는지 논의하라. 도구를 만들거나 산 사람들은 그것이 작동하는지 판단하기에 적절한 사람인 경우가 드물다. 좋은 소식을 내놓으라는 압박으로부터 평가를 어떻게 격리할지도 논의하라. 독립성 너머로 파트너가 가져오는 것을 고려하라. 사내에서 만들어 낼 수 없는 방법론적 엄격함, 재원 경로, 위탁자와 임상의 앞의 위상이다. 좋은 답은 독립성의 정도를 위험과 의사결정자의 회의 정도에 맞추고, 설계가 고정되기 전에 그 파트너십을 확보한다. 결과가 실망스러워진 뒤가 아니다.

실제 사례: 보건·돌봄 예시#

한 통합 돌봄 시스템(ICS)이 계획되지 않은 입원을 줄이길 바라며 만성 심부전 환자를 위한 원격 모니터링 앱을 위탁한다. 공급업체의 슬라이드는 다른 곳에서의 30% 감소를 보여 주고, 겨울 전에 열두 개 자치구 전체에 빨리 롤아웃하라는 압박이 있다.

디지털 딜리버리 리드는 멈춰서 업무를 분류한다. ICS가 일반화 가능한 발견을 원하고 공표할 의도이며 식별 가능한 환자 데이터를 새 목적으로 분석할 것이므로, 이것은 서비스 평가가 아니라 연구이고, 따라서 IRAS 신청과 REC 검토가 필요하다. 이를 장애물로 다루는 대신, 리드는 지역 Health Innovation Network와 지역 대학의 NIHR 지원 연구 팀에 접근하고, 이들이 연구 설계를 돕고 신청서를 공동 작성한다. 모든 것을 한꺼번에 켜는 대신 단계적 쐐기 설계를 채택한다. 열두 개 자치구가 아홉 달에 걸쳐 무작위 물결로 가동되어 모든 자치구가 결국 앱을 얻고, 엇갈린 시작이 공정한 비교를 제공한다. 박탈과 인종별로 세분화된 입원율 기준선이 첫 물결 전에 포착된다.

NICE 근거 표준 프레임워크를 써서 팀은 도구를 임상 위험이 있는 단계에 놓고 그에 따라 증거 기대를 정하며, 입원율, 안전 신호로서의 사망률, 피한 입원당 비용을 성과로 사전 등록한다. 아홉 달 뒤 중간 분석은 냉정하다. 전체 입원은 소폭 줄었지만, 앱을 가장 적게 쓰는 가장 박탈된 집단에서는 편익이 없고 늦은 내원의 걱정스러운 증가가 있다. 팀은 이를 묻지 않는다. ICS 이사회에 보고하고, 그 집단들에 대한 롤아웃을 일시 정지하며, 온보딩을 재설계하고 디지털에서 배제된 환자를 위한 전화 지원을 추가하고, 미달분과 재설계를 모두 공표한다. 결과는 진정으로 도움이 되는 서비스와, 아팠을 때도 팀이 진실을 말하는 것을 보았기 때문에 증거를 신뢰하는 의사결정 이사회다.

부문별 관점#

스타트업#

소규모 디지털 보건 회사는 증거에 흥망이 달려 있지만 혼자 증거를 생성할 돈이나 사내 방법론이 거의 없다. 가장 빠른 신뢰할 만한 경로는 파트너십이다. NIHR 재원의 학술 협력자나 Health Innovation Network의 실제 세계 평가는 투자자와 NHS 구매자가 자체 발간한 백서보다 훨씬 더 믿는 독립적 발견을 준다. 비례적 주장에 규율을 지키라. 파일럿을 따내려고 과장하는 것은 이후 평가에 실패하고 평판을 잃는 가장 빠른 길이다. 데이터 포착을 첫날부터 제품 아키텍처에 내장하라. 시드 라운드 이후에 사후 끼워 맞추는 것은 비싸고 더 빈약한 증거 기반을 낳기 때문이다.

소규모 사업체#

디지털 도구를 도입하는 확립된 소규모 제공자 — 일반의 진료소, 지역 약국, 요양원, 단일 사업장 클리닉 — 는 배치하는 것을 평가해야 하지만 R&D 사무실도, 방법론자도, 여유 일손도 거의 없다. 현실적인 수는 시험을 운영하는 것이 아니라 규율 있는 서비스 평가를 운영하는 것이다. 켜기 전에 간단한 기준선을 포착하고, 소수의 정직한 성과 척도에 합의하며, 환자에게 실제로 무엇이 바뀌는지 기록하라. 직접 구축할 필요가 없는 공유 인프라에 크게 기대라. Health Innovation Network, 지역 대학, 또는 여러 소규모 사업장에 걸쳐 데이터와 전문성을 모을 수 있는 연합이나 일차 진료 네트워크다. 독립적으로 확인할 수 없는 공급업체의 헤드라인 주장을 액면 그대로 받아들이는 것을 특히 경계하고, 분류 의무가 작은 규모에서도 여러분에게 적용됨을 분명히 하라. 비례적이고 잘 문서화된 지역 증거는 달성 가능하고, 도구를 계속하거나, 조정하거나, 버릴 정당화에 충분하다.

대기업#

대형 NHS 트러스트나 ICS에는 R&D 사무실, 정보 거버넌스 기구, 기존 학술 연결 — 스타트업이 부러워할 자산 — 이 있지만, 평가하기 전에 트러스트 전체에 도구를 배치하는 관성도 있다. 과제는 "규모화하기 전에 평가하라"를 기본값으로 만들고, 초기 증거가 약할 때 서명된 엔터프라이즈 계약의 추진력에 저항하는 것이다. 규모를 방법론적 이점으로 쓰라. 여러 사업장은 단일 진료소가 감당할 수 없는 방식으로 단계적 쐐기와 군집 무작위 설계를 실행 가능하게 한다. 부정적 결과의 내부 정치를 경계하라. 큰 투자는 결과와 무관하게 성공을 선언하려는 강력한 유인을 만든다.

정부#

NHS England, 보건사회복지부, 자치 정부 같은 국가 기관은 다른 이들이 따르는 규칙을 정하므로, 그 증거 표준이 시장 전체를 형성한다. 그 일은 프레임워크(HRA 거버넌스 시스템, NICE 근거 표준 프레임워크, DTAC)를 관리하고, 모두가 좋은 증거를 생성할 수 있게 하는 인프라 — NIHR, Health Innovation Network, 신뢰할 수 있는 연구 환경 — 에 재원을 대는 것이다. 정부가 국가 규모로 조달할 때 증거의 위험은 엄청나다. 증거가 부실한 롤아웃은 수백만 시민에게 해를 굳힐 수 있고 정치적으로 되돌리기 거의 불가능하다. 따라서 다른 이들에게 요구하는 가장 높은 기준을 스스로에게 적용하고, 대중의 신뢰를 지키기 위해 실패를 포함한 자체 평가를 공표해야 한다.

흔한 실패 양상#

• 사후 고려로서의 증거. 먼저 배치하고 나중에 "효과가 있었나?"를 물으며 기준선을 포착하지 않아, 어떤 신뢰할 만한 인과 주장도 할 수 없게 된다.
• 연구를 평가로 잘못 분류. HRA와 REC 승인을 피하려고 "평가" 라벨을 택해 환자를 승인되지 않은 연구에 노출시키고 조직을 심각한 거버넌스 위반에 노출시킨다.
• 순진한 사전-사후. 두 스냅샷을 비교하고 계절성, 동시 이니셔티브, 평균으로의 회귀를 무시한 채 모든 변화를 도구 덕으로 돌린다.
• 허영 지표. 로그인, 다운로드, 만족도를 보고하면서 임상 성과, 안전, 형평성, 비용에는 침묵한다.
• 해를 숨기는 평균. 인구별로 세분화하지 않고 대표 평균 개선을 제시하여 도구가 실패시키거나 해를 끼치는 하위 집단을 숨긴다.
• 자기 숙제를 스스로 채점. 독립적 평가 없이 공급업체가 생성한 증거에만 의존하여 어떤 회의적 청중도 믿지 않는다.
• 나쁜 소식 묻기. 긍정적 발견만 공표하여 출판 편향을 키우고 효과 없는 도구가 시스템 전반에 퍼지게 한다.
• 과장. 적당하고 설계가 약한 결과를 증거가 뒷받침할 수 없는 강한 임상 주장으로 늘린다.

성숙도 모델#

체크리스트#

• HRA 결정 도구를 써서 프로젝트를 연구, 서비스 평가, 감사로 분류하고 근거를 문서화한다.
• 연구라면 IRAS 신청과 연구 윤리 위원회 검토를 일찍 계획한다.
• 디스커버리 중에 "작동한다"의 의미와 그것을 입증할 성과를 정의한다.
• 가동 전에 관련 하위 집단별로 세분화된 기준선을 포착한다.
• NICE 근거 표준 프레임워크에서 도구의 위험 단계를 찾고 엄격함을 그에 맞춘다.
• 실행 가능한 가장 강한 설계(RCT, 단계적 쐐기, 또는 중단 시계열)를 고르고 한계를 기록한다.
• 실제 세계 데이터 원천, 품질, 편향을 계획하고 분석을 사전 명시한다.
• 신뢰성이나 재원이 필요한 곳에서는 독립적 파트너(NIHR, 대학, Health Innovation Network)를 참여시킨다.
• 활동 지표만이 아니라 임상 성과, 안전 신호, 형평성, 비용을 포함한다.
• 부정적 결과를 포함해 결과를 공표하겠다고 미리 약속하고 어디에 할지 명명한다.
• 시작 전에 중단 조건과 우아한 폐기 계획을 정의한다.
• 발견을 로드맵, 비즈니스 케이스, 단계화 결정에 되먹임한다.

주요 출처#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — "Is my study research?" 결정 도구, HRA 승인, 연구 윤리 지침.
• Integrated Research Application System (IRAS) — 영국 보건 및 사회적 돌봄 연구 신청을 위한 단일 포털.
• National Institute for Health and Care Research (NIHR) — 재원, 평가 지원, 연구 인프라.
• Health Innovation Network (formerly Academic Health Science Networks) — 실제 세계 평가와 도입 지원.
• Medicines and Healthcare products Regulatory Agency (MHRA) — 실제 세계 데이터 지침과 의료기기로서의 소프트웨어/AI.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (프레임워크 지침).
• EQUATOR Network — 투명한 연구 보고를 위한 보고 지침(CONSORT, STROBE, TRIPOD).

참고문헌#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/