주제 1.3 — 근거 기반 의사결정

한 문장으로: 근거 기반 의사결정이란 무엇을 구축하고, 구매하고, 확산할지를 위험에 비례하는 가용한 최선의 근거(임상 근거와 전달 근거)의 강도에 따라 결정하고, 그 추론을 결정한 사람들보다 오래 남도록 기록하는 것이다.

보건·돌봄에서 이것이 중요한 이유#

대부분의 부문에서 잘못된 제품 결정은 돈을 잃게 한다. 보건·돌봄에서는 안전, 형평성, 신뢰를 잃을 수 있으며, 그 결정은 법적 의무 아래 공적 자금으로 내려진다. 한 번도 평가된 적 없는 디지털 진단 도구를 도입하기로 하는 결정은 상업적 도박이 아니라 임상적 위험이다. 이는 근거의 기준을 "시연이 좋아 보였다"보다 훨씬 높게 끌어올린다.

이 영역은 두 종류의 근거를 동시에 요구한다는 점에서도 독특하다. 임상 근거는 "이 기술이 작동하며 환자에게 안전하고 효과적인가?"에 답한다. 전달 근거는 "우리가 올바른 것을 잘 만들고 있으며, 채택되어 사용되고 있는가?"에 답한다. 서비스는 임상적으로 타당하지만 전달에는 실패할 수 있고(아무도 쓰지 않음), 전달에는 성공했으나 임상적으로 입증되지 않았을 수도 있다(널리 쓰이지만 한 번도 검증된 적 없음). 고위 리더는 둘 다 요구해야 하며 하나가 다른 하나로 행세하게 두어서는 안 된다. 그리고 보건 분야의 결정은 규제 기관, 대중, 임상의의 감시를 받으므로, 왜 그렇게 결정했는지의 기록이 결정 못지않게 중요하다.

핵심 개념#

근거 위계. 근거 기반 의학은 연구 설계를 편향을 얼마나 잘 통제하는지에 따라 서열화한다. 최상위에는 무작위 대조 시험(RCT)의 체계적 문헌고찰과 메타분석이 있고, 그 아래에 개별 RCT, 그 아래에 코호트 및 환자-대조군 연구, 그 아래에 증례 시리즈, 맨 밑에 전문가 의견과 일화가 있다. 이 위계는 틀에 가두는 구속복이 아니라 안내 지침이지만, 증명으로 포장한 일화에 주장이 기대고 있음을 알아차리게 하는 규율을 준다.

디지털 보건 기술을 위한 NICE 근거 표준 프레임워크(ESF). NICE는 NHS England 및 파트너들과 함께, 디지털 보건 기술(DHT)이 그 기능과 수반하는 위험에 비례하여 어느 수준의 근거를 필요로 하는지를 규정하기 위해 ESF를 만들었다. 이는 DHT를 잠재적 위험에 따라 구분하며, 단순한 시스템 서비스에서 돌봄에 정보를 주거나 이를 추동하는 도구를 거쳐 직접 진단하거나 치료하는 도구에 이르고, 각 단계에서 기대되는 임상적 효과성과 경제성 근거를 명시한다. 임상적 위험이 높을수록 더 강한 근거가 요구된다. ESF는 DHT가 준비되었는지를 결정하는 구매자와 개발자에게 기준점이 된다.

실세계 데이터와 실세계 근거. 실세계 데이터(RWD)는 통제된 시험이 아니라 전자 건강 기록, 등록 자료, 환자 보고 성과, 기기 원격 측정 같은 일상 진료에서 나온다. 전향적 관찰 연구, 실용 시험, 신중한 EHR 분석을 통해 잘 분석하면 기술이 실제로 어떻게 작동하는지에 대한 실세계 근거(RWE)가 된다. 일회성 시험으로는 지속적 행태를 포착할 수 없는, 학습하거나 변하는 기술(AI, 웨어러블)에 RWE는 필수적이지만, 정직하게 다루어야 할 교란 위험을 안고 있다.

임상 근거 대 전달 근거. 이 둘은 별개의 축에 두라. 임상 근거는 위의 위계와 ESF를 쓴다. 효능, 안전성, 효과성이다. 전달 근거는 제품 및 서비스 분석을 쓴다. 서비스가 사용 가능한가, 채택되는가, 사용자의 과업을 완료하는가, 실패 수요를 줄이는가? 둘 다 필요하며, 둘을 뒤섞는 것은 전형적인 오류다(높은 사용량은 임상적 증명이 아니다).

평가 설계. 논리 모형(또는 변화 이론)은 투입과 활동이 어떻게 산출과 성과를 낳으리라 기대되는지를 명시한다. 모든 평가가 시험하는 지도다. RCT는 가장 강한 인과적 답을 주지만 느리고 비싸며, 빠르게 움직이는 서비스에는 실용적이지 않거나 비윤리적일 때도 있다. 실용적 평가, 즉 실용 시험, 중단 시계열, 대조군을 둔 전후 비교, 혼합 방법 서비스 평가는 약간의 확실성을 속도와 실세계 적합성과 맞바꾼다. 위험과 눈앞의 결정에 비례하는 설계를 선택하라.

A/B 테스트와 분석. 위험이 낮은 전달 측면의 질문(어떤 문구가 예약 참석률을 높이는가? 어떤 흐름이 이탈을 줄이는가?)에는 통제된 온라인 실험(A/B 테스트)이 빠른 인과적 전달 근거를 제공한다. 최적화에는 강력하지만 평가되지 않은 임상적 변경을 하는 데 써서는 안 되며, 동의와 정보 거버넌스의 경계를 존중해야 한다.

HiPPO 결정. "HiPPO", 즉 가장 높은 보수를 받는 사람의 의견(Highest-Paid Person's Opinion)은 직급이 근거를 압도하는 실패를 가리킨다. 근거 기반 문화는 방 안의 누구에게든 "데이터는 무엇을 보여 주나?"라고 묻는 것을 안전하고 일상적으로 만들며, 고위층의 직감을 결론이 아니라 검증할 가설로 다룬다.

결정 기록. 결정 기록(또는 결정 로그 / 아키텍처 결정 기록)은 결정, 검토한 대안, 비중을 둔 근거, 결정한 사람, 시점을 간략히 포착한다. 추론을 감사 가능하게 하고, 직원 교체에도 살아남으며, 같은 논쟁이 분기마다 되풀이되는 것을 막는다.

모범 사례#

1. 근거의 강도를 위험의 수준에 맞추라. NICE ESF 단계를 잣대로 삼으라. 위험이 낮은 시스템 도구에는 가벼운 근거면 되고, 진단하거나 치료를 추동하는 도구에는 고품질의 임상 효과성 근거가 필요하다. 비례성은 모든 것에 하나의 기준을 적용하는 대신 안전한 것에는 빠르게, 위험한 것에는 느리게 움직이게 해 준다.

2. 임상 근거와 전달 근거를 모두 요구하고, 결코 혼동하지 말라. 중요한 투자마다 "임상적으로 효과적이고 안전한가?"와 "사용 가능하고 채택되는가?"라는 두 개의 별개 질문을 던지고 각각에 대한 근거를 요구하라. 채택 지표는 임상적 검증을 대신하지 못하며, 긍정적인 시험이 실세계 사용을 보장하지도 않는다.

3. 모든 사업을 논리 모형으로 시작하라. 구축하기 전에 개입이 원하는 성과를 어떻게 낳으리라 믿는지 적어 두라. 이는 검증되지 않은 가정을 일찍 드러내고, 중요한 지표를 정의하며, 이후 평가가 검증할 구체적인 것을 제공한다.

4. 학습하거나 지속되는 기술에는 실세계 근거를 활용하라. AI, 알고리즘, 오래 가는 서비스의 경우 초기 시험을 보완하거나 이어서, 일상 데이터의 구조화된 모니터링(전향적 관찰 설계, 실용적 평가)을 수행해 성능이 실제로 어떻게 유지되는지 알고 드리프트를 포착하라.

5. 전달 질문은 실험하고, 임상 질문은 평가하라. 정보 거버넌스와 동의의 한계 안에서 전달 최적화(문구, 흐름, 프롬프트)에는 A/B 테스트와 분석을 자유롭게 사용하라. 공식 평가(시험, 실용 연구)는 임상적 효과에 관한 질문에 한정하라. 각 질문을 알맞은 방법으로 보내라.

6. HiPPO 결정을 절차적으로만이 아니라 문화적으로 없애라. 어떤 결정권자에게든 근거를 요구하는 것을 명시적으로 허용하고, 고위층의 견해를 가설로 틀지으며, 어떤 근거가 마음을 바꿀지 미리 약속하라. 직급에 안전하게 이의를 제기할 수 있는 팀이 더 나은 결정을 내린다.

7. 결정과 그 근거를 기록하라. 중요한 선택마다 무엇을, 왜, 어떤 근거로, 누가, 언제 했는지 가벼운 결정 로그를 유지하라. 이는 규제 기관과 대중에 대한 감사 가능성을 만들고, 끝없는 재논쟁을 막으며, 직원 이탈 속에서도 조직의 기억을 보존한다.

8. 데이터 윤리에 유의하라. 근거 작업은 환자 데이터를 쓴다. 적법성, 동의, 비례성, 공정성을 설계 제약으로 다루라. 불평등을 굳히는 편향된 데이터셋을 경계하고, 비밀 유지 의무를 존중하며, 여러분의 근거 실천 자체가 대중의 검증을 견디도록 하라.

팀과 논의할 질문#

1. 가장 중요한 최근 결정에 대해, 별개로 구분된 임상 근거와 전달 근거를 모두 짚을 수 있는가, 아니면 하나가 조용히 다른 하나를 대신했는가? 이 질문은 임상 근거("작동하며 안전한가?")와 전달 근거("사용 가능하고 채택되는가?")가 별개의 축에 있으며 이를 뒤섞는 것이 전형적이고 위험한 오류라는 주제의 주장을 시험한다. 서비스는 임상적으로 타당하지만 쓰이지 않을 수 있고, 많이 쓰이지만 임상적으로 검증되지 않았을 수도 있기 때문에 중요하다. 보건·돌봄에서 높은 사용량을 임상적 증명으로 착각하면 성공처럼 보이면서 환자를 위험에 빠뜨릴 수 있다. 드러내야 할 긴장은 전달 근거가 빠르고, 싸고, 듣기 좋다는 점이다. 분석 대시보드는 금세 채워지지만, 임상 근거는 느리고 비싸며 결론이 나지 않는 경우가 많아서, 채택 지표가 논거를 떠받치게 하려는 압력이 끊이지 않는다. 실제 이사회 보고서나 투자 사례를 가져다 감사해 보라. 두 종류의 근거가 분리되어 있는가, 각각이 실제로 존재하는가, 임상적 주장이 공급업체의 시연이나 단일 기관 연구 이상의 무언가에 기대고 있는가? 좋은 정직한 답은 구체적인 결정을 짚고, 한 종류의 근거가 얇거나 없었음을 인정하며, 강한 사용 수치가 모두를 안심시키게 두지 않고 앞으로 중요한 선택마다 둘 다를 명시적이고 별개로 요구하겠다고 약속한다.

2. 우리의 근거 기준은 정말로 얼마나 비례적인가 — 저위험 변경에는 최고 수준의 시험을 요구하면서 더 위험한 도구는 빈약한 근거로 통과시키고 있지는 않은가? 주제는 비례성을 NICE ESF 단계로 규정한다. 위험이 낮은 시스템 도구에는 가벼운 근거, 진단하거나 치료를 추동하는 도구에는 고품질 임상 효과성 근거다. 이 질문은 조직이 실제로 기준을 위험에 맞춰 조정하는지, 하나의 뭉툭한 표준을 적용하는지를 점검한다. 양쪽 방향의 실패가 모두 비싸기 때문에 중요하다. 분석 마비는 유용한 저위험 콘텐츠 변경을 불필요한 RCT 뒤에 묶어 놓고, 임상 결정에 정보를 주는 충분히 검증되지 않은 AI 도구는 설득력 있는 시연만으로 통과하며, 각각이 근거 문화에 대한 신뢰를 훼손한다. 논의할 상충 관계는 비례성이 판단력과 그것을 변호할 자신감을 요구하고, 이는 획일적 규칙보다 어렵다는 점이다. "모든 것에 시험이 필요하다"나 "디지털이면 그냥 시범 운영하라"는 식의 일괄 규칙은 관리하기 쉽지만 틀렸다. 현재 또는 최근 기술 두세 개를 함께 살펴 각각을 ESF 단계에 배치하고, 요구한 근거가 단계에 맞았는지 아니면 누가 그것을 옹호하는지에 좌우되었는지 확인하라. 정직한 답은 팀이 기술의 위험 단계를 찾아낼 수 있음을 보이고, 기준이 어느 방향으로든 잘못 설정된 곳을 인정하며, 비례성을 본능이 아니라 명시적이고 변호 가능한 표준으로 다룬다.

3. 문화적으로 방 안의 가장 높은 사람에게 "근거가 무엇입니까?"라고 묻는 것은 얼마나 안전한가 — 그리고 리더의 직감을 결정이 아니라 검증할 가설로 대한 것은 언제가 마지막인가? 이 질문은 가장 높은 보수를 받는 사람의 의견이 근거를 압도하는 HiPPO 실패 양상을 정면으로 다루며, 근거에 대한 우리의 약속이 위계와 존경받는 이사를 감동시킨 공급업체 시연과 마주쳐도 살아남는지 시험한다. 보건·돌봄에서 시연에 이끌려 평가되지 않은 도구를 도입하기로 하는 결정은 상업적 도박이 아니라 임상 안전과 공적 자금의 위험이고, 이의 제기가 안전하지 않게 되는 순간이 근거가 결정을 지배하기를 멈추는 순간이기 때문에 중요하다. 실제 긴장은 심리적 안전이 정책으로 의무화될 수 없다는 점이다. 그것은 고위 리더가 이의 제기를 눈에 띄게 환영하고, 자신의 견해를 가설로 틀지으며, 어떤 근거가 마음을 바꿀지 미리 약속함으로써 쌓인다. 이런 행동은 스스로를 드러내는 일처럼 느껴지고 시간 압박 속에서는 건너뛰기 쉽다. 구체적인 사례에 논의의 뿌리를 두라. 데이터보다 직급이나 열의에 이끌린 최근 결정을 떠올리고, 누가 이의를 제기했는지, 그것이 안전하게 느껴졌는지, 결정 기록이 무엇을 포착했을지 물으라. 좋은 답은 위계가 현재 이기는 곳을 솔직히 말하고, 이의 제기를 일상으로 만들기 위해 리더가 채택할 구체적 행동을 명명하며, 문화적 약속을 추론을 감사 가능하게 하고 같은 논쟁이 되풀이되는 것을 막는 가벼운 결정 로그와 짝짓는다.

4. 학습하거나 지속되는 기술(우리의 AI, 알고리즘, 오래 가는 서비스)의 경우, 검증한 이후 성능이 드리프트했는지 우리가 실제로 어떻게 알 수 있으며, 누가 지켜보고 있는가? 주제는 일회성 시험이 학습하거나 변하는 기술의 지속적 행태를 포착할 수 없으며 "한 번 평가하고 끝"이 이름 붙은 실패 양상이고 그 해독제가 실세계 근거와 지속적 모니터링이라고 분명히 말한다. 이 질문이 중요한 것은 위험이 조용하기 때문이다. AI 악화 예측 모델이나 분류 알고리즘은 케이스 믹스, 코딩 관행, 상류 데이터 파이프라인이 변함에 따라 저하될 수 있고, 고장 난 기능과 달리 눈에 띄게 실패하는 것이 없다. 도구는 그럴듯한 출력을 계속 내놓으면서 거짓 경보나 놓침 비율이 조용히 나빠진다. 드러내야 할 긴장은 모니터링이 도입의 흥분에 비해 눈에 띄지 않고 자금도 부족하다는 점이다. 비즈니스 케이스에 서명하고 편익이 장부에 오르고 나면, 전향적 관찰 작업, 드리프트 지표, 이를 검토하는 지정된 책임자에 자원을 대는 조직은 드물다. 운영 중인 AI나 알고리즘 도구 하나를 골라 도입 이후의 삶을 구체적으로 추적해 보라. 어떤 일상 데이터를 어떤 기준선과 비교해 어떤 주기로 지켜보는가, 저하를 누가 누구에게 상향 보고하는가. 정직한 답은 검증이 가동 시점에 멈춘 곳을 인정하고, 지속적 감시가 정말 필요한 도구와 그렇지 않은 도구를 구별하며, "계속 지켜보겠다"는 막연한 의도 대신 지정된 책임자, 지표, 검토 리듬을 약속한다.

5. 오늘 내린 결정이 2년 뒤 새 이사나 규제 기관이나 대중에게 질문을 받을 때, 기록은 실제로 무엇을 보여 줄 것이며 그 검증을 견디겠는가? 주제는 결정 기록을 핵심 인프라로 다룬다. 결정, 대안, 비중을 둔 근거, 결정한 사람과 시점의 가벼운 로그이며, 추론을 감사 가능하게 하고, 직원 교체에도 살아남으며, 같은 논쟁이 분기마다 되풀이되는 것을 막는다는 이유로 소중하다. 이 질문이 중요한 이유는 보건·돌봄의 결정이 상업적 결정은 좀처럼 받지 않는 규제, 의회, 대중의 감시를 받기 때문이며, 이 주제의 사례도 정확히 여기에 달려 있다. 2년 후 새 이사가 도입된 도구에 의문을 제기하고 "기록이 답한다". 실제 긴장은 규율의 건당 극히 작은 비용과 그것을 건너뛰라는 만성적 압력 사이에 있다. 왜 결정했는지 적는 일은 그 순간에는 관료적으로 느껴지고, 기록이 가장 필요한 사람은 그것을 요구하러 그 자리에 없는 미래의 직원들이다. 12개월이나 18개월 전에 한 중요한 선택의 추론을 재구성해 보며 현실에 대조해 보라. 어떤 근거를 비중 있게 보았고 어떤 대안을 기각했는지 찾을 수 있는가, 아니면 결정이 있었다는 사실만 알 수 있는가? 좋은 답은 중요한 결정에 대해서만이 아니라 쉬운 결정에 대해서만이 아니라 기록이 정말 유지되는지, 결론만이 아니라 근거와 대안을 포착하는지, 누군가 그것을 다시 읽어 보기는 하는지를 직시한다. 읽히지 않는 결론뿐인 로그는 조직의 기억이 아니라 감사 연극이기 때문이다.

6. 우리의 근거를 훈련하고 검증하는 데이터는 누구의 것이며, 그것이 불평등을 굳히지 않을 것이라고 확신하는가 — 아니면 데이터 윤리를 설계 제약이 아니라 서명할 서식으로 다루고 있는가? 주제는 근거 작업이 환자 데이터 위에서 돌아가며 적법성, 동의, 비례성, 공정성이 서류 작업이 아니라 설계 제약이라고 강조하고, 불평등을 굳히는 편향된 데이터셋과 실패 양상으로서의 "서류 작업으로서의 윤리"를 특히 경계한다. 이 질문이 중요한 이유는 대표성이 없는 집단에서 검증된 기술이 이미 가장 덜 잘 서비스받는 집단에서 더 나쁘게 작동할 수 있기 때문이다. 특정 인종, 연령, 동반 질환이 과소 대표된 곳에서 훈련된 악화 또는 진단 모델은 그 편향을 미래의 모든 결정으로 옮길 수 있고, 전국 규모에서는 승인된 데이터셋이 그 불평등을 시스템 전체에 굳힌다. 긴장은 공정성 분석이 헤드라인 정확도 수치보다 어렵고 느리다는 점이다. 누가 데이터에 있고 누가 없는지를 따져야 하고, 하위 집단별로 성능을 분해해야 하며, 때로는 가장 서비스해야 할 집단에 대한 근거가 더 약하다는 사실을 받아들여야 한다. 최근 또는 제안된 도구를 가져와 그것이 누구의 기록으로 구축되고 시험되었는지, 성능이 하위 집단별로 검토된 적이 있는지, 정보 거버넌스 승인이 공정성을 다루었는지 아니면 적법한 근거만 확인했는지 물어 구체화하라. 정직한 답은 진정한 윤리적 검토와 체크박스 채우기를 구별하고, 대표성이 확인된 적 없는 곳을 인정하며, 편향과 공정성을 끝에 덧붙이는 준수 단계가 아니라 근거 자체가 답해야 하는 질문으로 다룬다.

실제 사례: 보건·돌봄 예시#

한 지역사회 트러스트가 활력 징후 데이터로 악화 위험이 있는 환자를 표시하는 AI 도구를 제안받는다. HiPPO 결정이라면 존경받는 이사가 공급업체의 시연에 감명받았다는 이유로 도입할 것이다.

대신 트러스트는 영업 설명을 가설로 다룬다. 임상적 결정에 정보를 주는 기술에 적합한 NICE ESF 위험 단계에 도구를 배치하고 공급업체에 그 수준의 효과성 근거를 요청하지만, 제시된 가장 강한 것은 소규모 단일 기관 연구다. 트러스트는 논리 모형(더 나은 조기 경보 → 더 이른 상향 조치 → 피할 수 있는 악화 감소)을 쓰고 실용적 평가를 설계한다. 도구의 경보를 기록하되 조치하지는 않고 실제 결과와 비교하는 섀도 모드 도입이며, 간호사에게 업무 흐름 적합성을 묻는 질적 인터뷰도 병행한다.

병행하여 전달 근거를 수집한다. 임상의가 경보를 알아차리고 신뢰할까? 경보 표시 방식에 대해 A/B 방식의 테스트를 수행한다. 정보 거버넌스 및 임상 안전 책임자가 데이터 사용과 위험 로그를 승인한다. 3개월 후 RWE는 완만하지만 실제적인 개선과 허용 가능한 거짓 경보 비율을 보여 주고, 전달 근거는 임상의가 재설계된 경보에 반응함을 보여 준다. 단계적 확대와 지속적 모니터링을 동반한 도입 결정은 비중을 둔 근거를 인용한 결정 기록에 적힌다. 2년 후 새 이사가 도구에 의문을 제기했을 때, 기록이 답한다.

부문별 관점#

모두가 근거를 위험에 맞출 같은 의무를 지지만, 근거를 둘러싼 자원, 유인, 책임은 조직에 따라 크게 다르다.

스타트업#

스타트업의 제약은 최고 수준의 임상 근거가 느리고 비싼 반면 자금 소진까지의 기간은 짧다는 것이며, 그래서 채택 지표를 임상적 효과의 증거인 양 파는 유혹이 생긴다. 정직한 수는 제품을 올바른 NICE ESF 단계에 일찍 배치하고 근거 격차를 구매자에게 솔직히 밝히는 것이며, 명확한 논리 모형과 값싼 실용적 평가(섀도 모드 시범 사업, 단일 기관에 대한 중단 시계열)로 첫 실세계 근거를 만들어 내는 것이다. 결정 기록은 비용이 거의 들지 않고 소규모 팀에는 불균형적으로 가치가 크다. 급격한 방향 전환 속에서 추론을 보존하고 실사에 신중한 투자자와 NHS 평가자에게 감사 추적을 제공하기 때문이다. 보상을 받는 규율은 창업자의 직감이라는 HiPPO에 저항하고 "시연이 잘 먹혔다"를 모두 검증할 가설로 다루는 것이다.

소규모 사업체#

확립된 소규모 제공자 — 일반의 진료소, 지역 약국, 요양원, 단일 사업장 클리닉, 스타트업 단계를 지난 소규모 보건 기술 공급업체 — 는 근거를 위험에 맞출 같은 의무를 지지만 실제 환자, 빠듯한 현금, 이를 수행할 전담 디지털 역량이 거의 없거나 전혀 없다. 현실적인 방법은 직접 근거를 만들어 내기보다 이미 만들어진 근거에 기대는 것이다. 후보 도구의 NICE ESF 단계와 DTAC 평가를 기성의 비례성으로 활용하고, 공급업체에 단계에 맞는 임상 효과성 근거를 요청하며, 화려한 시연에 설득되어 평가되지 않은 제품을 들이는 일을 거부하라. 전달 근거는 소규모 조직이 진정으로 앞설 수 있는 영역이다. 자신의 환자를 가까이서 보기 때문이다. 직원들이 도구를 실제로 쓰는지, 실패 수요를 줄이는지에 대한 몇 주간의 정직한 관찰이 손에 닿는 실세계 근거다. 한 줄짜리 결정 기록(무엇을 선택했고, 어떤 근거를 보았고, 누가 결정했는가)은 소규모 팀에 거의 비용이 들지 않으며, 파트너가 떠나거나 CQC 점검관이 이유를 물을 때 팀을 보호한다. 피해야 할 함정은 작다는 것이 근거의 기준에서 면제해 준다고 가정하는 것이다. 환자에 대한 의무는 같고, 다른 것은 자원뿐이다.

대기업#

NHS 트러스트나 ICS는 본격적인 평가를 수행할 일상 데이터, 환자 수, 분석 역량을 갖추고 있고, 그것을 요구하는 책임도 지고 있다. 입증되지 않은 도구를 규모로 도입하는 것은 임상 안전과 공적 자금의 위험을 동시에 낳기 때문이다. 실패 양상은 제도적이다. 존경받는 이사가 공급업체 시연을 옹호하거나, 나중에 아무도 확인하지 않는 예상 편익 위에 지어진 비즈니스 케이스다. 바로잡는 길은 어떤 결정권자에게든 "근거가 무엇입니까?"라고 묻는 것을 문화적으로 안전하게 만들고, 모든 이사회 보고서에서 임상 근거와 전달 근거를 별개의 축에 두며, AI와 오래 가는 서비스에는 한 번 검증하고 끝내는 대신 지속적인 실세계 모니터링에 자금을 대는 것이다. 대형 제약 또는 보건 기술 기업은 공식적인 시험 체계를 갖추었으나 자신이 만드는 실세계 근거의 출판 편향과 교란을 경계해야 한다.

정부#

NICE, NHS England, DHSC, MHRA, UKHSA 같은 국가 기관은 다른 이들이 넘어야 할 근거의 기준을 정하는 경우가 많으므로 그들의 업무 방식이 시장 전체를 형성한다. ESF, DTAC, 의료기기로서의 소프트웨어 규제는 인구 규모 책임의 수단이다. 여기서의 결정은 규제, 의회, 대중의 감시를 받으므로 기술이 왜 권고되거나 조달되었는지의 기록이 결정만큼 중요하며, 근거의 한계에 대한 투명성은 호의가 아니라 의무다. 이 규모의 위험은 빈약한 근거로 기술을 시스템 전체에 강제하는 것, 또는 반대로 저위험 변경에 RCT를 요구해 유용한 혁신을 가로막는 것이다. 바로잡는 길은 공개된 표준에서의 명시적 비례성, 그리고 데이터 윤리와 공정성에 대한 주의다. 전국적으로 승인된 편향된 데이터셋은 불평등을 규모로 굳히기 때문이다.

흔한 실패 양상#

• 시연에 이끌린 결정. 시연이 고위 리더를 감명시켰다는 이유로 구매하는 것. 해독제: 영업 설명을 가설로 다루고 단계에 맞는 근거를 요구한다.
• 검증으로 오인된 사용량. 채택 수치를 도구가 임상적으로 효과적이라는 증거로 인용하는 것. 해독제: 임상 근거와 전달 근거를 별개의 축에 둔다.
• 한 번 평가하고 끝. 한 번 검증하고 모니터링하지 않는 것, 특히 드리프트하는 AI에서. 해독제: 실세계 근거와 지속적 모니터링.
• 분석 마비. 저위험 콘텐츠 변경에 RCT를 요구하는 것. 해독제: 비례적 방법, 위험이 낮은 곳에는 A/B와 실용적 평가.
• 기록되지 않은 결정. 선택의 이유가 남아 있지 않아 다시 논쟁되고 감사할 수 없는 것. 해독제: 가벼운 결정 로그.
• 서류 작업으로서의 윤리. 데이터 윤리를 설계 제약이 아니라 서명할 서식으로 다루는 것. 해독제: 적법성, 동의, 공정성을 근거 설계에 녹여 넣는다.

성숙도 모델#

체크리스트#

• 각 기술이 NICE ESF 위험 단계에 배치되고, 그에 맞는 근거가 요구된다.
• 모든 중요한 결정에 임상 근거와 전달 근거가 모두 있으며 구별되어 있다.
• 구축 전에 성과와 지표를 명명하는 논리 모형이 있다.
• 평가 설계가 위험에 비례한다(저위험에는 A/B와 실용적 평가, 고위험에는 시험/RWE).
• AI와 오래 가는 서비스에 실세계 근거와 모니터링이 갖춰져 있다.
• 어떤 결정권자에게든 "근거가 무엇입니까?"라고 묻는 것이 문화적으로 안전하다.
• 모든 중요한 결정이 결정 로그(무엇을, 왜, 근거, 누가, 언제)에 기록된다.
• 데이터 사용이 적법하고, 동의를 받았으며, 비례적이고, 편향과 공정성이 점검된다.

주요 출처#

• NICE — Evidence Standards Framework for digital health technologies (ESF)(nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — software and AI as a medical device 지침.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence(근거 위계).
• HM Treasury — The Magenta Book(평가, 논리 모형, 평가 설계 지침).
• MRC — Developing and evaluating complex interventions 프레임워크.
• Ron Kohavi 외 — Trustworthy Online Controlled Experiments(A/B 테스트).
• Michael Nygard — Architecture Decision Records(결정 로그 패턴).

참고문헌#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/