주제 8.4 — AI 및 신기술 거버넌스

한 문장으로: 보건·돌봄의 인공지능은 학습하고, 데이터에 의존하며, 흔히 불투명한 기술로, 지금까지 거버넌스해 본 어떤 시스템보다 빠르게 편익과 위해를 모두 확대할 수 있으므로, 한 번 사고 잊는 일반 소프트웨어로 다루지 말고 전체 수명주기에 걸쳐 임상 안전, 형평성, 공공 신뢰의 문제로 거버넌스해야 한다.

보건·돌봄에서 이것이 중요한 이유#

지금까지 배치한 소프트웨어 대부분은 내일도 오늘과 같이 행동한다. 논리는 적혀 있고, 행동은 시험 가능하며, 틀릴 때도 눈에 보이고 반복 가능한 방식으로 틀리는 경향이 있다. 인공지능은 이 세 가지 편안함을 모두 깨뜨린다. 사람이 쓴 규칙을 따르는 대신 데이터에서 통계적 패턴을 학습하고, 행동은 전적으로 학습된 데이터와 지금 마주하는 데이터에 의존하며, 그 추론은 흔히 만든 사람에게조차 불투명하다. 그 조합이 AI가 일반 소프트웨어 체크리스트에 흡수되는 대신 자체 거버넌스 규율이 필요한 이유다.

보건·돌봄에서 결과는 추상적이지 않다. 학습 데이터에서 과소 대표된 집단의 질병을 덜 탐지하는 모델은 고립된 오류를 내는 것이 아니라 같은 오류를 조용히 수천 번 내어 보건 불평등을 굳히고 확대한다. 그럴듯하게 들리는 임상 세부를 지어내는 생성 모델은 정확히 잘못된 순간에 지친 임상의를 오도할 수 있다. 검증된 인구에서 훌륭하게 작동하는 도구도 인구, 돌봄 경로, 상류 데이터가 바뀌면 조용히 퇴화할 수 있다. AI는 좋은 결정을 확대할 수 있고, 편향, 오류, 위해도 똑같은 효율로 확대할 수 있다.

이 주제는 과대광고에 휩쓸리지도 기술을 금지하지도 않고 그 위험을 거버넌스하는 것에 관한 것이다. 다른 곳에서 놓은 토대는 의도적으로 반복하지 않는다. 임상 안전(주제 1.6 — 임상 안전과 위험 관리 참조), 정보 거버넌스, 데이터 보호, 사이버 보안(주제 1.7 — 정보 거버넌스, 데이터 보호, 사이버 보안 참조), 증거 기반 의사결정(주제 1.3 — 근거 기반 의사결정 참조)이다. 이것들에 닻을 내리고 학습 시스템에 고유한 것을 더한다. 기존 보증의 AI 모양 확장으로, 그리고 혁신의 단계적 도입(주제 8.0 — 혁신의 단계적 도입 참조)의 거버넌스되는 형제로 다루라.

핵심 개념#

인공지능과 기계 학습. 리더에게 실용적 구별은 이것이다. 오늘 보건·돌봄의 대부분의 AI는 기계 학습이다. 손으로 쓴 규칙을 실행하는 대신 예시에서 패턴을 추론하는 시스템이다. 그래서 데이터가 코드만큼 제품이다. 학습 데이터를 바꾸면 행동이 바뀐다. 또한 모델이 아무것도 "알지" 못하며 추정하고, 자신 있게 틀릴 수 있음을 뜻한다. 개념적 수준에서 이를 이해하는 것으로 올바른 거버넌스 질문을 하기에 충분하다. 수학을 읽을 필요는 없다.

의료기기로서의 소프트웨어(SaMD)와 MHRA. 소프트웨어가 진단, 선별, 분류, 용량 계산, 악화 예측 같은 의료 목적을 지닐 때, 휴대폰에서 돌든 서버에서 돌든 법적으로 의료기기인 경우가 매우 많다. 이런 종류의 의료 소프트웨어, 곧 의료기기로서의 소프트웨어(SaMD)는 영국에서 Medicines and Healthcare products Regulatory Agency(MHRA)가 규제한다. 임상 목적의 AI 도구를 위탁하거나 구축한다면, 첫 거버넌스 질문은 그것이 규제되는 기기인지, 그렇다면 유효한 적합성 마킹을 보유하는지다. 이를 잘못하는 것은 형식적 문제가 아니다. 등록되지 않은 의료기기를 배치하는 것은 불법이고 안전하지 않다.

AI Airlock. MHRA는 의료기기로서의 AI를 통제되고 모니터링되는 환경에서 어떻게 규제해야 할지 연구하기 위해 AI Airlock이라는 규제 샌드박스를 설립했다. 규제 샌드박스는 규제 기관과 소수의 개발자가 일반 규칙이 정해지기 전에 감독 아래서 어렵고 새로운 질문 — 예컨대 시간이 지나며 갱신되는 모델을 검증하는 방법 — 을 검토하게 한다. 이것이 무엇인지 냉정하게 보라. Airlock은 규제 기관과 소수 참여자를 위한 학습 환경이지 신속 승인 경로가 아니며, 그와 연계되었다고 제품이 일반 임상 사용을 위해 승인되었다는 뜻은 아니다.

알고리즘 편향과 공정성. 알고리즘 편향은 시스템이 특정 집단에 체계적으로 불공정한 결과를 내는 경향이다. 보건·돌봄에서 가장 흔한 원천은 학습 데이터다. 집단이 과소 대표되거나, 잘못 라벨링되거나, 편향된 도구로 측정되면 모델은 그 집단에 더 나쁘게 봉사하도록 학습한다. 모델이 이를 규모에서, 객관성의 분위기로 적용하므로, 편향된 AI는 조직이 법적으로 줄여야 하는 바로 그 불평등을 벌릴 수 있다.

설명 가능성과 블랙박스. 설명 가능한 인공지능은 사람이 모델이 왜 특정 출력을 냈는지 이해할 수 있는지에 관한 것이다. 많은 고성능 모델은 사실상 "블랙박스"다. 집계로는 정확하지만 개별 결정에 대해 임상의에게 신뢰할 만한 이유를 줄 수 없다. 임상 환경에서 이는 책임, 충분한 설명에 근거한 동의, 판단을 행사할 임상의의 의무에 중요하다. 의사는 따져 물을 수 없는 조언에 대해 의미 있게 책임질 수 없다.

모델 드리프트와 시판 후 감시. 모델의 정확도는 고정되지 않는다. 개념 드리프트 — 입력과 예측 대상 사이의 관계가 시간에 따라 변하는 것 — 는 작년에 검증된 모델이 인구, 경로, 상류 데이터가 바뀜에 따라 올해 조용히 퇴화할 수 있음을 뜻한다. 그래서 AI는 가동 시점의 일회성 검증이 아니라 지속적인 시판 후 감시와 모니터링이 필요하다.

MLOps와 모델 수명주기. MLOps는 운영 환경에서 모델을 신뢰성 있게 배치, 모니터링, 버전 관리, 재학습하는 운영 규율이다. 수명주기 거버넌스를 현실로 만드는 기계다. 어느 모델 버전이, 어떤 데이터로, 어떤 성능으로 라이브인지 알고, 되돌릴 수 있는 것이다.

휴먼 인 더 루프. 휴먼 인 더 루프 설계는 사람 — 보통 임상의 — 을 결정에 의미 있게 유지하며, 모델을 뒤집을 권한과 정보를 준다. 잘하면 책임을 보존하고, 고무도장으로 하면 감독의 착각만 제공한다.

생성형 AI와 대규모 언어 모델. 대규모 언어 모델(LLM)을 포함한 생성형 인공지능은 유창한 텍스트와 기타 콘텐츠를 만들어 낸다. 보건·돌봄에서 현실적인 단기 가치는 대체로 행정적이다. 문서 초안 작성, 요약, 서류 업무 완화다. 정의적 위험은 환각이다. 거짓이지만 그럴듯한 콘텐츠를 자신 있게 생성하는 것으로, 환자 데이터가 제3자 서비스에 입력될 때의 기밀성 위험이 겹친다.

디지털 치료제와 건강 앱. 디지털 치료제(DTx)는 질환을 예방, 관리, 치료하는 소프트웨어 기반의 증거에 근거한 개입이다. 일반 웰니스 앱과 구별되는 이유가 정확히 임상적 주장을 하기 때문이며, 이는 많은 것이 의료기기로서의 소프트웨어이고 처방하거나 권고하는 다른 모든 개입과 같은 증거와 보증을 요구함을 뜻한다.

모범 사례#

1. 무엇보다 먼저 도구를 분류하라. AI가 의료 목적을 지니는지, 따라서 규제되는 의료기기인지, 유효한 MHRA 적합성 마킹을 보유하는지를 임상 및 규제 투입과 함께 서면으로 확립하라. 이 단일 판정이 하류의 모든 것을 지배한다. 보증 경로, 책임, 배치의 합법성이다. 의심스러우면 행정 도구가 범위 밖이라고 가정하지 말고 규제 자문을 구하라.

2. AI를 기존 임상 안전 및 정보 거버넌스 기구를 통해 운영하되, 우회하지 말고 확장하라. 모든 임상 AI 배치에는 DCB0129/DCB0160의 임상 위험 관리(주제 1.6 참조)와 정보 거버넌스 프레임워크 아래의 데이터 보호 영향 평가(주제 1.7 참조)가 필요하다. 새로움이나 공급업체의 열의가 병행하는 더 가벼운 프로세스를 만들게 두지 말라. 편향, 드리프트, 불투명성, 자동화 편향 같은 AI 고유의 위험 요소는 위험 요소 로그를 대체하지 말고 거기에 추가되어야 한다.

3. 학습 데이터의 대표성과 편향을 따져 물으라. 데이터에 누가 있고 누가 빠졌는지, 성과가 어떻게 라벨링되었는지, 측정 도구 자체가 집단 전반에서 편향되었는지 물으라. 공급업체가 대표 정확도만이 아니라 관련 하위 집단 — 연령, 성별, 인종, 박탈 — 별로 나뉜 성능을 보고하도록 요구하라. 공평한 성능을 입증할 수 없는 도구는 평균이 아무리 인상적이어도 건강 불평등 위험이다.

4. 위험에 맞는 임상 검증을 요구하고, 전향적 증거를 선호하라. 선별된 데이터에 대한 후향적 정확도는 가장 약한 형태의 증거다. 임상 결정에 영향을 주는 모든 것에 대해, 여러분과 비슷한 인구와 워크플로에서의 이상적으로는 전향적인 검증을 구하고, 주장을 적절한 보증 프레임워크 — 디지털 보건 기술을 위한 NICE 근거 표준 프레임워크와 기준선 보증으로서의 Digital Technology Assessment Criteria(DTAC) — 를 통해 보내라. 증거의 강도를 잠재적 위해의 크기에 맞추라.

5. 의미 있는 휴먼 인 더 루프와 명확한 책임을 고집하라. AI가 정보를 준 결정에 누가 책임지는지 정의하고, 사람에게 뒤집을 권한과 그럴 정보가 모두 있게 하라. 기계에 따르려는 경향인 자동화 편향을 교육, 인터페이스 설계, 뒤집기 비율 감사로 적극 막으라. 뒤집기가 한 번도 일어나지 않는다면 "휴먼 인 더 루프"는 장식이다.

6. 가동을 보증의 끝이 아니라 모니터링의 시작으로 다루라. 첫날부터 시판 후 감시를 세우라. 실제 세계 성능을 모니터링하고, 개념 드리프트를 지켜보며, 모델을 재학습, 일시 정지, 철회할 임계와 프로세스를 정의하라. 건전한 MLOps를 통해 모델 버전 관리와 롤백을 확립하여, 무엇이 라이브인지 항상 알고 안전하게 되돌릴 수 있게 하라. 다시 점검되지 않는 모델은 서서히 실패하는 안전 통제다.

7. 생성형 AI를 현실적인 용도에 맞게, 실제 위험에 맞서 거버넌스하라. 가치가 진정하고 위험이 통제되는 곳에서 LLM을 허용하되(행정 초안 작성, 요약, 사람이 검토하는 문서 지원), 제3자 서비스에 환자 식별 가능 데이터를 관리 없이 입력하는 것은 금지하라. 사람이 검증하기 전까지 모든 생성 출력이 지어낸 것일 수 있다고 가정하고, 검증되지 않은 생성 콘텐츠가 임상 기록에 들어가게 두지 말라. 명확하고 시행되는 정책이 그림자 사용을 내모는 일괄 금지와 데이터를 새게 하는 무제한 허용을 모두 이긴다.

8. 학습을 포함해 전체 데이터 수명주기에 정보 거버넌스를 적용하라. 모델을 학습, 미세 조정, 평가하는 데 쓰이는 데이터는 다른 모든 이용과 같은 적법 근거, 최소화, 투명성 의무를 받는다(주제 1.7 참조). 환자 데이터로 학습하는 근거, 그것이 적절히 비식별화되었는지, 공급업체가 그것으로 무엇을 할 수 있는지 명시하라. 계약은 적법 근거와 여러분의 동의 없이 다른 이들을 위한 제품을 학습하는 데 데이터를 재사용하는 것을 금지해야 한다.

9. 사람이 읽을 수 있는 모델 등록부를 유지하고 공급업체에 투명성을 요구하라. 사용 중인 AI의 목록을 유지하라. 목적, 규제 지위, 학습 데이터 출처, 검증 증거, 모니터링 계획, 책임 있는 소유자다. 공급업체가 모델이 어떻게 작동하는지, 한계, 실패 양상에 투명하도록 요구하라. 공급업체의 불투명성은 그 자체로 위험 신호다. 적어 두지 않은 것은 거버넌스할 수 없다.

10. 의도적으로 지평을 살피고 통제된 평가를 통해 단계적으로 도입하라. 오늘의 AI 너머로 환경 문서화, 파운데이션 모델, 더 멀리는 양자와 새로운 센싱 같은 신기술을 반응적 구매가 아니라 구조화된 지평 탐색으로 지켜보라. 진정으로 새로운 것은 혁신의 단계적 도입(주제 8.0)의 통제되고, 되돌릴 수 있으며, 평가되는 접근을 통해 도입하고, 작게 시작하고, 정직하게 측정하며, 멈출 능력을 유지하라.

11. 디지털 치료제와 건강 앱을 소비자 다운로드가 아니라 개입으로 다루라. 앱이 임상적 주장 — 질환을 치료, 관리, 예방한다 — 을 하면 환자가 그에 따라 행동할 개입이므로, 처방하거나 권고하기 전에 약이나 기기와 같은 정밀 검토를 받을 자격이 있다. 유효한 적합성 마킹이 있는 의료기기로서의 소프트웨어인지 확립하고, 주장에 비례하는 증거를 요구하며, 앱 스토어 평점이나 공급업체의 열의를 믿는 대신 임상 안전 평가(주제 1.6 참조)를 완료하라. 임상의가 보증한 보증되지 않은 앱은 그것이 해를 끼치면 조직의 이름과 책임을 지닌다.

12. 건강 앱을 기존 보증을 통해 운영하고 선별되고 안전한 라이브러리를 유지하라. 디지털 치료제를 이미 운영하는 같은 기구로 평가하라. 기준선으로서의 DTAC, 임상적 주장에 맞춘 NICE 근거 표준 프레임워크, 임상 안전 및 정보 거버넌스 검토이며, 시간에 걸쳐 실제 세계 평가 증거를 쌓으라(주제 8.6 참조). 보증하고 지지하는 앱의 선별된 라이브러리를 유지하며 각 앱의 규제 지위, 증거, 소유자를 기록하여, 임상의가 안전하고 거버넌스되는 후보 목록에서 권고하게 하라. 대안인 팀 전반에 비공식적으로 권고되는 평가되지 않은 앱의 통제되지 않는 난립은 관리할 수 없고 안전하지 않다.

팀과 논의할 질문#

1. 검토 중이거나 이미 쓰고 있는 각 AI 도구에 대해, 그것이 규제되는 의료기기인지 실제로 알며 — 증거를 낼 수 있는가? 형식적 준수처럼 들리지만 이것이 하중을 지는 질문이다. 답이 무엇이 합법인지, 누가 책임지는지, 대중에게 어떤 보증을 빚지는지를 결정하기 때문이다. "분류만 도와주는" 또는 "노트만 요약하는" 도구를 무해한 행정 소프트웨어로 가정하기 쉽지만, 그 의료 목적이 실제로는 MHRA 적합성 마킹이 필요한 규제되는 기기로 만든다. 토론은 사용 중이거나 준비 중인 각 AI 도구를 명명하고, 의도된 목적을 쉬운 임상 용어로 진술하며, 기기 분류 판정을 누가 어떤 근거로 했는지 식별하게 해야 한다. 규제 점검이 전혀 없이 일반 IT 경로로 조달된 도구라는 불편한 사례를 드러내야 한다. 규제 기관이나 검시관이 묻는다면 오늘 적합성 문서와 검증 증거를 낼 수 있는지 정직하라. 이 대화의 가치는 "누군가 확인했겠지"라는 막연한 느낌을 문서화되고 소유된 입장으로 바꾸고, 아무도 확인하지 않은 도구를 드러내는 데 있다.

2. 이 모델이 해를 입을 가능성이 가장 높은 집단에서 어떻게 작동하는지 보여 달라고 요구했는가, 아니면 대표 정확도 수치를 받아들였는가? 평균 정확도는 공급업체가 앞세우는 숫자이자 알고리즘 편향을 숨기는 숫자다. 모델은 전체적으로 매우 정확하면서 과소 대표된 집단에는 현저히 나쁘게 작동할 수 있기 때문이다. 보건·돌봄에서 이는 통계적 호기심이 아니다. 법적, 도덕적으로 줄여야 하는 불평등을 조용히, 규모에서 벌리는 기제다. 팀은 실제로 본 하위 집단 증거가 무엇인지 — 연령, 성별, 인종, 박탈별로 나뉜 성능 — 그리고 학습 데이터에 누가 있고 누가 빠졌는지 아는지 논의해야 한다. 여기서의 불편함을 명명할 가치가 있다. 공급업체에 공정성을 압박하는 것은 흥미로운 혁신을 방해하는 것처럼 느껴질 수 있고, 정직한 질문은 공평한 성능을 입증할 수 없는 도구에 아니라고 말할 의향이 있는지다. 배치 후 불공평한 결과를 어떻게 탐지할지도 고려하라. 조달 때 보이지 않던 편향은 모니터링하지 않으면 운영 환경에서도 보이지 않는다. 좋은 토론은 임상 AI가 가동되기 전에 적용되는 공정성에 대한 구체적 증거 기준과, 이후에도 계속 지켜볼 계획으로 끝난다.

3. 이 모델이 틀릴 때 — 틀릴 것이다 — 누가 책임지고, 사람이 실제로 잡아내며, 우리는 어떻게 알 수나 있는가? 모든 모델은 때로 실패하고 학습 시스템은 시간이 지나며 더 자주 실패하는 쪽으로 표류할 수 있으므로, 성숙한 질문은 오류가 일어나는지가 아니라 안전장치가 진짜인지다. 팀은 휴먼 인 더 루프가 의미 있는지 장식인지 시험해야 한다. 임상의에게 뒤집을 권한과 정보가 있는가, 뒤집기 비율을 보면 실제로 뒤집는 일이 있는가, 아니면 자동화 편향이 자리 잡았는가? AI가 정보를 준 결정에 누가 책임자로 지정되는지 — 임상의, 조직, 공급업체 — 논의하라. "알고리즘이 했다"는 환자나 검시관에게 방어 가능한 입장이 아니기 때문이다. 모니터링에 정직하게 맞서라. 개념 드리프트를 탐지할 시판 후 감시가 있는가, 모델을 일시 정지하거나 철회할 정의된 임계가 있는가, 어느 버전이 라이브인지 알고 되돌릴 MLOps 기계가 있는가? 생성 도구에는 환각 질문을 더하라. 지어낸 콘텐츠가 임상 기록에 들어가는 것을 무엇이 막으며, 출력이 신뢰되기 전에 누가 검증하는가? 이 대화의 가장 유용한 버전은 "사람의 감독"이라는 안심되는 도표와 바쁜 병동의 새벽 3시에 진정으로 일어날 일 사이의 격차를 드러낸다.

4. 이 모델을 학습, 미세 조정, 운영할 때 환자의 데이터에는 무슨 일이 일어나며 — 공급업체는 그것으로 무엇을 할 권리를 유보했는가? AI는 정확히 데이터가 제품이기 때문에 데이터 거버넌스 위험을 집중시킨다. 모델은 그것이 닿은 모든 데이터셋 — 가동에 앞선 학습 및 평가 데이터를 포함 — 뒤의 적법 근거, 최소화, 투명성만큼만 신뢰할 수 있다. 팀은 각 도구에 대해 환자 데이터의 모든 이용에 대한 적법 근거, 비식별화가 단지 주장이 아니라 적절한지, 데이터가 통제를 벗어난 뒤 물리적으로 어디로 흐르는지 말할 수 있어야 한다. 반복되는 함정은 공급업체가 다른 이들에게 팔 제품을 개선하려고 데이터를 재사용하도록 조용히 허용하는 계약이다. 계약이 적법 근거와 명시적 동의 없이 그것을 금지하는지, 누가 그 조항을 실제로 읽었는지 논의하라. 이는 정보 거버넌스 프레임워크(주제 1.7 참조)에 직접 연결되며, 유능한 도구에 대한 열의가 실사를 가장 자주 앞지르는 곳이다. 정직한 답은 시연이 인상적이었으니 서류도 건전하리라 가정하지 않고, DPIA를 누가 소유하는지, 공급업체가 무엇을 할 수 있고 없는지, 현재 어디에 노출되어 있는지 명명한다.

5. 무엇을 도입하지 않을지 어떻게 결정하며, 모두가 흥분하는 것을 사라는 압박에 저항할 수 있는가? 빠르게 움직이는 기술의 가장 어려운 거버넌스 규율은 "아직은 아니다"나 "이것은 아니다"라고 말하는 것이며, 거부 기준을 명확히 할 수 없는 팀은 증거가 아니라 표류와 과대광고로 도입하게 된다. 다른 면에서는 매력적인 도구에서 무엇이 여러분을 물러나게 할지 논의하라. 약한 하위 집단 증거, 불분명한 규제 지위, 위험에 비해 현실적 편익이 얇은 사용 사례다. 그 한계선이 적혀 있는지 느껴질 뿐인지도 논의하라. 진정한 개선을 놓치는 비용과 공공 신뢰를 해치는 규모의 실패 비용 사이에 진짜 긴장이 있으며, 합리적인 사람들은 둘을 다르게 저울질할 것이다. 도입 압박이 임상적 필요 자체에서가 아니라 이사회, 공급업체 관계, 국가 의무에서 오는 경우가 많다는 정치적 현실을 명명할 가치가 있다. 이 주제의 입장은 의도적으로 지평을 살피고 통제되고 되돌릴 수 있는 평가를 통해 단계적으로 도입하는 것이므로(주제 8.0 참조), 정직한 답은 유망하지만 입증되지 않은 도구가 전면 롤아웃이 아니라 작고, 측정되며, 멈출 수 있는 파일럿으로 들어오는 방식과 누가 그것을 멈출 권한을 쥐는지 설명한다.

6. 이 모델이 하는 일을 그것을 신뢰해야 하는 임상의와 영향받는 환자에게 설명할 수 있는가 — 그리고 한계에 정직했는가? 임상의가 따져 물을 수 없고 환자가 이해할 수 없는 모델은 집계로 아무리 정확해도 임상 돌봄이 의존하는 충분한 설명에 근거한 판단과 동의를 부식시킨다. 팀은 이 특정 사용이 실제로 얼마나 많은 설명 가능성을 요구하는지 논의해야 한다. 대기열 우선순위 보조 도구는 진단이나 치료 결정에 영향을 주는 도구보다 덜 요구하며, 설명을 위험에 맞추는 것은 기술적 사후 고려가 아니라 거버넌스 선택이다. 그것을 쓸 것으로 기대되는 임상의에게 무엇을 말하는지 — 목적, 알려진 실패 양상, 덜 믿을 만한 집단 — 그 안내가 솔직한지 마케팅 요약인지 고려하라. 환자에 대한 정직도 중요하다. 돌봄에 AI가 관여할 때 사람들이 알게 되며, 조치할 수 있는 언어로 알게 되는가? 이는 인력의 문제이기도 하다. 신뢰가 너무 낮으면 유용한 도구가 무시되고, 너무 높으면 감독을 속 빈 강정으로 만드는 자동화 편향이 생긴다. 정직한 답은 교육과 소통이 보정된 신뢰를 구축하고 있는지 단지 도구를 팔고 있는지에 맞선다.

실제 사례: 보건·돌봄 예시#

한 통합 돌봄 시스템이 흉부 X선을 판독하고 영상의학과 판독 대기열의 우선순위를 정하도록 가능한 이상을 표시하는 AI 도구를 제안받는다. 임상 안전 책임자와 의료 이사는 서둘러 구매하라는 압박에 저항하고 제대로 된 거버넌스를 거치게 한다.

먼저 분류다. 도구에는 분명한 의료 목적이 있으므로 의료기기로서의 소프트웨어로 확인되고, MHRA 적합성 마킹과 의도된 사용 진술이 검증된다. 의도된 사용은 자율 진단이 아니라 분류 지원이며, 이는 이후의 모든 것을 형성한다. 다음은 보증이다. 도구는 기준선으로서 DTAC를 거치고, 임상적 주장은 NICE 근거 표준 프레임워크에 대해 점검되며, DCB0160 임상 위험 평가가 완료되고, DPIA가 영상 데이터를 다룬다(주제 1.6과 1.7 참조). 팀은 하위 집단 성능을 요청하고 검증 인구가 지역의 한 인구 집단을 과소 대표했음을 발견한다. 그들은 잠재적 편향을 각주가 아니라 건강 불평등 위험으로 다루어 진행 전에 추가 지역 검증을 요구한다.

배치에서 설계는 휴먼 인 더 루프를 유지한다. 모든 영상은 여전히 영상의학과 의사가 판독하고 AI는 대기열 순서만 바꾸므로, 놓친 표시가 그것만으로 놓친 진단을 일으킬 수 없다. 시판 후 감시는 첫날부터 세워진다. 탐지율, 모델과 판독 영상의학과 의사 사이의 불일치, 스캐너 하드웨어와 증례 구성이 바뀜에 따른 드리프트를 모니터링하며, 도구를 일시 정지할 사전 합의된 임계와 공급업체의 버전 관리된 배치를 통한 롤백 경로가 있다. 별도로, 병동이 퇴원 요약 초안을 작성하려고 환자 병력을 공개 LLM에 붙여 넣겠다고 요청하자, 같은 거버넌스 포럼은 그 관리되지 않는 경로에 아니라고 말하고 대신 사람이 검증하는 승인되고 통제된 도구를 위탁한다. 1년 뒤 대기열 우선순위 도구는 판독 소요 시간을 소폭 개선했고, 모니터링은 스캐너 업그레이드 후의 드리프트 한 번을 잡아냈으며, 결정적으로 조직은 그것이 정확히 어떻게 거버넌스되는지 보일 수 있다.

부문별 관점#

스타트업#

디지털 보건 스타트업은 흔히 그 자체가 AI이므로 거버넌스 성숙도가 곧 시장 접근이다. 창업자는 규제 분류, 임상 검증, 편향 증거를 판매 직전에 덧붙이는 준수 세금이 아니라 핵심 제품 업무로 다뤄야 한다. 구매자의 임상 안전 책임자가 정확히 이것들을 요구할 것이고 "아니오"는 거래를 끝내기 때문이다. 진정으로 새로운 질문에 대해서는 AI Airlock 같은 기제를 통해서일 수도 있는 MHRA와의 이른 소통, 그리고 처음부터 DTAC와 NICE 근거 표준 프레임워크를 염두에 둔 설계는 보증을 경쟁 우위로 바꾼다. 스타트업의 특징적 위험은 과장이다. 증거를 앞지르는 마케팅, 나쁜 하위 집단 성능을 숨기는 평균 정확도 시연이다. 규율 있는 창업자는 모니터링과 시판 후 감시를 제품에 일찍 내장한다. 참조 사업장에서의 단 한 번의 규모화된 실패는 소규모 회사에게 존재적 사건이기 때문이다.

소규모 사업체#

확립된 소규모 제공자 — 일반의 진료소, 지역 약국, 요양원, 단일 사업장 클리닉 — 는 보통 AI의 개발자가 아니라 구매자이면서, 이를 수행할 전담 임상 안전, 정보 거버넌스, 정보학 직원 없이 대형 트러스트와 같은 의무를 진다. 실용적 위험은 기기 분류, 하위 집단 증거, DPIA를 요구할 사내 역량이 없고 모델이 표류할 때 알아챌 사람이 없어서 공급업체의 보증에 의존해 도구를 도입하는 것이다. 다른 이들이 이미 한 보증에 크게 기대라. MHRA 적합성 마킹을 분명히 보유하고 DTAC를 통과한 도구를 선호하고, 증거를 공표하는 공급업체에서 구매하며, 건강 앱은 직접 하나씩 평가하기보다 ICS나 국가 기관이 보증한 선별된 라이브러리에서만 권고하라. 도구의 안전을 직접 검증할 수 없다면, 그것은 점검을 건너뛸 이유가 아니라 시스템의 공유 보증에 맡길 이유다. 어떤 AI 도구를 무엇을 위해 쓰는지, 누가 소유하는지에 대한 가벼운 등록부라도 유지하면 관리할 수 없는 의무가 비례적인 것이 된다.

대기업#

대형 트러스트나 ICS는 AI를 제대로 거버넌스할 기구가 있고, 이를 잘못하면 심각해지는 규모가 있다. 그 일은 AI가 검토되지 않은 IT나 연구 경로로 도착하게 두지 않고 기존 임상 안전, 정보 거버넌스, 보증 기능이 AI를 포괄하도록 확장하는 것이다. 모델 등록부, 하위 집단 공정성 기준, 시판 후 모니터링, 버전 관리와 롤백을 위한 MLOps다. 대기업의 진짜 위험은 파편화다. 중앙 목록도, 일관된 DPIA도, 도구가 표류할 때 책임지는 사람도 없이 수십 개의 파일럿, 환경 필기 시험, 부서별 LLM 실험이 늘어난다. 변화 피로와 공급업체 압박이 빠른 도입 쪽으로 밀어붙이므로, 리더십은 새로움이 더 가벼운 프로세스를 자격으로 얻지 못한다는 선을 지켜야 한다. 잘하면 대기업은 소규모 주체가 할 수 없는 전향적이고 지역적인 검증 증거를 생성하고 시스템 전반에 공유할 수도 있다.

정부#

MHRA, NHS England, DHSC, NICE, 자치 정부, 지방정부 같은 국가 및 지방 정부 기관은 다른 모두가 AI를 배치하는 조건을 정한다. 그들의 도구는 규제, 표준, 보증 프레임워크(DTAC, 근거 표준 프레임워크), AI Airlock 같은 안전 항만 기제, 직접 라인 관리하지 않는 연합된 시스템 전반에서 안전한 도입을 이끄는 재원과 지침이다. 책임은 장관, 의회, 대중에게 있으므로 규모화된 AI 실패나 국가 도구의 입증된 편향은 긴 그림자를 지닌 공공 신뢰 사건이다. 정부의 적절한 역할은 안전한 길을 쉬운 길로 만드는 것이다. 명확한 규칙, 재사용 가능한 보증, AI가 할 수 있는 것과 없는 것에 대한 정직한 대중 소통을 제공하되, 과대광고에 이끌린 의무화와 반사적 금지를 모두 거부한다. 어느 방향으로든 균형을 잘못 잡으면 수년의 신뢰를 잃는다.

흔한 실패 양상#

• 규제 분류 건너뛰기. 임상 AI를 일반 소프트웨어인 양 배치한다. 피하는 방법: 규제 투입과 함께 기기 지위와 적합성 마킹을 먼저 판정하라.
• 대표 정확도에 대한 맹목. 과소 대표된 집단의 나쁜 성능을 숨기는 평균 수치를 받아들인다. 피하는 방법: 가동 전 하위 집단 증거를 요구하고 가동 후 불평등을 모니터링하라.
• 한 번 검증하고 영원히 잊기. 모델이 조용히 표류하는 동안 가동을 보증의 끝으로 다룬다. 피하는 방법: 임계와 롤백이 있는 시판 후 감시를 세우라.
• 장식적 사람의 감독. 자동화 편향 아래 고무도장을 찍는 "휴먼 인 더 루프". 피하는 방법: 뒤집기 비율을 감사하고 개입할 진정한 권한을 설계하라.
• 거버넌스되지 않은 생성형 AI. 직원이 공개 LLM에 환자 데이터를 붙여 넣고 지어낸 출력을 신뢰한다. 피하는 방법: 명확한 정책과 사람이 검증하는 승인되고 통제된 도구.
• 병행하는 가벼운 프로세스. "혁신"이라는 이유로 AI가 임상 안전과 정보 거버넌스를 우회하게 둔다. 피하는 방법: 기존 DCB와 DPIA 기구를 AI로 확장하라.
• 목록 없음. 어느 모델이 어떤 데이터로 라이브이고 누가 소유하는지 아무도 모른다. 피하는 방법: 모델 등록부를 유지하라.

성숙도 모델#

체크리스트#

• 각 AI 도구의 의료기기 지위와 MHRA 적합성 마킹이 판정되고 문서화되어 있다.
• 임상 AI가 DTAC를 통과하고, NICE 근거 표준 프레임워크에 대해 점검되었으며, DCB 임상 위험 평가와 DPIA가 있다.
• 하위 집단 성능(연령, 성별, 인종, 박탈)을 확인했고 합의된 공정성 기준을 충족한다.
• 임상 검증이 위험 수준에 맞고 전향적이고 지역적인 증거를 선호한다.
• 뒤집을 권한과 정보가 있는 의미 있는 휴먼 인 더 루프가 설계되어 있다.
• AI가 정보를 준 결정에 대한 지정된 책임이 서면으로 있다.
• 시판 후 감시, 드리프트 임계, 일시 정지/롤백 계획이 가동 시점부터 라이브다.
• MLOps가 모델 버전 관리와 안전한 롤백을 제공하며, 라이브 버전을 항상 안다.
• 생성형 AI 정책이 현실적 용도를 허용하고, 관리되지 않는 서비스에 환자 데이터를 금지하며, 사람의 검증을 요구한다.
• 정보 거버넌스가 공급업체의 재사용에 대한 계약상 한계와 함께 학습, 미세 조정, 평가 데이터를 포괄한다.
• 사람이 읽을 수 있는 모델 등록부가 목적, 출처, 증거, 모니터링, 소유자를 기록한다.
• 신기술을 지평 탐색하고 통제되고 되돌릴 수 있는 평가를 통해 단계적으로 도입한다.

주요 출처#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, and the AI Airlock regulatory sandbox (gov.uk).
• NICE — Evidence Standards Framework (ESF) for digital health technologies (nice.org.uk).
• NHS England — 디지털 보건 기술의 기준선 보증을 위한 Digital Technology Assessment Criteria (DTAC).
• NHS England / former NHSX — A Buyer's Guide to AI in Health and Care, and the AI Ethics Initiative.
• DCB0129 and DCB0160 — 보건 IT를 위한 임상 위험 관리 표준(주제 1.6 참조).
• MHRA / IMDRF — Software as a Medical Device (SaMD) framework and good machine learning practice.
• The King's Fund and the Health Foundation — 보건·돌봄의 AI, 데이터, 불평등에 대한 분석.
• 주제 1.3 — 근거 기반 의사결정, 주제 1.6 — 임상 안전과 위험 관리, 주제 1.7 — 정보 거버넌스, 데이터 보호, 사이버 보안, 주제 8.0 — 혁신의 단계적 도입도 참조.

참고문헌#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics