主题 8.4 — AI 与新兴技术治理

一句话概括： 卫生与照护中的人工智能是一种学习型的、依赖数据的、常常不透明的技术，它能够比你曾经治理过的任何系统都更快地放大收益和伤害，因此你必须在它整个生命周期内，把它当作一项临床安全、公平和公众信任事项来治理——而不是把它当作一次购买、就此遗忘的普通软件来对待。

为什么这在卫生与照护中至关重要#

你已经部署的大多数软件，明天的表现方式与今天相同：它的逻辑是写下来的，它的行为是可测试的，出错时往往以一种可见、可重复的方式出错。人工智能（Artificial intelligence）打破了所有这三种安心感。它从数据中学习统计模式，而不是遵循一个人写下的规则；它的行为完全取决于它被训练所用的数据以及它现在遇到的数据；它的推理常常即使对构建它的人来说也是不透明的。正是这种组合，使得 AI 需要一门自己的治理纪律，而不是被折叠进一份通用软件检查清单里。

在卫生与照护中，后果不是抽象的。一个在训练数据中代表性不足的群体中检测不足疾病的模型，不是犯了一个孤立的错误——它悄悄地犯了同一个错误数千次，固化并放大了健康不平等。一个编造出听起来合理的临床细节的生成式模型，可能会在错误的时刻误导一位不堪重负的临床医生。一个在其被验证的人群中运作良好的工具，可能在人群、照护路径，或上游数据发生变化时悄悄衰退。AI 能够以同等的效率放大好的决策，也能放大偏见、错误和伤害。

本主题讲的是在不追随炒作、也不禁止这项技术的情况下治理这种风险。它刻意不重复在别处已经奠定的基础：临床安全（参见主题 1.6——临床安全与风险管理）、信息治理、数据保护和网络安全（参见主题 1.7——信息治理、数据保护与网络安全），以及基于证据的决策（参见主题 1.3——基于证据的决策）。它锚定于这些，并加入学习型系统所特有的东西。把它当作你现有保证机制中的 AI 形状延伸，把它当作创新分阶段推进的受治理姐妹篇（参见主题 8.0——创新的分阶段推进）。

核心概念#

人工智能和机器学习。 对一位领导者而言，实际的区分是这样的：今天卫生与照护中的大多数 AI 是机器学习（Machine learning）——从示例中推断模式的系统，而不是执行手写的规则。这正是为什么数据和代码一样，都是产品：改变训练数据，你就改变了行为。这也意味着一个模型不"知道"任何东西；它在估算，它可以自信地出错。在概念层面理解这一点，足以让你提出正确的治理问题；你不需要读懂数学。

作为医疗器械的软件（SaMD）和 MHRA。 当软件具有医疗目的时——诊断、筛查、分诊、计算剂量、预测恶化——它在法律上很常见是一个医疗器械，无论它是运行在手机上还是服务器上。这种医疗软件（Medical software），称为作为医疗器械的软件（SaMD），在英国由药品和保健产品监管局（Medicines and Healthcare products Regulatory Agency，MHRA）监管。如果你正在委托或构建一个具有临床目的的 AI 工具，第一个治理问题是它是否是一个受监管的器械，如果是，它是否持有有效的合格标志。把这件事弄错不是一个技术性问题；部署一个未注册的医疗器械是非法且不安全的。

AI Airlock。 MHRA 建立了一个称为 AI Airlock 的监管沙盒，用以在一个受控、受监测的环境中研究作为医疗器械的 AI 应该如何被监管。一个监管沙盒让一位监管者和少数开发者，在监督之下，检验困难的、新颖的问题——例如如何验证一个随时间更新的模型——然后再制定通用规则。要清醒地看待这是什么：Airlock 是监管者和少数参与者的一个学习环境，不是一条快速通道审批路线，与它有关联不意味着一个产品被批准用于一般临床用途。

算法偏见和公平性。 算法偏见（Algorithmic bias）是一个系统对特定群体产生系统性不公平结果的倾向。在卫生与照护中，其最常见的来源是训练数据：如果一个群体代表性不足、被错误标记，或用一个有偏见的工具来测量，模型就会学会更差地为这个群体服务。因为这个模型随后会以规模和一种客观的姿态应用这一点，有偏见的 AI 可能会扩大你的机构在法律上有义务减少的那些不平等。

可解释性和黑箱。 可解释人工智能（Explainable artificial intelligence）关乎一个人能否理解一个模型为什么产出了一个给定的输出。许多高性能模型实际上是"黑箱"：整体准确，但无法给临床医生一个对单一决策而言可信的理由。在一个临床环境中，这对问责、知情同意，以及临床医生行使判断的职责很重要——一位医生无法有意义地对他们无法质询的建议负责。

模型漂移和上市后监测。 一个模型的准确性不是固定的。概念漂移（Concept drift）——输入和被预测的事物之间的关系随时间的变化——意味着去年被验证的模型，可能会在人群、路径，或上游数据发生变化时，在今年悄悄退化。这正是为什么 AI 需要持续的上市后监测和监控，而不仅仅是上线时的一次性验证。

MLOps 和模型生命周期。 MLOps 是在生产中可靠地部署、监测、版本控制和重新训练模型的运营纪律。它是使生命周期治理变得真实的机制：知道哪个模型版本处于运行状态、基于什么数据、性能如何，并能够回滚。

人在环路中。 人在环路中（Human-in-the-loop）设计让一个人——通常是临床医生——有意义地参与决策，拥有权威和信息来推翻这个模型。做得好，它保留了问责；做成一个橡皮图章，它只提供了监督的幻觉。

生成式 AI 和大语言模型。 生成式人工智能（Generative artificial intelligence），包括大语言模型（Large language model）（LLM），产生流畅的文本和其他内容。它在卫生与照护中现实的近期价值主要是行政性的——起草文档、总结、减轻文书工作。它的决定性风险是幻觉（Hallucination）：自信地生成虚假但看似合理的内容，当患者数据被输入第三方服务时，这一风险会因保密风险而复合。

数字疗法和健康应用程序。 数字疗法（Digital therapeutics）（DTx）是软件驱动的、基于证据的干预措施，用于预防、管理或治疗一种病症——与一般健康应用程序不同，正是因为它们做出临床声明，这意味着许多都是作为医疗器械的软件，要求与你处方或推荐的任何其他干预措施相同的证据和保证。

最佳实践#

1. 在做任何其他事情之前对工具进行分类。 以书面形式，并在临床和监管输入下确定，这个 AI 是否具有医疗目的、因此是一个受监管的医疗器械，以及它是否持有有效的 MHRA 合格标志。这一单一的判定支配着下游的一切——保证路线、责任、部署的合法性。有疑问时，寻求监管建议，而不是假设一个行政工具超出了范围。

2. 让 AI 经过你现有的临床安全和信息治理机制，被扩展、而不是被绕过。 每一次临床 AI 部署都需要 DCB0129/DCB0160 的临床风险管理（参见主题 1.6）和你信息治理框架下的一份数据保护影响评估（参见主题 1.7）。不要让新颖性或供应商的热情创造一个并行的、更轻量的流程。AI 特有的危害——偏见、漂移、不透明、自动化偏见——应该被添加到危害日志中，而不是取代它。

3. 审视训练数据的代表性和偏见。 问谁在数据中、谁缺失，成果是如何被标记的，测量工具本身在各群体之间是否有偏见。要求供应商报告按相关子群体——年龄、性别、族裔、剥夺程度——分类的绩效，而不仅仅是头条准确率。一个无法证明公平绩效的工具，无论其平均值多么令人印象深刻，都是一项健康不平等风险。

4. 要求与风险相称的临床验证，偏好前瞻性证据。 对精心挑选数据的回溯性准确率，是最薄弱的证据形式。对任何影响临床决策的东西，寻求在一个像你的人群和工作流程中进行的验证，理想情况下是前瞻性的，并通过适当的保证框架引导这个声明——面向数字健康技术的 NICE 证据标准框架，以及作为基线保证的数字技术评估标准（DTAC）。使证据的强度与潜在伤害的规模相匹配。

5. 坚持要求有意义的人在环路中和清晰的问责。 定义谁对一个由 AI 提供信息的决策负责，确保这个人既有权威、也有信息来推翻它。通过培训、界面设计，以及对推翻率的审计，积极防范自动化偏见——那种服从机器的倾向。如果推翻从未发生，你的"人在环路中"就是装饰性的。

6. 把上线当作监测的开始，而不是保证的结束。 从第一天起就建立上市后监测：监测真实世界的绩效，留意概念漂移，定义重新训练、暂停或撤回模型的阈值和流程。通过健全的 MLOps 建立模型版本控制和回滚，从而使你始终知道什么在运行，能够安全地回退。一个从未被重新检查的模型，是一项正在缓慢失效的安全控制。

7. 把生成式 AI 治理到其现实的用途，防范其真实的风险。 在价值是真实的、风险是可控的地方允许使用 LLM——行政起草、总结、有人工审查的文档支持——禁止未受管理地将患者可识别数据输入第三方服务。假设任何生成式输出都可能是捏造的，直到一个人验证了它，绝不让未经验证的生成内容进入临床记录。一项清晰、被执行的政策，胜过一刀切的禁令（驱动影子使用）和一场自由放任（泄露数据）。

8. 将信息治理应用于整个数据生命周期，包括训练。 用于训练、微调和评价一个模型的数据，与任何其他用途一样，受到相同的合法依据、最小化和透明度义务的约束（参见主题 1.7）。明确说明在患者数据上进行训练的依据、它是否被充分去标识化，以及供应商可以用它做什么。合同应该禁止在没有合法依据和你同意的情况下，重复使用你的数据来为别人训练产品。

9. 维护一份人类可读的模型登记册，要求供应商透明。 维护一份使用中 AI 的清单：目的、监管状态、训练数据来源、验证证据、监测计划，以及问责负责人。要求供应商透明地说明模型如何运作、它的局限性，以及它的失败模式；供应商的不透明本身就是一个风险信号。你无法治理你没有写下来的东西。

10. 有意识地扫描地平线，通过受控评价分阶段引入。 超越今天的 AI，用结构化的地平线扫描、而不是被动的采购来观察新兴技术——环境记录、基础模型，再往远看，量子和新颖的感测技术。通过创新分阶段推进的受控、可逆、经过评价的方法引入任何真正新颖的东西（参见主题 8.0），从小处开始，诚实地衡量，保留停止的能力。

11. 把数字疗法和健康应用程序当作干预措施来对待，而不是消费者下载物。 当一款应用程序做出临床声明——治疗、管理或预防一种病症——它就是一项患者将会据以行动的干预措施，在你处方或推荐它之前，它应得到与一种药物或一个器械相同的审查。确定它是否是持有有效合格标志的作为医疗器械的软件，要求与其声明相称的证据，完成一次临床安全评估（参见主题 1.6），而不是信任一个应用商店评级或供应商的热情。一款未经保证、却被一位临床医生认可的应用程序，一旦造成伤害，会带上你机构的名字和你的问责。

12. 让健康应用程序经过现有的保证机制，维护一份经过策划的安全库。 通过你已经运行的同一套机制来评估数字疗法——作为基线的 DTAC、与临床声明相匹配的 NICE 证据标准框架，以及临床安全和信息治理审查——并随时间建立真实世界评价证据（参见主题 8.6）。维护一份你已经保证并为之背书的应用程序策划库，记录每一款应用程序的监管状态、证据和负责人，从而使临床医生从一份安全、受治理的候选名单中推荐。另一种选择——一堆未经评估、在各团队之间非正式推荐的应用程序蔓延——是无法管理且不安全的。

与团队讨论的问题#

1. 对于我们正在考虑或已经在使用的每一个 AI 工具，我们真的知道它是否是一个受监管的医疗器械吗——我们能拿出证据吗？ 这听起来像是一个合规性的形式问题，但它是承重问题，因为答案决定了什么是合法的、谁负责，以及你对公众负有什么样的保证。很容易假设一个"只是帮助分诊"或"只是总结笔记"的工具是无害的行政软件，而它的医疗目的实际上使它成为一个需要 MHRA 合格标志的受监管器械。这场讨论应该迫使你指明每一个正在使用或在管道中的 AI 工具，用平实的临床措辞说明其预期目的，并确定谁做出了器械分类的判断、依据是什么。它应该揭示那些通过普通 IT 路线采购、根本没有任何监管检查的令人不适的案例。诚实地面对，如果一位监管者或一位法医今天问起，你能否拿出合格文档和验证证据。这场对话的价值在于，它把一种"应该有人检查过"的模糊感受，转变为一个有文档记录、有归属的立场——并揭示出没有人检查过的工具。

2. 我们是否要求看这个模型对最可能受到伤害的群体的表现如何，还是我们接受了一个头条准确率数字？ 平均准确率是供应商领头宣传的数字，也是隐藏算法偏见的数字，因为一个模型可能整体高度准确，同时对一个代表性不足的群体表现明显更差。在卫生与照护中，这不是一个统计学上的奇特现象；这是一种悄悄地、大规模地扩大你在法律和道德上有义务减少的那些不平等的机制。团队应该讨论你实际看到了什么子群体证据——按年龄、性别、族裔和剥夺程度分类的绩效——以及你是否知道谁在训练数据中、谁缺失。值得指明这里的不适：向供应商追问公平性可能感觉像是在阻碍一项令人兴奋的创新，诚实的问题是你是否愿意对一个无法证明公平绩效的工具说不。也要考虑你在部署之后甚至会如何检测到不公平的结果，因为在采购时不可见的偏见，除非你监测它，否则在生产中同样不可见。一场好的讨论会以一个适用于任何临床 AI 上线之前的、具体的公平性证据门槛，以及一份之后持续观察的计划结束。

3. 当这个模型出错时——它会出错——谁负责，一个人真的会捕捉到它吗，我们甚至会怎么知道？ 每个模型有时都会失败，学习型系统可能随时间漂向更频繁地失败，因此成熟的问题不是错误是否发生，而是你的保障措施是否真实。团队应该检验人在环路中是有意义的、还是装饰性的：临床医生是否有权威和信息来推翻，如果你查看推翻率，你会发现他们真的曾经推翻过，还是自动化偏见已经悄悄形成？讨论谁被指明为对一个由 AI 提供信息的决策负责——临床医生、机构、供应商——因为"是算法做的"对一位患者或一位法医而言不是一个站得住脚的立场。诚实地面对你的监测：你是否有能够检测到概念漂移的上市后监测、暂停或撤回模型的明确阈值，以及知道哪个版本在运行、能够回滚它的 MLOps 机制？对于生成式工具，加上幻觉问题——什么阻止捏造的内容进入临床记录，谁在输出被信任之前验证它？这场对话最有用的版本，揭示了"人类监督"这幅令人安心的图表与在一个繁忙病房的凌晨三点真正会发生的事情之间的差距。

4. 当我们训练、微调和运行这些模型时，我们患者的数据正在发生什么——供应商保留了对它做什么的权利？ AI 集中了数据治理风险，正是因为数据就是产品：一个模型的可信度，取决于它所触及的每一个数据集背后的合法依据、最小化和透明度，包括早于上线的训练和评价数据。团队应该能够为每一个工具说明，患者数据任何使用的合法依据、去标识化是否充分而不仅仅是被断言，以及数据在离开你的控制之后实际流向哪里。一个反复出现的陷阱，是一份悄悄允许供应商重复使用你的数据来改进它将卖给别人的产品的合同；讨论你的协议是否在没有合法依据和你明确同意的情况下禁止这一点，以及是否有人真正读过那些条款。这直接联系到你的信息治理框架（参见主题 1.7），这也是对一个有能力工具的热情最常超过尽职调查的地方。一个诚实的答案会指明谁拥有 DPIA、供应商可以和不可以做什么，以及你目前在哪里暴露——而不是假设因为演示令人印象深刻，文书工作就一定是健全的。

5. 我们如何决定不采纳什么，我们能否抵制购买每个人都为之兴奋的东西的压力？ 一项快速发展的技术最难的治理纪律，是说"暂时不行"或"不是这个"，一个无法阐明其拒绝标准的团队，最终会依据漂移和炒作、而不是证据来采纳。讨论什么会让你放弃一个原本有吸引力的工具——薄弱的子群体证据、不明确的监管状态、一个相对于风险而言现实收益微薄的用例——以及这些红线是被写下来的，还是仅仅被感觉到的。这里存在一个真实的张力，在错过一次真正的改进的代价，与一次规模化失败损害公众信任的代价之间，理性的人会以不同的方式权衡它们。值得指明的政治现实是，采纳的压力常常来自一个董事会、一段供应商关系，或一项国家强制要求，而不是来自临床需求本身。本主题的立场是有意识地扫描地平线，通过受控、可逆的评价分阶段引入（参见主题 8.0），因此一个诚实的答案会描述一个有前景但未经证明的工具如何作为一个小型的、有衡量的、可停止的试点进入，而不是整体推广——以及谁拥有停止它的权力。

6. 我们能否向必须信任它的临床医生和受它影响的患者解释这个模型做什么——我们是否诚实地说明了它的局限性？ 一个临床医生无法质询、患者无法理解的模型，无论其整体多么准确，都会腐蚀临床照护所依赖的知情判断和知情同意。团队应该讨论这个特定用途实际上需要多少可解释性：一个队列优先排序辅助工具所需要的比一个影响诊断或治疗决策的工具要少，使解释与利害相称是一个治理选择，而不是一个技术性的事后补充。考虑你告诉预期使用它的临床医生什么——它的目的、它已知的失败模式、它不那么可靠的那些群体——以及那份简报是坦率的，还是一份营销摘要。面向患者的诚实同样重要：人们是否被告知 AI 参与了他们的照护，用他们能据以行动的语言？这也是一个人力问题，因为过低的信任意味着一个有用的工具被忽视，而过高的信任则产出了掏空监督的自动化偏见。一个诚实的答案会正视你的培训和沟通是在建立经过校准的信任，还是仅仅在推销这个工具。

实践中：一个卫生与照护案例#

一个整合照护系统被提供了一个能够读取胸部 X 光片、标记可能异常以优先处理放射学报告队列的 AI 工具。临床安全官和医疗总监抵制了快速采购它的压力，转而让它经过适当的治理。

首先是分类：这个工具有明确的医疗目的，因此被确认为作为医疗器械的软件，其 MHRA 合格标志和预期用途声明被核实——预期用途是分诊支持，而不是自主诊断，这塑造了随后的一切。接下来是保证：这个工具通过 DTAC 作为基线，其临床声明依据 NICE 证据标准框架被检验，完成了一次 DCB0160 临床风险评估，一份 DPIA 覆盖了成像数据（参见主题 1.6 和主题 1.7）。团队要求提供子群体绩效，发现验证人群对一个本地人口统计群体代表性不足；他们要求在继续之前进行额外的本地验证，把潜在的偏见当作一项健康不平等风险来对待，而不是一条脚注。

在部署时，设计保留了人在环路中：每一张图像仍然由一位放射科医生报告，AI 只是重新排序队列，因此一次被遗漏的标记本身不能导致一次被遗漏的诊断。上市后监测从第一天起就被建立——监测检测率、模型与报告放射科医生之间的不一致，以及随着扫描仪硬件和病例组合变化而出现的任何漂移——配有预先商定的阈值来暂停这个工具，以及通过供应商版本化部署的回滚路径。另外，当一个病房要求把患者病史粘贴进一个公共 LLM 中来起草出院小结时，同一个治理论坛对那条未受管理的路径说不，改为委托了一个经过批准的、受限的、配有人工验证的工具。一年后，队列优先排序工具适度改善了报告周转时间，其监测在一次扫描仪升级后捕捉到一次漂移事件，至关重要的是，该机构能够准确展示它是如何被治理的。

行业视角#

初创企业#

一家数字健康初创企业常常就是 AI 本身，因此它的治理成熟度就是它的市场准入。创始人应该把监管分类、临床验证和偏见证据当作核心产品工作，而不是一次销售前硬拼接上去的合规税，因为买家的临床安全官会恰好要求这些，一个"不"就会终止这笔交易。及早与 MHRA 接触——可能通过诸如 AI Airlock 这样的机制来处理真正新颖的问题——并从一开始就为 DTAC 和 NICE 证据标准框架而设计，会把保证变成一项竞争优势。典型的初创企业风险是过度宣称：超越证据的营销，或一份掩盖了糟糕子群体绩效的平均准确率演示。有纪律的创始人会及早把监测和上市后监测建进产品中，因为一次在参考场地的规模化失败，对一家小公司而言是一次生存事件。

小型企业#

一家成熟的小型服务提供者——一家全科诊所、一家社区药房、一家养老院、一家单点诊所——通常是 AI 的买家，而不是构建者，然而它承担着与一家大型信托机构相同的责任，却没有专职的临床安全、信息治理或信息学人员来履行它们。实际的风险是依据供应商的保证来采纳一个工具，因为没有内部能力去要求器械分类、子群体证据，或一份 DPIA，也没有人会注意到一个模型何时发生漂移。大力依靠别人已经做过的保证：偏好那些清楚持有 MHRA 合格标志、已通过 DTAC 的工具，从发布证据的供应商那里购买，只推荐来自你的 ICS 或一个国家机构已经保证的策划库中的健康应用程序，而不是自己评估每一个。在你无法亲自验证一个工具的安全性的地方，那是一个理由，让你依靠你所在系统的共享保证，而不是跳过检查。即使只是维护一份轻量级的登记册，记录你使用哪些 AI 工具、用于什么、由谁拥有，也能把一项无法管理的责任变成一项相称的责任。

大型机构#

一家大型信托机构或 ICS 拥有妥善治理 AI 的机制，以及使搞错它变得严重的规模。它的工作是扩展现有的临床安全、信息治理和保证职能以涵盖 AI——一份模型登记册、子群体公平性门槛、上市后监测、用于版本控制和回滚的 MLOps——而不是让 AI 通过未受审查的 IT 或研究路线到来。大型机构真正的危险是碎片化：数十个试点、环境记录试验，以及部门级的 LLM 实验激增，却没有中央清单、没有一致的 DPIA，没有人在一个工具漂移时负责。变革疲劳和供应商压力推向快速采纳，因此领导层必须坚守新颖性不能获得一个更轻量流程这条线。做得好，大型机构还能产出小型参与者无法产出的前瞻性、本地验证证据，并在整个系统中共享它。

政府#

国家和地方政府机构——MHRA、NHS England、DHSC、NICE、权力下放的行政机构，以及地方当局——设定了其他所有人部署 AI 所处的条件。它们的工具是监管、标准、保证框架（DTAC、证据标准框架）、诸如 AI Airlock 这样的安全港机制，以及在一个它们并不直接条线管理的联邦式系统中引导安全采纳的资金和指导。问责面向大臣、议会和公众，因此一次规模化的 AI 失败，或一个国家工具中可证明的偏见，是一次带有长长阴影的公众信任事件。政府恰当的角色是使安全的路径成为容易的路径——清晰的规则、可重复使用的保证、关于 AI 能做什么不能做什么的诚实公众沟通——同时抵制由炒作驱动的强制要求和反射性的禁止。在任何一个方向上失去平衡，都要花费数年的信任。

常见失败模式#

• 跳过监管分类。 部署一个临床 AI，就好像它是普通软件一样。避免它的方法是首先确定器械状态和合格标志，配有监管输入。
• 头条准确率盲区。 接受一个隐藏了对代表性不足群体表现不佳的平均数字。避免它的方法是在上线之前要求子群体证据，之后监测不公平。
• 验证一次，永远遗忘。 把上线当作保证的终点，而模型在悄悄漂移。避免它的方法是建立带有阈值和回滚的上市后监测。
• 装饰性的人类监督。 一个在自动化偏见之下盖橡皮图章的"人在环路中"。避免它的方法是审计推翻率，设计真正的干预权威。
• 未受治理的生成式 AI。 员工把患者数据粘贴进公共 LLM，信任捏造的输出。避免它的方法是清晰的政策加上一个经过批准的、受限的、配有人工验证的工具。
• 并行的轻量流程。 让 AI 因为是"创新"而绕过临床安全和信息治理。避免它的方法是将现有的 DCB 和 DPIA 机制扩展到 AI。
• 没有清单。 没有人知道哪些模型在运行、基于什么数据、由谁拥有。避免它的方法是维护一份模型登记册。

成熟度模型#

检查清单#

• 每一个 AI 工具的医疗器械状态和 MHRA 合格标志已被确定并文档化。
• 临床 AI 已通过 DTAC，已依据 NICE 证据标准框架被检验，有一份 DCB 临床风险评估和一份 DPIA。
• 子群体绩效（年龄、性别、族裔、剥夺程度）已被看到，并满足一个商定的公平性门槛。
• 临床验证与风险水平相匹配，偏好前瞻性的、本地的证据。
• 一个有意义的人在环路中已被设计，配有推翻的权威和信息。
• 对 AI 提供信息的决策的具名问责已被写下。
• 上市后监测、漂移阈值，以及一份暂停/回滚计划从上线起就是实时的。
• MLOps 提供模型版本控制和安全回滚；运行中的版本始终已知。
• 生成式 AI 政策允许现实的用途，禁止患者数据进入未受管理的服务，要求人工验证。
• 信息治理涵盖训练、微调和评价数据，对供应商的重复使用有合同限制。
• 一份人类可读的模型登记册记录目的、来源、证据、监测和负责人。
• 新兴技术被地平线扫描，通过受控、可逆的评价分阶段引入。

关键资料来源#

• MHRA ——作为医疗器械的软件和人工智能（AI），以及 AI Airlock 监管沙盒（gov.uk）。
• NICE ——面向数字健康技术的证据标准框架（ESF）（nice.org.uk）。
• NHS England ——面向数字健康技术基线保证的数字技术评估标准（DTAC）。
• NHS England / 前 NHSX ——《卫生与照护中 AI 买家指南》，以及 AI 伦理倡议。
• DCB0129 和 DCB0160 ——卫生 IT 的临床风险管理标准（参见主题 1.6）。
• MHRA / IMDRF ——作为医疗器械的软件（SaMD）框架和良好机器学习实践。
• The King's Fund 和 The Health Foundation ——关于卫生与照护中 AI、数据和不平等的分析。
• 另见主题 1.3——基于证据的决策；主题 1.6——临床安全与风险管理；主题 1.7——信息治理、数据保护与网络安全；主题 8.0——创新的分阶段推进。

参考文献#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics