主题 1.3 — 循证决策

一句话概括: 循证决策意味着依据最佳可得证据——临床证据与交付证据——的强弱来决定构建什么、采购什么、扩展什么,证据的严格程度要与风险相称,并把推理过程记录下来,让它在做出决策的人离开之后依然留存。

为什么这在医疗与照护领域很重要#

在大多数行业,一个糟糕的产品决策耗费的是金钱。在医疗与照护领域,它可能耗费安全、公平与信任——而且它是在法定职责之下用公共资金做出的。部署一项从未被评估过的数字诊断工具,不是一场商业赌博,而是一项临床风险。这把证据的门槛远远抬高到了"演示效果不错"之上。

这个领域还有一个独特之处,那就是它同时要求两种证据。临床证据回答的是"这项技术有效吗?对患者安全有效吗?"交付证据回答的是"我们是否把正确的东西建好了,它是否被采纳和使用?"一项服务可能临床上是可靠的,但在交付上却是失败的(没有人使用它);也可能是交付上的成功,却在临床上未经验证(被广泛使用,却从未被验证)。高级领导必须同时要求这两种证据,绝不能让一种冒充另一种。而且由于医疗决策会吸引监管机构、公众与临床医生的审视,你做出决策的理由记录与决策本身同样重要。

核心概念#

证据层级。 循证医学按照研究设计对偏倚的控制程度进行分级:最上层是随机对照试验(RCT)的系统综述与荟萃分析;然后是单项 RCT;再往下是队列研究与病例对照研究;再往下是病例系列;最底层是专家意见与个案轶事。这个层级是一份指南,而不是一副枷锁——但它训练你去注意,一项主张是否实际上是以轶事冒充证据。

NICE 数字健康技术证据标准框架(ESF)。 NICE 与 NHS England 及合作伙伴一起制定了 ESF,规定一项数字健康技术(DHT)需要何种级别的证据,与其功能及所承载的风险相称。它按潜在风险对 DHT 分层——从简单的系统服务,到为照护提供信息或驱动照护的工具,再到直接诊断或治疗的工具——并规定了每一层所应有的临床有效性与经济证据。临床风险越高,所要求的证据就越强。ESF 是委托方与开发者判断一项 DHT 是否就绪的参考基准。

真实世界数据与真实世界证据。 真实世界数据(RWD)来自常规照护——电子健康记录、登记系统、患者报告结局、设备遥测数据——而不是受控试验。经过良好的分析(通过前瞻性观察研究、实用性试验,或审慎的电子病历分析),它就成为关于一项技术在实践中表现的真实世界证据(RWE)。对于那些会学习或变化的技术(AI、可穿戴设备)而言,RWE 至关重要,因为一次性的试验无法捕捉持续的行为变化,但它也带着必须被诚实处理的混杂风险。

临床证据 vs 交付证据。 把这两者放在不同的坐标轴上。临床证据使用上述层级与 ESF:疗效、安全性、有效性。交付证据使用产品与服务分析:这项服务是否好用、是否被采纳、是否完成了用户的任务、是否减少了失败需求?两者都需要;把它们混为一谈是一个经典错误(高使用率不是临床证明)。

评估设计。 逻辑模型(或变革理论)明确表达了投入与活动应当如何产生产出与成果——它是任何评估都要检验的那张地图。RCT 给出最有力的因果答案,但速度慢、成本高,对于一项快速变化的服务而言有时不切实际甚至不合伦理。实用性评估——实用性试验、间断时间序列、带对照的前后对比、混合方法服务评估——以牺牲一定的确定性来换取速度与现实相关性。要选择与风险及决策利害相称的设计。

A/B 测试与分析。 对于风险较低、属于交付层面的问题(哪种措辞能提高赴约率?哪种流程能减少流失?),受控的在线实验(A/B 测试)能快速给出因果性的交付证据。它们在优化方面很有力,但绝不能用来做出未经评估的临床变更,而且必须遵守同意与信息治理的边界。

HiPPO 式决策。 "HiPPO"(薪酬最高者的意见)指的是资历凌驾于证据之上的失败模式。以证据为驱动的文化,会让房间里的任何人都能安全、自然地问出"数据显示了什么?",并把高层的直觉当作一个待检验的假设,而不是结论。

决策记录。 一份决策记录(或决策日志/架构决策记录)简要记录:决策内容、考虑过的选项、权衡过的证据、由谁决定、何时决定。它让推理过程可被审计,能在人员流动后依然留存,并防止同一场争论每个季度都重新上演一遍。

最佳实践#

1. 让证据的强度与风险等级相匹配。 用 NICE ESF 的分层作为你的标尺:一个低风险的系统工具只需要轻量级证据;一个用于诊断或驱动治疗的工具则需要高质量的临床有效性证据。相称性让你能在安全的事情上快速行动,在危险的事情上放慢脚步,而不是用同一根标尺衡量一切。

2. 同时要求临床证据与交付证据,绝不将两者混淆。 对于任何重大投资,分别问两个问题——"它临床上有效且安全吗?"以及"它好用且被采纳了吗?"——并为每一个问题都要求证据。采纳指标不能替代临床验证,一次阳性试验也不能保证在真实世界中会被使用。

3. 以逻辑模型开始每一项举措。 在动手建设之前,写下你认为这项干预将如何产生你想要的成果。这能及早暴露未经检验的假设,定义出真正重要的指标,并为你后续的评估提供具体的检验对象。

4. 对于会学习或长期存在的技术,使用真实世界证据。 对于 AI、算法与长期存在的服务,要用对常规数据的结构化监测——前瞻性观察设计、实用性评估——来补充或跟进初始试验,这样你才能知道其表现在实践中是否保持,并能及时发现漂移。

5. 在交付问题上做实验;在临床问题上做评估。 在信息治理与同意的限制范围内,自由地把 A/B 测试与分析用于交付优化(措辞、流程、提示)。把正式评估(试验、实用性研究)留给关乎临床效果的问题。把每个问题引导到正确的方法上。

6. 从文化上、而不仅仅是从流程上,消灭 HiPPO 式决策。 明确地让任何人都可以向决策者索要证据,把高层的观点当作待检验的假设来对待,并预先承诺什么样的证据会改变你的想法。一个能够安全质疑权威的团队,能做出更好的决策。

7. 记录决策及其证据。 为每一个重大选择保留一份轻量级的决策日志——是什么、为什么、有什么证据、谁做的、何时做的。这为监管机构与公众创造了可审计性,防止无休止的重新争论,并在人员流动中保存机构记忆。

8. 关注数据伦理。 证据工作使用的是患者数据;把合法性、同意、相称性与公平性当作设计约束来对待。警惕会加剧不公平的有偏数据集,尊重保密义务,并确保你的证据实践本身能经受住公众的审视。

与团队讨论的问题#

1. 对于我们最近做出的最重大决策,我们能否同时指出临床证据与交付证据——并保持二者分明——还是其中一种悄悄替代了另一种? 这个问题检验的是本主题的核心主张:临床证据("它有效且安全吗?")与交付证据("它好用且被采纳了吗?")处于不同的坐标轴上,把二者混为一谈是一个经典而危险的错误。它之所以重要,是因为一项服务可能临床上健全却无人使用,也可能被大量使用却从未经过临床验证,而在医疗与照护领域,把高使用率误认为临床证明,可能在看似成功的同时把患者置于风险之中。值得摆到台面上的张力在于,交付证据快速、廉价且讨喜——分析仪表盘很快就能填满——而临床证据缓慢、昂贵,往往还没有定论,因此始终存在让采纳指标独自撑起论证的压力。拿一份真实的董事会文件或投资论证来审查:两种证据是否被分开陈述,每一种是否真的存在,临床主张是否有超越供应商演示或单一场地研究的依据。一个好的、诚实的答案会指出一个具体的决策,承认其中某一类证据薄弱或缺失,并承诺今后在重大选择中明确、分别地同时要求两种证据,而不是让一个漂亮的使用率数字安抚所有人。

2. 我们的证据门槛究竟有多相称——我们是否在低风险变更上要求金标准试验,却在高风险工具上仅凭薄弱证据就放行? 本主题通过 NICE ESF 的分层来阐述相称性:低风险系统工具只需轻量证据,用于诊断或驱动治疗的工具则需要高质量的临床有效性证据,这个问题检验的是你的机构是否真正依据风险来校准门槛,还是套用同一套生硬标准。它之所以重要,是因为两个方向的失败都代价高昂——分析瘫痪会让一项有用的低风险内容变更被不必要的 RCT 拖住,而一个信息审查不足的 AI 工具却可能凭借一场令人印象深刻的演示就悄悄影响临床决策——每一种都会侵蚀人们对证据文化的信任。值得讨论的取舍在于,相称性需要判断力与为之辩护的信心,这比一条统一规则更难做到;一刀切地要求"一切都需要试验"或"只要是数字化的,先试点再说"更容易执行,但是错的。梳理两三项当前或近期的技术,一起把每一项放入其 ESF 分层,检查你所要求的证据是否与该分层相匹配,还是取决于是谁在为它站台。一个诚实的答案会展示团队能够定位一项技术的风险分层,承认门槛在哪些方向上被设错了,并把相称性当作一项明确的、站得住脚的标准来对待,而不是一种直觉。

3. 在这个房间里,向最资深的人问"证据是什么?"这件事,在文化上有多安全?我们上一次把领导的直觉当作待检验的假设、而不是既定决策来对待,是在什么时候? 这个问题直接面对 HiPPO 失败模式,即薪酬最高者的意见凌驾于证据之上,检验的是你所宣称的对证据的承诺,是否经得起层级结构与那场打动了一位受尊敬董事的供应商演示的考验。它之所以重要,是因为在医疗与照护领域,由演示驱动、部署一项未经评估工具的决策,不是一场商业赌博,而是一项临床安全与公共资金的风险,而一旦质疑变得不安全,证据就不再主导决策。真正的张力在于,心理安全感无法靠政策强制建立;它是由高级领导通过明显地邀请质疑、把自己的观点表述为假设、并预先承诺什么样的证据会改变自己的想法而建立起来的——这些行为让人感到暴露,在时间压力下很容易被跳过。把讨论建立在具体事例上:回忆一个更多是由资历或热情、而不是数据所驱动的近期决策,追问是否有人质疑过它,那样做是否感觉安全,以及一份决策记录本应捕捉到什么。一个好的答案会坦率承认层级目前在哪些地方占了上风,指出领导者将采取的、让质疑变得正常的具体行为,并把这种文化承诺与那份让推理可审计、防止同一场争论被重新上演的轻量级决策日志结合起来。

4. 对于那些会学习或长期存在的技术——我们的 AI、我们的算法、我们长期运行的服务——自我们验证它们以来,它们的表现如果发生了漂移,我们实际上要如何才能知道?谁在监看? 本主题明确指出,一次性的试验无法捕捉会学习或变化的技术的持续行为,"一次验证、从此了事"是一种被点名的失败模式,其解药是真实世界证据与持续监测。这个问题之所以重要,是因为危险是无声的:一个恶化预测模型或分诊算法可能会随着病例组合、编码实践或上游数据管道的变化而退化,而且与一个明显损坏的功能不同,没有任何东西会明显地出错——这个工具会继续产生看似合理的输出,而它的误报率或漏报率却在悄悄恶化。值得摆到台面上的张力在于,相较于部署时的兴奋,监测工作既不光鲜也常常没有预算:一旦商业论证被签署、效益被记入账本,很少有机构会为前瞻性观察工作、漂移指标,或负责审查它们的具名负责人配置资源。选一项正在运行的 AI 或算法工具,具体追溯它部署后的生命历程——正在监看哪些常规数据、以什么基线、以什么频率,以及谁会在性能退化时上报、上报给谁。一个诚实的答案会承认验证在哪些地方止步于上线那一刻,区分哪些工具真正需要持续监视、哪些不需要,并承诺一位具名的负责人、一项指标与一个审查节奏,而不是一句"我们会留意"的模糊意向。

5. 当我们今天做出的一项决策在两年后被一位新董事、一位监管者或公众质疑时,书面记录实际上会显示什么?它能经受住那样的审视吗? 本主题把决策记录当作核心基础设施来对待:一份关于决策内容、各选项、权衡过的证据、谁决定、何时决定的轻量级日志,其价值在于让推理可被审计,能在人员流动后留存,并阻止同一场争论每季度重新上演。这个问题之所以重要,是因为医疗与照护领域的决策会吸引监管、议会与公众的审视,其程度是商业决策很少遇到的,而本主题的实操案例正是围绕这一点展开——两年后,一位新董事质疑一项已部署的工具,而"记录给出了答案"。真正的张力在于这项纪律每次决策的成本极小,却长期面临被跳过的压力:在当下,写下你为何做出决策感觉像是官僚作风,而最需要这份记录的人,恰恰是那些不在场、无法要求它的未来员工。用现实来检验它:试着重建十二或十八个月前一项重大选择背后的推理——你能找到当时权衡了哪些证据、否决了哪些替代方案吗,还是只能找到"做出了一个决定"这一事实?一个好的答案会正视记录究竟是为重大决策真正保留下来的,还是只为容易的决策保留;它们捕捉的是证据与选项,还是仅仅是结论;以及是否曾经有人回过头去读过它们——因为一份无人阅读、只有结论的日志,是审计的表演,而不是机构记忆。

6. 我们的证据是用谁的数据来训练和验证的?我们有信心它不会加剧不公平吗——还是我们把数据伦理当作一份要签署的表格,而不是一项设计约束? 本主题坚持认为,证据工作运行在患者数据之上,合法性、同意、相称性与公平性是设计约束,而不是文书工作,并特别警告了会加剧不公平的有偏数据集,以及把"伦理当作文书工作"这一失败模式。这个问题之所以重要,是因为一项在不具代表性的人群上验证的技术,可能对那些本已服务不足的群体表现更差——一个在某些族裔、年龄段或合并症被低估的地方训练出来的恶化或诊断模型,可能把这种偏差带入未来的每一次决策,而在全国规模上,一个被认可的数据集会在整个系统范围内固化这种不公平。张力在于,公平性分析比一个亮眼的准确率数字更难、更慢:它要求你审视数据中有谁、缺了谁,按亚组拆分表现,有时还要接受你的证据对于你最需要服务的人群而言反而更薄弱这一事实。把它具体化:拿一项近期或拟议中的工具,追问它是在谁的记录上被构建和测试的,其表现是否曾按亚组进行过考察,以及信息治理签核是否真正涉及了公平性问题,还是仅仅确认了合法依据。一个诚实的答案会把真正的伦理审查与走过场区分开来,承认代表性从未被检查过的地方,并把偏差与公平当作证据本身必须回答的问题,而不是最后附加上去的合规步骤。

实践中:一个医疗与照护案例#

一家社区信托机构获得了一项 AI 工具的推荐,该工具能根据生命体征数据标记出有恶化风险的患者。一个 HiPPO 式决策会因为一位受尊敬的董事对供应商演示印象深刻而直接部署它。

相反,该信托机构把这次推荐当作一个假设来对待。它把这项工具放入适用于为临床决策提供信息的技术的 NICE ESF 风险分层中,并向供应商索要该级别所需的有效性证据;供应商所能提供的最有力证据只是一项小型单一场地研究。信托机构撰写了一份逻辑模型(更早的预警 → 更早的升级处置 → 更少可避免的恶化),并设计了一项实用性评估:采用影子模式部署,工具发出的警报被记录下来但不据以行动,再与实际结果进行比较,并辅以对护士关于工作流程适配情况的定性访谈。

与此同时,它收集交付证据:临床医生真的会注意到并信任这些警报吗?它对警报呈现方式进行了 A/B 式测试。信息治理与临床安全负责人对数据使用与危害日志进行了签核。三个月后,RWE 显示出一个温和但真实的改善,以及一个可接受的误报率,交付证据也显示临床医生确实与重新设计后的警报互动。继续推进的决定——采用分阶段推广并持续监测——被写入一份引用了所权衡证据的决策记录。两年后,当一位新董事质疑这项工具时,这份记录给出了答案。

行业视角#

每个人都负有让证据与风险相匹配的同等责任,但围绕证据的资源、激励与问责在不同机构之间差异显著。

初创企业#

一家初创企业面临的约束是,金标准的临床证据既缓慢又昂贵,而资金存续期却很短,因此诱惑在于把采纳指标当作临床效果的证明来推销。诚实的做法是及早把产品放入正确的 NICE ESF 分层,坦诚地向买家说明证据缺口,并用一个清晰的逻辑模型与一次廉价的实用性评估(一次影子模式试点、针对单一场地的间断时间序列)来生成第一批真实世界证据。决策记录几乎不花什么成本,对一个小团队而言却价值不成比例地高,它能在快速转型中保存推理过程,并为注重尽职调查的投资者与 NHS 评估者提供审计轨迹。真正有回报的纪律,是抵制创始人式的 HiPPO 直觉,把每一次"演示效果很好"都当作一个待检验的假设。

小型企业#

一家成熟的小型服务提供者——一家全科诊所、一家社区药房、一家养老院、一家单一场所的诊所,或是一家已过初创阶段的小型健康科技供应商——承担着与他人同等的、让证据与风险相匹配的责任,却有真实的患者、紧张的现金,几乎没有专门的数字能力来完成这项工作。现实的做法是依靠他人已经产出的证据,而不是自己生成:把一项候选工具的 NICE ESF 分层与 DTAC 评估当作现成的相称性依据,向供应商索要与该分层相符的临床有效性证据,并拒绝被一场流畅的演示说服去使用一款未经评估的产品。交付证据是小型机构真正能够领先的地方,因为它能近距离观察自己的患者——花几周时间诚实地观察员工是否真的在使用一项工具、它是否减少了失败需求,就是触手可及的真实世界证据。一份一句话的决策记录——我们选择了什么、我们看到了什么证据、谁决定的——对一个小团队而言几乎不花成本,却能在一位合伙人离开或 CQC 检查员发问时保护自己。要避免的陷阱是,以为规模小就能豁免证据门槛;对患者的责任是相同的,不同的只是资源。

大型企业#

一家 NHS 信托机构或 ICS 拥有开展严肃评估所需的常规数据、患者体量与分析能力——以及要求这样做的问责制,因为在规模上部署一项未经验证的工具,同时是临床安全风险与公共资金风险。这里的失败模式是机构性的:一位受尊敬的董事为一场供应商演示站台,或是一份商业论证建立在预计效益之上、却从未有人事后核实。纠正之道是让向任何决策者提问"证据是什么?"在文化上变得安全,在每一份董事会文件中都把临床证据与交付证据放在不同的坐标轴上,并为 AI 与长期存在的服务投入持续的真实世界监测资金,而不是只验证一次。一家大型制药或健康科技企业拥有正规的试验机制,但必须警惕其所产生的真实世界证据中的发表偏倚与混杂因素。

政府机构#

一个国家机构——NICE、NHS England、DHSC、MHRA、UKHSA——往往设定了其他人必须达到的证据门槛,因此它的工作方式塑造了整个市场:ESF、DTAC 与作为医疗器械的软件监管,都是人群规模问责制的工具。这里的决策会吸引监管、议会与公众的审视,因此一项技术为何被推荐或采购的记录,与决策本身同样重要,对证据局限性保持透明是一项职责,而不是一种礼貌。这个规模上的风险,是在薄弱证据的基础上在整个系统范围内强制推行一项技术,或者反过来,为一项低风险变更要求 RCT,从而阻碍有用的创新。纠正之道是在已发布的标准中把相称性明确化,并关注数据伦理与公平性,因为一个在全国范围内被认可的有偏数据集,会在规模上固化不公平。

常见失败模式#

• 由演示驱动的决策。 因为一场演示打动了高级领导而采购。解药:把推荐当作假设;要求与分层相符的证据。
• 把使用率误认为验证。 引用采纳数字作为一项工具临床有效的证明。解药:把临床证据与交付证据放在不同的坐标轴上。
• 一次验证、从此了事。 只验证一次、从不监测,尤其是对会漂移的 AI 而言。解药:真实世界证据与持续监测。
• 分析瘫痪。 为一项低风险的内容变更要求 RCT。解药:采用相称的方法;在风险较低时使用 A/B 测试与实用性评估。
• 未被记录的决策。 没有任何为何做出某个选择的痕迹,导致它被反复争论且无法审计。解药:一份轻量级决策日志。
• 把伦理当作文书工作。 把数据伦理当作一份要签署的表格,而不是一项设计约束。解药:把合法性、同意与公平性融入证据设计之中。

成熟度模型#

检查清单#

• 每项技术都被放入一个 NICE ESF 风险分层,并被要求提供与之相符的证据。
• 每一项重大决策都同时具备临床证据与交付证据,且二者分明。
• 在建设之前存在一份逻辑模型,指明了成果与指标。
• 评估设计与风险相称(低风险采用 A/B 与实用性方法;高风险采用试验/RWE)。
• 为 AI 与长期存在的服务配备了真实世界证据与监测机制。
• 向任何决策者提问"证据是什么?"在文化上是安全的。
• 每一项重大决策都被记入决策日志(内容、原因、证据、谁、何时)。
• 数据使用合法、已获同意、相称,并经过偏差与公平性检查。

关键来源#

• NICE ——数字健康技术证据标准框架(ESF)(nice.org.uk)。
• NHS England / NHSX ——数字技术评估标准(DTAC)。
• MHRA ——关于作为医疗器械的软件与 AI 的指导。
• 牛津循证医学中心 ——证据等级(证据层级)。
• 英国财政部 ——《洋红皮书》(关于评估、逻辑模型与评估设计的指导)。
• MRC ——《开发与评估复杂干预措施》框架。
• Ron Kohavi 等 ——《可信的在线受控实验》(A/B 测试)。
• Michael Nygard ——《架构决策记录》(决策日志模式)。

参考文献#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/