主题 8.6 — 研究与真实世界评价

在卫生与照护中，一项数字化创新的可信度，取决于它在实践中真正有效的证据——因此你必须从一开始就设计好这份证据，其严谨程度与风险和你所提出的声明相称。

为什么这在卫生与照护中至关重要#

你部署的每一个数字产品都做出了一个隐含的承诺：这会帮助患者、员工或系统，而不会造成伤害。在大多数行业，一个未经证实的承诺会花掉一位客户或一个季度的收入。在卫生与照护中，它可能花掉生命、扩大不平等，或侵蚀整个系统所依赖的公众信任。热情和一次好的演示不是证据，一个看似合理的机制也不是收益的证明。

数字卫生的历史充满了看起来令人信服、在任何人证明它们有效之前就已经被规模化采纳的工具——其中一些悄悄造成了伤害、错过的诊断，或把临床医生逼向变通做法。监管机构、委托方和临床医生已经通过提高门槛来做出回应：他们现在在部署之前、期间和之后都期望可信的、相称的证据。如果你无法证明你的服务交付了你所声称的成果，你应该预期它会被质疑、被撤资，或被撤回——而且理应如此。

证据也是一个公平性和安全问题，而不是一道官僚障碍。一个改善平均成果的工具，仍然可能伤害一个子群体——数字排斥的人、英语有限的人，或在你训练数据中代表性不足的人群。只有有意识的评价才能揭示这一点。产出好的证据，因此是你照护责任、你对公共资金的管理，以及你在所服务人群中的可信度的一部分（参见主题 1.3——基于证据的决策，以及主题 1.6——临床安全与风险管理）。

核心概念#

从一个支配其他一切的区分开始：研究、服务评价和临床审计（Clinical audit）之间的区别。研究旨在产生新的、可推广的知识——旨在超越你本地环境而为真的发现。服务评价问的是这项服务在这里运作得有多好，使用服务本身采用的标准。临床审计将当前实践与一个既有的、商定的标准进行比较，并通过变革来闭合这个循环。这种区分不是学术上的咬文嚼字：它决定了你的治理路径。涉及 National Health Service（NHS）患者、员工或数据的研究，几乎总是需要正式的伦理批准；大多数服务评价和审计则不需要。为了规避批准，把研究错误分类为评价，是一项严重的治理失败。

在英格兰，研究治理通过卫生研究局（Health Research Authority）（HRA）进行，它是 Department of Health and Social Care 的一个独立法定机构。HRA 保护并促进参与者的利益，协调批准，使一项研究在全国范围内只被审查一次。伦理审查由一个研究伦理委员会（Research Ethics Committee，REC）进行——英国对机构审查委员会（Institutional review board）的等价物——它判断一项研究对参与者而言是否符合伦理、相称，且安全。申请通过整合研究申请系统（Integrated Research Application System，IRAS）提交，这是一个单一的在线门户，将你的项目引导到它所需要的 REC、HRA 批准，以及其他许可。HRA 的在线决策工具帮助你确定你的项目是否算作研究。

如今，许多数字卫生证据是从真实世界数据（Real world data）（RWD）——在受控试验之外收集的信息，例如电子病历、设备日志、登记册和索赔数据——中构建的，经分析产出关于一项干预措施在普通条件下表现如何的真实世界证据（Real world evidence）（RWE）。RWE 是强大的，因为数字工具作为副产品产生了丰富的使用数据，也因为它反映了试验常常排除的混乱现实。它也是脆弱的：观察性数据充满了混杂因素和偏见，因此一次天真的前后比较可能会把一个季节性趋势或一个同时发生的变化，误认为是你的效应。

这正是为什么评价设计很重要。对于因果声明而言，最强的设计仍然是随机对照试验（Randomized controlled trial）（RCT），它通过随机分配参与者来减少偏见。数字环境常常偏好务实的变体——整群随机试验，以及阶梯式楔形试验（Stepped-wedge trial），其中各场地以随机的波次从对照组切换到干预组，适合你原本就打算进行的分阶段推广。在随机化不切实际的地方，准实验设计有帮助：间断时间序列（Interrupted time series）（ITS）分析在上线前后的多个点上跟踪一项成果，以检测水平和趋势的变化，常常是系统范围数字化变革在可行范围内的最佳设计。简单的前后比较是最薄弱、最具误导性的，因为它无法把你的效应与所有其他变化的东西分开。

另外两个锚点塑造着这项工作。英格兰数字卫生的证据门槛，由 National Institute for Health and Care Excellence（NICE）发布的面向数字健康技术的证据标准框架设定：它按潜在风险为工具分级，并为每个等级规定了期望的证据强度。一种需要警惕的持续扭曲是发表偏倚（Publication bias）——分享正面结果、埋没负面结果的倾向，这奉承了整个领域，让无效的工具得以传播。

最佳实践#

1. 在设计你的项目之前先对其进行分类。 使用 HRA 的决策工具来确定你的工作是研究、服务评价，还是审计，并记录这个推理过程。这一个步骤决定了你的治理路径、时间表和许可。如果朝着乐观的方向出错，你就冒着在患者身上进行未经批准的研究的风险；如果朝着谨慎的方向出错，你就用数月不必要的流程拖累了一次简单的评价。

2. 从一开始就把评价建进去，而不是作为附加项。 在发现阶段决定"有效"意味着什么，以及你将如何衡量它——在一行生产代码之前（参见主题 3.4——发现阶段）。在上线之前捕获一个基线，因为你之后永远无法重建它，并为产品建立仪表，使其发出你的设计所需要的成果和使用数据。在一项实时服务上事后补装评价，几乎总是以更高的成本产出更薄弱的证据，常常根本没有可用的基线。

3. 使严谨程度与风险和声明相匹配。 一个重新排序候诊名单的预约工具，所需要的证据权重比一个对胸痛进行分诊的算法要小。使用 NICE 证据标准框架来定位你工具的风险等级，做出你的证据能够承受的声明：如果你有一份显示未到诊率降低的间断时间序列，就这样说——不要暗示一项死亡率收益。相称性既保护患者免受证据不足的风险，也保护你不因为过度证明低风险工具而浪费精力。

4. 选择可行的最强设计，说明其局限。 在可能的情况下寻求随机化，当一次分阶段推广使同时期对照组不可能时，考虑一种阶梯式楔形设计。当随机化真正不可行时，偏好间断时间序列，而不是天真的前后比较，预先指定你的分析，以抵制钓取一个有利结果的诱惑。每种设计都有弱点；平实地陈述你的弱点，从而使读者能够诚实地权衡证据。

5. 有意识地使用真实世界数据，把混杂因素当作敌人对待。 数字服务产生丰富的 RWD，但丰富不等于有效。规划你将使用哪些数据、它的质量和完整性，以及它所携带的偏见，及早让一位分析师或方法学家参与，而不是事后挖掘日志。在可能的情况下预先注册你的成果和分析，从而使数据无法被折磨着告诉你你希望听到的东西。

6. 与以产出证据为生的人合作。 大学、National Institute for Health and Care Research（NIHR），以及你所在地区的健康创新网络——这些机构以前被称为学术健康科学网络（AHSN）——带来了你无法在内部制造出来的方法学严谨性、独立性、资金渠道和可信度。独立评价在委托方和临床医生面前，比供应商自己的分析重要得多。及早让他们参与，因为最好的设计是在部署之前、而不是之后确定的（参见主题 9.0——与合作伙伴组织协作）。

7. 衡量成果和经济效益，而不仅仅是活动。 登录、点击率和满意度分数是必要的，但不充分；委托方为成果和价值提供资金。在可能的地方，把你的评价与临床成果、安全信号、跨子群体的公平性，以及成本后果联系起来，与卫生经济学家合作，用决策者所使用的措辞来框定收益（参见主题 6.1——卫生经济学）。始终按人群分类结果，从而使一个平均有帮助、但伤害一个子群体的工具无法躲在均值背后。

8. 发布你的结果——包括令人失望的结果。 预先承诺通过一份报告、一份预印本，或一篇同行评审论文分享发现，无论正面还是负面。发布负面结果是一项专业义务：它使其他机构免于重复你的错误，对抗那种让无效工具泛滥的发表偏倚。一种能够说"我们评价了这个，它没有奏效，所以我们停止了"的文化，不是更不可信，而是更可信。

9. 闭合这个循环，依据你所学到的采取行动。 不改变任何决策的证据是浪费。把发现反馈到你的路线图、你的商业论证案，以及你的分阶段决策中——规模化有效的东西，修复半有效的东西，退役无效的东西（参见主题 8.0——创新的分阶段推进）。然后重新评价，因为一个在一个场景中以试点规模有效的数字工具，在国家规模上或在一个不同的人群中可能表现不同。

与团队讨论的问题#

1. 我们即将做的事情是研究、服务评价，还是审计——我们对这个答案有多大信心？ 这是第一个问题，因为答案设定了你整个的治理路径，弄错它有严重后果。谈论你的数据主体是谁，你是否在随机化任何东西，你是否打算产出可推广的知识，以及你是否计划发布——所有这些信号都把一个项目推向"研究"。抵制任何仅仅因为批准路线更快就将某件事标记为评价的压力；那种压力恰恰是治理失败开始的地方。在场一起使用 HRA 决策工具，写下你的推理和谁同意了它。一个好的答案不仅仅是一个标签，而是一个有文档记录的、站得住脚的判断，你的信息治理和临床安全同事已经看过。如果你真的不确定，诚实的做法是询问 HRA 或你的研发办公室，而不是朝着适合你时间表的方向猜测。

2. 什么会算作这个有效的令人信服的证据——对谁而言？ 不同的受众要求不同的证据：一位临床医生想要安全和成果数据，一位委托方想要成本和价值，一位监管者想要看到适当的 NICE 等级得到满足，一位患者想要知道对像他们这样的人而言，它是安全且公平的。辩论"有效"对你的工具而言究竟意味着什么，以及什么结果会让你停止——因为一个无法阐明停止条件的团队并不是真正在评价。考虑鉴于你的推广计划、你的数据和你的预算，哪种设计是可行的，诚实地面对严谨性与速度之间的取舍。讨论你是否需要独立评价才能被相信，如果需要，应该由谁来做。一个好的答案会指明决策者、会打动他们的成果、能够可信地产出这些成果的设计，以及你会得出这个工具已经失败的结论的那个阈值。

3. 我们将如何处理一个负面或令人失望的结果？ 在你得到结果之前问这个问题，因为提前给出的答案要诚实得多。探讨如果评价显示没有收益，或对大多数人有收益、却对一个被排除的子群体造成伤害，你会怎么做，以及谁需要听到它。揭示真实的压力：沉没成本、供应商关系、声誉担忧，以及让人们想要好消息的职业激励。讨论你事先对无论结果如何都要发布的承诺，以及在结果令人尴尬时什么样的治理会让你信守那个承诺。一个好的答案会把一次运行良好、产出负面结果的评价，当作流程的成功、而不是团队的失败，并有一个具体的计划来优雅地退役、坦率地沟通，并保护那些交付了诚实发现的人。

4. 在上线之前我们必须捕获和建立仪表的是什么——我们真的把它建进去了吗？ 一次评价的好坏，取决于它能够依据的基线和数据，而两者在启动之前，都比之后便宜得多来确保。梳理你需要什么样的"之前"状态——入院率、等待时间、错误率、当前路径成本——并确认它现在正在被记录，按你所关心的子群体分类，因为你永远无法重建一个你未能捕获的基线。检查产品本身是否会发出你所选设计所需要的成果和使用数据，还是那份仪表还是一个待办事项的愿望。辩论时机的张力：交付的压力常常会为了赶上一个日期而剥离衡量，每一次这样的削减都会悄悄削弱你之后会被要求产出的证据。在设计还很灵活的时候就让一位分析师或方法学家参与，而不是等到日志已经在流动的时候。一个好的答案是一份具体的清单，说明捕获了什么、从何时起、以什么粒度，以及谁确认了它是实时的——而不是一个"推广之后再理清"的意图。

5. 我们打算依赖的数据有多好，什么可能混淆我们的结论？ 真实世界数据是丰富的，但很少是干净的，一张看似合理的图表可能隐藏季节性、一次同时发生的服务变化、均值回归，或一次与你的工具毫无关系的编码变动。审视你计划使用的每一个来源的来源、完整性和质量，指明每一个所携带的偏见——谁从电子记录中缺失、哪些字段不可靠、一个代码被应用的一致性如何。问在你上线的同一个窗口期内还有什么别的东西发生了变化，因为一个忽视这些事件的间断时间序列或前后比较，会把别人的效应归功于你的工具。提前决定哪种比较或设计能给你最公平的反事实，预先指定分析，使数据无法被悄悄重塑以讨好这个结果。一个好的答案会展示你诚实地绘制了数据的弱点，并选择了一种能够经受住一位怀疑者对每一个弱点进行拉扯的设计。

6. 谁应该运行这次评价，它需要多独立才能被相信？ 给自己的作业打分，是让可信的发现最快被驳回的方式，因此要及早决定，供应商的或内部的分析是否能说服你真正需要打动的受众。权衡聘请一个 NIHR 支持的学术团队、一所大学，或一个健康创新网络的成本和时间，与独立的、可发表证据的声誉和商业价值。讨论利益冲突存在于哪里——建造或购买这个工具的人，很少是判断它是否有效的合适人选——以及你将如何使评价免受产出好消息的压力。考虑合作伙伴除了独立性之外还带来了什么：方法学严谨性、资金渠道，以及你无法在内部制造出来的、在委托方和临床医生面前的地位。一个好的答案会使独立性的程度与利害关系和决策者的怀疑程度相匹配，并在设计确定之前、而不是在结果令人失望之后，确保那种伙伴关系。

实践中：一个卫生与照护案例#

一个整合照护系统（ICS）委托了一款面向慢性心力衰竭患者的远程监测应用程序，希望削减计划外入院。供应商的幻灯片显示在别处减少了 30%，有压力要在冬季之前在全部十二个自治市快速推广。

数字交付负责人暂停下来对这项工作进行分类。因为 ICS 想要可推广的发现，并打算发表，也因为它将为一个新目的分析可识别的患者数据，这是研究，而不是服务评价——因此需要一份 IRAS 申请和一次 REC 审查。负责人没有把这当作一个障碍，而是联系了区域健康创新网络和一所本地大学的 NIHR 支持研究团队，他们帮助设计了这项研究，共同撰写了申请。他们没有一次性全部启动，而是采用了一种阶梯式楔形设计：十二个自治市在九个月内以随机波次上线，因此每个自治市最终都获得了这款应用程序，而交错的启动提供了一个公平的比较。在第一波之前，捕获了一份按剥夺程度和族裔分类的入院率基线。

使用 NICE 证据标准框架，团队将这个工具归入一个带有临床风险的等级，并相应地设定证据期望，预先注册了入院率、作为安全信号的死亡率，以及每避免一次入院的成本作为成果。九个月后，中期分析令人警醒：整体入院有适度下降，但在使用这款应用程序最少的最贫困队列中，没有任何收益，晚期就诊出现了令人担忧的上升。团队没有掩埋这个结果。他们向 ICS 董事会报告了它，暂停了对那些队列的推广，重新设计了入门流程，为数字排斥患者添加了电话支持，同时发布了这个短板和这次重新设计。结果是一项真正有帮助的服务，以及一个信任这份证据的决策委员会，因为它已经看到这个团队在痛苦时说真话。

行业视角#

初创企业#

一家小型数字健康公司的生死取决于证据，但很少有资金或内部方法论能力独自产出它。你最快的可信路径是伙伴关系：一位 NIHR 资助的学术合作者，或一次健康创新网络真实世界评价，给你的是投资人和 NHS 买家真正相信的独立发现，比一份自行发布的白皮书要可信得多。对相称的声明要有纪律——为赢得一次试点而过度宣称，是让之后的评价失败、失去声誉的最快方式。从第一天起就把数据捕获建进你的产品架构中，因为在你的种子轮融资之后才补装它是昂贵的，产出的证据基础也更薄弱。

小型企业#

一家采用一个数字工具的成熟小型服务提供者——一家全科诊所、一家社区药房、一家养老院，或一家单点诊所——被期望评价它所部署的东西，却没有研发办公室、没有方法学家，几乎没有任何空闲人手。你现实的做法不是运行一次试验，而是运行一次有纪律的服务评价：在你启动之前捕获一个简单的基线，商定一小撮诚实的成果衡量指标，记录你患者身上实际发生了什么变化。大力依靠你不必自己构建的共享基础设施——你的健康创新网络、一所本地大学，或一个能够跨几个小场地汇集数据和专业知识的联盟或初级照护网络。要特别警惕在无法独立核实的情况下，照单全收地接受一个供应商的头条声明，明确即使在小规模下，分类责任仍然适用于你。相称的、有充分记录的本地证据，既是可实现的，也足以证明继续、调整，或放弃这个工具是合理的。

大型机构#

一家大型 NHS 信托机构或 ICS 有一个研发办公室、信息治理机制，以及现有的学术联系——这些是一家初创企业会羡慕的资产——但也有在评价之前就在信托机构范围内部署工具的惯性。你的挑战是使"先评价、后规模化"成为默认，并在早期证据薄弱时抵制一份已签署的企业合同的势头。把你的规模当作一项方法学优势：多个场地使阶梯式楔形和整群随机设计变得可行，而一家单一诊所无法管理。要警惕负面结果的内部政治，一笔大投资会产生强大的、无论如何都要宣布成功的激励。

政府#

一个国家机构——NHS England、Department of Health and Social Care，或一个权力下放的政府——设定其他人遵循的规则，因此它的证据标准塑造了整个市场。它的工作是管理这些框架（HRA 治理体系、NICE 证据标准框架、DTAC），并资助那些让每个人都能产出好证据的基础设施——NIHR、健康创新网络、可信研究环境。当政府在国家规模上采购时，证据上的利害关系是巨大的：一次证据不足的推广可能在数百万公民中固化伤害，在政治上几乎不可能逆转。因此它应该以它要求别人达到的最高门槛来要求自己，发布自己的评价，包括失败，以维持公众信任。

常见失败模式#

• 证据作为事后补充。 先部署，之后再问"它有效吗？"，没有捕获基线——使你无法做出任何可信的因果声明。
• 把研究错误分类为评价。 为了避免 HRA 和 REC 批准而选择"评价"标签，使患者暴露于未经批准的研究之下，使你的机构暴露于严重的治理违规之下。
• 天真的前后比较。 比较两个快照，把所有变化都归因于你的工具，忽视季节性、同时进行的举措，以及均值回归。
• 虚荣指标。 报告登录、下载和满意度，对临床成果、安全、公平性和成本保持沉默。
• 隐藏伤害的平均值。 呈现一个头条平均改善，却不按人群分类，隐藏了这个工具所辜负或伤害的一个子群体。
• 给自己的作业打分。 只依赖供应商产出的证据，没有独立评价，因此没有任何持怀疑态度的受众相信它。
• 掩埋坏消息。 只发布正面发现，助长发表偏倚，让无效工具在整个系统中传播。
• 过度宣称。 把一个适度、设计薄弱的结果拉伸成证据无法支撑的强临床声明。

成熟度模型#

检查清单#

• 使用 HRA 决策工具将项目分类为研究、服务评价或审计，并记录推理过程。
• 如果是研究，及早规划 IRAS 申请和研究伦理委员会审查。
• 在发现阶段定义"有效"意味着什么，以及能够证明它的成果。
• 在上线之前捕获一个基线——按相关子群体分类。
• 在 NICE 证据标准框架中定位这个工具的风险等级，并使严谨程度与之匹配。
• 选择可行的最强设计（RCT、阶梯式楔形，或间断时间序列），记录其局限。
• 规划你的真实世界数据来源、质量和偏见；预先指定分析。
• 在可信度或资金需要的地方，让一位独立伙伴参与（NIHR、大学、健康创新网络）。
• 纳入临床成果、安全信号、公平性和成本——而不仅仅是活动指标。
• 提前承诺发布结果，包括负面结果，并指明在何处发布。
• 在开始之前定义一个停止条件和一份优雅的退役计划。
• 把发现反馈到路线图、商业论证案和分阶段决策中。

关键资料来源#

• NICE ——面向数字健康技术的证据标准框架（ESF）。
• Health Research Authority ——"我的研究是研究吗？"决策工具、HRA 批准，以及研究伦理指导。
• 整合研究申请系统（IRAS）——英国卫生与社会照护研究申请的单一门户。
• National Institute for Health and Care Research（NIHR）——资金、评价支持，以及研究基础设施。
• 健康创新网络（前身为学术健康科学网络）——真实世界评价和采纳支持。
• Medicines and Healthcare products Regulatory Agency（MHRA）——真实世界数据指导，以及作为医疗器械的软件/AI。
• NHS England ——数字技术评估标准（DTAC）。
• MRC/NIHR ——开发和评价复杂干预措施（框架指导）。
• EQUATOR Network ——用于透明研究报告的报告指南（CONSORT、STROBE、TRIPOD）。

参考文献#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/