主题 10.1 — 关键绩效指标（KPI）

一项关键绩效指标（KPI）是一个小的、精心选择的数字，告诉你一项服务是否安全、公平、有效且值得信赖——在卫生与照护中，妥善选择和解读那些数字本身就是一个临床安全和公共问责问题，而不是行政管理事务。

为什么这在卫生与照护中至关重要#

在卫生与照护中，你所关注的数字塑造着人们所获得的照护。一项计数"已预约患者"而不是"已就诊患者"的候诊名单 KPI，可能隐藏了一个在家中悄悄恶化的群体。一份在正常运行时间上是绿色、却对残疾用户能否完成一次预约保持沉默的数字服务仪表板，会让一个准入问题演变成一种健康不平等。你所衡量的东西，标志着你所重视的东西，员工、供应商和算法都会朝着被衡量的目标进行优化——有时以牺牲那个未被衡量、却真正重要的东西为代价。

这里的利害关系比大多数行业更高，因为失败模式是人为的。Mid Staffordshire 和其他调查反复发现，一些机构达成了其头条财务和活动目标，而照护质量却在其下崩溃。指标被报告为绿色，而患者受到伤害——这种模式现在被广泛称为"西瓜式报告"（外表绿色，内里红色），主题 10.4——为 CEO 和高级领导者提供可见性深入探讨了这一点。良好的 KPI 是你抵御报告图景与真实图景之间那种缺口的防御之一。

KPI 还花费着公共资金和公众信任。你发布的每一项指标都成为公民、监管机构和委托方评判这个系统方式的一部分。过度宣称、挑挑拣拣，或操纵一项目标，不仅仅是糟糕的管理；它侵蚀了数字卫生所依赖的、让人们分享数据、采纳新服务的信任。本主题是主题 10.0——目标和关键成果（OKR）的衡量伙伴：OKR 驱动专注的变革，KPI 监测你所运营的服务和系统的持续健康状况。

核心概念#

一个绩效指标（Performance indicator），或 KPI，是一项因反映着对一个重要目标的进展而被选中的指标。一项绩效指标是任何对活动或状态的衡量；一项 KPI 是你有意识提升为"关注这个"的子集。关键这个词是承重的——如果一切都是 KPI，那么没有一个是。一个有用的纪律是每项服务只持有一小撮 KPI，每一个都有一位具名的负责人、一个定义、一个数据来源，以及一个它在董事会上赢得一席之地的理由。

一个好的 KPI 有四种属性。它对齐于一个真正对患者、公民，或临床医生重要的成果，而不仅仅是内部活动。它是可据以行动的——当它变动时，有人能够针对它做些什么。它是及时的——它足够快地到达，能够据以行动，而不是在季度结束六周之后。它是难以操纵的——它无法在纸面上改善、却不改善真实的东西。未能通过最后一项测试的指标招来古德哈特定律（Goodhart's law）："当一项衡量变成一个目标时，它就不再是一项好的衡量。"

指标通常被分为先导和滞后两种。一项滞后指标在事后确认一项成果（30 天死亡率、年度患者满意度）。一项先导指标更早移动，预测滞后指标（用药核对完整性、部署频率、24 小时内被分诊的转诊比例）。你两者都需要：滞后指标告诉你是否在获胜，先导指标及时告诉你以改变结果。许多经济和运营框架描述了这种先导/滞后区分。

一个平行且同等重要的区分是流程、产出和成果衡量。一项流程衡量计数你是否做了这件事（提供的预约、迁移的记录）。一项产出衡量计数产出了什么（发送的信件、有结果的检查）。一项成果衡量捕捉对这个人而言真正改变了什么——一项成果衡量（Outcome measure），例如症状改善、避免的入院，或一份患者报告的生活质量分数。卫生与照护系统对活动有一种长期偏见，因为活动容易计数，常常是资金流动的方式。要抵制它：偏重成果和体验，把流程衡量当作解释它们的先导指标来使用。

因为没有任何单一数字本身是安全的，要使用平衡衡量。卡普兰和诺顿的平衡计分卡（Balanced scorecard）纪律，将每一项绩效衡量与其他衡量配对，从而使以牺牲另一个为代价改善一个变得可见。Institute for Healthcare Improvement 把这正式化为成果、流程和平衡衡量——平衡衡量关注你的改进可能在别处造成的伤害（例如更快的出院与再入院相平衡）。

不是每一个上升的数字都是进展。一项虚荣指标看起来令人印象深刻，可靠地上升，却不为一项决策提供信息——总注册用户数、累积登录数、页面浏览量。精益创业（Lean startup）运动推广了虚荣指标与可据以行动指标之间的对比：一项可据以行动的指标把你做出的一项变化与你能够据以行动的一项行为或成果变化联系起来。累积计数是经典的破绽——它们只会上升，因此永远无法发出出问题的信号。

最后，区分为改进而衡量与为评判而衡量。评判问的是"这个月你达到目标了吗？"把一个活的过程简化为一次两点式、红或绿的与上一期的比较——这种比较几乎总是统计学上没有意义的，因为它无法区分信号和噪音。改进问的是"这个过程正在改变吗，我们能相信这种变化吗？"用统计过程控制（Statistical process control）（SPC）来回答它：随时间在一张运行图或带有控制限的控制图（Control chart）上绘制一项指标，从而使你能够看到变异是普通的（共同原因）噪音，还是一个值得据以行动的真正信号（特殊原因）。NHS England 的《Making Data Count》项目已经使这成为在整个 NHS 中呈现运营数据的推荐方式，正是为了扼杀那种驱动糟糕决策的"比上个月高、低于目标"的反射。

最佳实践#

1. 从成果出发，然后回溯到指标。 指明对一位患者、公民，或临床医生而言必须为真的东西——更少可避免的入院、更快的准入、安全的用药——只有那时才问什么会告诉你它正在发生。这使你远离衡量你的系统碰巧记录的东西这一默认陷阱。如果你无法把一个候选 KPI 与任何人所关心的一项成果联系起来，它可能是一项虚荣指标。

2. 保持这套指标简短，给每项 KPI 一位负责人和一个定义。 一个董事会或一项服务应该关注一小撮 KPI，而不是五十个。每一个都需要一个精确的定义（什么算数，什么被排除，涵盖什么时期）、一位具名的问责负责人，以及一个有文档记录的数据来源。含糊的定义正是两个团队为一个他们测量方式不同的数字争论一个月的原因。

3. 平衡每一项 KPI，使其无法被孤立地操纵。 对每一项衡量都问"一个理性的人会如何在不改善真实事物的情况下改善这个数字，什么平衡衡量会抓住他们？"把准入与安全配对，把吞吐量与再入院配对，把成本与体验配对，把交付速度与变更失败率配对。平衡的指标集使操纵变得可见，尊重了卫生与照护成果是多维度的这一现实。

4. 偏重成果和体验衡量、而不是活动。 活动计数是诱人的，因为它们丰富，常常与资金挂钩，但它们回答的是"我们有多忙？"而不是"它有帮助吗？"。在可能的地方，把成果衡量和患者报告的体验及成果衡量（PREM 和 PROM）提升进 KPI 集合中，把原始活动降级到支持层。在一项成果缓慢或难以衡量的地方，选择一项经过验证、可靠预测它的先导流程衡量。

5. 把 KPI 呈现为带有 SPC 的时间序列，而不是两点式比较。 采用《Making Data Count》方法：以运行图或控制图风格绘制这项指标，从而使共同原因变异和特殊原因信号能够一目了然地被区分。这阻止了团队对噪音做出反应、庆祝一个幸运的月份，或因一个不幸运的月份而受到惩罚。它还把董事会的对话从"我们为什么没达标？"改变为"这个过程真的改变了吗？"——这正是改进的问题（参见主题 10.2——质量改进与改进科学）。

6. 按人群细分 KPI 以揭示不平等。 一个汇总数字隐藏了分布。一个"好"的平均等待时间可能掩盖了来自最贫困社区的患者，或需要口译的患者，要等待更长得多的时间。依照健康公平（Health equity）责任和诸如 NHS Core20PLUS5 这样的框架，按剥夺程度、族裔、年龄、残疾和数字准入分解每一项与公平相关的 KPI。在数字服务中，也要细分采纳率和完成率——一个头条使用率数字可能掩盖了你的服务恰恰排除了最需要它的那些人（参见主题 4.5——数据、分析和人群健康管理）。

7. 把数据质量当作一项前提条件，衡量它。 一项 KPI 的可信度取决于其下方的数据。使用诸如 NHS Data Quality Maturity Index 这样的工具，跟踪你的 KPI 所依赖字段的数据质量（Data quality）——完整性、有效性、及时性、覆盖率——把数据质量注意事项与数字一起展示。如果 30% 的记录缺少这个字段，就在仪表板上说明；一个建立在糟糕数据之上、看起来自信的 KPI，比没有 KPI 更糟糕。

8. 对数字服务本身使用交付指标，以同等的严谨程度选择它们。 对于你所构建和运行的软件，DevOps Research and Assessment（DORA）的四个关键指标——部署频率、变更前置时间、变更失败率，以及恢复服务的时间——提供了速度和稳定性的平衡视图。它们作为一套指标抵制操纵：你无法通过破坏东西来更快地发布，因为变更失败率和恢复时间会捕捉到它。用临床上重要的可靠性和安全 KPI 来补充它们，例如事件率和安全攸关功能的可用性（参见主题 3.6 和主题 3.8）。

9. 分层你的报告，使每个受众获得正确的高度。 一线团队需要精细的、实时的流程衡量；一个服务董事会需要一小撮平衡的、带有 SPC 的衡量；系统领导层需要几个精心策划的成果和公平性衡量。有意识地设计这些层级，使顶层视图是下面层级的诚实汇总，而不是一个精心挑选的讨喜子集。这是你抵御西瓜式报告的结构性防御（主题 10.4）。

10. 按计划审查和退役 KPI。 指标会衰退：一项曾经驱动真正改进的衡量，一旦它所针对的行为被嵌入，就可能变成一种被操纵的仪式，新的风险出现，却没有任何东西在关注它们。将 KPI 纳入定期审查，对每一项都问"这仍然在告诉我们一些我们据以行动的东西吗？"，退役死木头。一套过时的 KPI 集合不是中立的——它积极地误导着注意力。

与团队讨论的问题#

1. 对我们的每一项头条 KPI 而言，某人会如何在不改善现实的情况下改善这个数字——我们会注意到吗？ 这是古德哈特定律的压力测试，最好作为一次有意刻意对抗性的练习来进行。拿每一项 KPI，让团队扮演一个被拉伸的服务试图达标的角色：在午夜之前出院以重置时钟、重新分级一位候诊患者、关闭并重新打开一张工单以重置解决时间、批量注册从不返回的用户。重点不是对同事的愤世嫉俗，而是认识到压力加上一个单一数字目标会产生可预测的扭曲，尤其是当薪酬、声誉，或合同罚则都取决于这个数字时。一个好的答案会为每一项 KPI 指明具体的操纵路径，识别出会揭露它的平衡衡量或数据检查——并诚实地标记出你目前没有这种保护措施的任何 KPI。如果一项指标无法以这种方式被辩护，这场讨论应该以决定配对它、重新定义它，或删除它而结束。

2. 我们的哪些数字是为改进而报告的，哪些是为评判而报告的——我们是否以匹配的方式呈现每一个？ 团队常规地拿一项为帮助服务学习而构建的指标，原封不动地交给一个用它来让某人负责的委员会，或反过来。这里的张力是真实的：领导者需要保证，改进需要安全感才能诚实地看到问题，同一张图表并不总能在没有扭曲的情况下同时服务两者。梳理你实际的董事会和运营资料包，标注每项指标的真实目的，然后问呈现方式是否合适——你是否在一份 SPC 图表能够防止对噪音做出条件反射反应的地方展示一次两点式红/绿比较？一个好的、诚实的答案会承认评判文化在哪里悄悄渗入了改进论坛（让员工隐藏问题），以及模糊的改进叙事在哪里被用来逃避合理的问责。目标是每项指标都有一个有意识的选择，SPC 作为默认呈现方式，而不是一种意外的混乱。

3. 我们的 KPI 揭示还是掩盖了不平等，谁的体验完全从它们中缺失？ 汇总的 KPI 之所以舒适，正是因为它们平均掉了处于边缘的人，在卫生与照护中，那些边缘正是可避免伤害集中的地方。讨论你的哪些指标按剥夺程度、族裔、残疾、年龄和数字准入被分类——哪些仍然只作为一个单一的、系统范围的数字被报告，而这个数字在一个子群体被辜负的同时可能看起来很健康。进一步推到那些根本没有进入你数据的人：那些无法通过登录、放弃了数字表格、从未被转诊、拒绝分享你所分类的人口统计字段的患者。一个有力的答案会识别出至少一项 KPI，分类改变或会改变这个故事，诚实地承认分类的数据质量和知情同意局限，并承诺一个具体步骤——即使是一个代理指标或一次小型定性研究——去看清目前不可见的东西。任何更少的东西都冒着一个仪表板技术上准确、道德上盲目的风险。

4. 我们实际上在关注多少项 KPI，退役哪些我们不会有任何损失？ 关键这个词只有在集合很小的时候才有意义，然而指标积累的速度比任何人移除它们的速度都快——这里一个国家申报，那里一项合同指标，一个前任总监曾经要求过、自那以后没有人敢删除的数字。这里的张力是，每一项 KPI 孤立地看都感觉是站得住脚的，因此这套集合会增长，直到董事会资料包变成没有人读的一百页，真正重要的信号被出于习惯而产出的僵尸指标所掩埋。梳理你实际的报告，诚实地清点这些指标，然后对每一项都问，去年是否有人依据它采取过行动，它为哪个决定提供了信息；两项测试都无法通过的指标就是死木头，仍在消耗分析师的时间，稀释着注意力。一个好的答案会指明每项服务你将保留的一个具体数字，识别出至少一项要彻底退役的 KPI，建立一个有计划的审查，从而使这套集合保持精心策划、而不是悄悄重新膨胀。要警惕那种"退役一项指标就是承认失败"的反射——一次有纪律的减法是成熟的标志，而不是忽视。

5. 我们真正有多信任每一项头条 KPI 背后的数据，仪表板是否说明了这一点？ 一个建立在 30% 不完整字段之上、看起来自信的数字，比没有数字更危险，因为它以一个干净数字的权威邀请数据无法支撑的决策。在卫生与照护中，这是尖锐的：公平性分类所需要的人口统计字段常常稀疏，编码实践因场地而异，把一个纸质流程数字化的这个行为本身，可能会改变记录了什么、何时记录。对每一项 KPI 都讨论，你是否知道它的完整性、有效性、及时性和覆盖率，以及那些注意事项是否随着数字一起进入董事会资料包，还是在它向上移动时被悄悄剥离。一个有力的答案会指出一个具体的工具——一次数据质量检查、DQMI、一个低于此则标记一项指标的完整性阈值——展示至少一个数据质量注意事项与 KPI 一起展示的地方，而不是被隐藏。诚实的版本承认目前你在哪里报告一个你无法完全支持的数字，把修复数据当作 KPI 的一部分，而不是一个单独的待办事项。

6. 我们报告的层级是否诚实地汇总，红色在通往董事会的路上会在哪里变成绿色？ 不同的受众合理地需要不同的高度——一线团队想要精细的实时流程衡量，一个董事会想要一小撮平衡的、带 SPC 的衡量，一个系统想要几个精心策划的成果——但每一次汇总都是一次机会，让底层图景被平滑、平均，或被精心挑选成比真相更舒适的东西。这是西瓜式报告的结构性根源：一线和董事会之间的层级越多，一个分布就有越多地方能被拉平成一个令人安心的均值，或一个陷入困境的场地能与一个强健的场地相抵消。追踪一项 KPI 从其一线来源一路到顶层视图，问高管数字是一次忠实的汇总，还是一个讨喜的子集，谁——如果有的话——审计那次汇总。一个好的答案会展示报告层级是有意设计的，有商定的定义和负责人，识别出至少一个汇总可能掩盖问题的点，指明保持顶层视图真实的平衡衡量或深挖机制。这里的诚实意味着承认目前汇总是被信任接受的、而不是被检查的（参见主题 10.4）。

实践中：一个卫生与照护案例#

一个整合照护系统（ICS）推出了一项数字转诊服务，让全科医生能够直接转诊到社区肌肉骨骼（MSK）物理治疗，取代一个纸质和传真流程。项目群委员会的本能是报告两项 KPI：收到的数字转诊数量，以及系统正常运行时间。三个月内两者都强劲地呈绿色——数千次转诊，99.9% 的正常运行时间——董事会准备宣布成功。

临床总监感到不安，要求分析团队（依据主题 4.5 的模式工作）围绕成果重建 KPI 集合。他们确定了一小撮平衡的指标：从转诊到首次联系的时间（准入，以一张 SPC 图表展示）、被退回或因不完整而被拒绝的转诊比例（一个先导质量信号）、出院时一份患者报告的成果分数（成果）、一项简短的体验衡量（你感觉参与了决策吗？），以及该服务发布的变更失败率（交付稳定性）。每一项准入和成果衡量都按剥夺十分位数、以及患者是否需要数字支持进行分类。

重建后的视图讲述了一个截然不同的故事。正常运行时间确实没问题，但转诊人退回率是 22%——五分之一的转诊被弹回，因为这份数字表格使一份自由文本病史成为强制性的，因此全科医生通过输入"见附件"来操纵它，分诊团队则拒绝这些转诊。SPC 图表显示准入时间是稳定的，但明显高于目标，没有改善趋势。分类揭示，两个最贫困十分位数的患者，完成该服务一直在悄悄推动人们走向的自我转诊路径的可能性只有一半，扩大了该项目群曾假设正在缩小的一个差距。这些在原本的两个绿色数字中都不可见。董事会重新设计了表格，增加了一条辅助转诊路径，把这套平衡的、分类的、基于 SPC 的 KPI 集合保留为其常设视图——原始转诊计数被降级为一项支持性指标，回归它所属的位置。

行业视角#

初创企业#

一家数字健康初创企业的生死取决于少数几项可据以行动的指标，因此纪律是无情的专注和诚实。创始人被诱惑向投资人展示虚荣指标——累积下载量、总注册用户——因为它们只会上升；要抵制，用激活、留存，以及在你能衡量它的地方，用临床成果或一个经过验证的代理指标作为引领。在数字很小的情况下，SPC 和分类更难，但更重要：一小撮糟糕的体验可能是你全部的安全信号。从第一天起就为产品建立仪表，从而使每项 KPI 都把你交付的一次变化与真实行为的一次变化联系起来，坦率地向临床和监管伙伴说明数据质量局限，而不是粉饰一个薄弱的数据集。

小型企业#

一家成熟的小型服务提供者——一家全科诊所、一家社区药房、一家养老院、一家居家照护机构、一家单点诊所，或一家已过无收入阶段的小型健康科技供应商——承担着与一家大型信托机构相同的衡量和公平性责任，却没有专职分析师，几乎没有空闲时间。陷阱是淹没在国家申报、CQC 和委托方已经要求的 KPI 中，却不衡量任何能帮助你运营这个地方的东西；解药是选择一小撮你真正能据以行动的成果和体验衡量，依靠你现有的临床或诊所管理系统已经捕捉到的东西，而不是构建新的仪表。即使手动或在一份电子表格中，SPC 也仍然值得——一张简单的、比如说每周预约等待时间的运行图，会阻止你追逐单一糟糕一周的噪音。在这种规模上，分类同样重要，但在数字很小的情况下，几位个别患者可能就会使一个百分比摇摆，因此把分解读作一个仔细观察的提示，而不是一个裁决。对委托方要诚实说明一个精简运营的数据质量局限，抵制采用一家大型机构五十项指标的仪表板的诱惑，五个精心选择的数字会更好地服务于你的患者。

大型机构#

一家大型 NHS 信托机构或健康科技供应商，已经淹没在指标中——国家申报、合同 KPI、董事会指标、运营仪表板——因此挑战是策划和连贯性，而不是收集。在整个董事会和运营报告中采用 SPC（正如《Making Data Count》所意图的），阻止月度噪音追逐，构建明确的报告层级，从而使高管视图是一线视图的诚实汇总。西瓜式报告是企业规模的风险：病房和董事会之间的层级越多，红色在通往顶层的路上就越容易变成绿色，因此要投资于保持顶层视图真实的平衡衡量和数据质量注意事项。有意识地退役遗留 KPI；大型机构积累的僵尸指标没有人据以行动，却每个人仍在产出它们。

政府#

一个国家或地方公共机构设定的 KPI 会在整个系统中泛起涟漪，变成政治目标，这使得古德哈特定律成为一种系统性危害，而不是一种地方性危害——一个国家等待时间目标会在一夜之间重塑各地的临床优先事项。要知道已发布的指标会被朝着它们优化来设计，将它们与平衡衡量和公平性分类配对，透明地说明定义和数据质量，因为公众信任取决于它。诸如 NHS Outcomes Framework 和 Core20PLUS5 这样的框架的存在，正是为了使国家关注点保持在成果和不平等上，而不是原始活动上。政府还承担着其他人所没有的一项责任：衡量其服务所排斥的人，而不仅仅是它服务的人，因为被排斥的人很少出现在行政数据中。

常见失败模式#

• 计数活动、并称之为成功。 收到的转诊、登录、提供的预约——忙碌不等同于有效。提升成果和体验；把活动降级到支持层。
• 没有平衡衡量的单一数字。 任何在压力下的孤立 KPI 都会被操纵。始终配对衡量指标，从而使以牺牲另一个为代价改善一个变得可见。
• 两点式、红/绿报告。 "比上个月低，低于目标"几乎不能告诉你这个过程是否改变了。改用 SPC 运行图和控制图。
• 西瓜式仪表板。 把底层红色变成表面绿色的汇总。构建诚实的报告层级，审计汇总（主题 10.4）。
• 虚荣指标。 累积的、不断上升的、无法发出问题信号的计数。偏好与一项决策挂钩的可据以行动的指标。
• 未分类的公平性盲区。 隐藏了被辜负的人的平均值。按人群分类，寻找完全缺失的人。
• 建立在未经检查数据之上的 KPI。 一个建立在糟糕数据之上、自信的数字会误导。衡量和披露 KPI 旁边的数据质量。
• 僵尸 KPI。 仍出于习惯而产出、没有人据以行动的指标。按计划审查和退役。

成熟度模型#

检查清单#

• 每项 KPI 都能追溯到一项对患者、公民，或临床医生重要的成果。
• 每项服务的 KPI 集合很小，每一个都有一位负责人、一个书面定义，和一个具名的数据来源。
• 每项 KPI 至少有一项平衡衡量，从而使它无法被孤立地操纵。
• 成果和体验衡量被优先考虑；原始活动位于支持层。
• 运营 KPI 被呈现为 SPC 运行/控制图，而不是两点式红/绿比较。
• 与公平性相关的 KPI 按剥夺程度、族裔、残疾、年龄和数字准入被分类。
• 每项 KPI 背后字段的数据质量被跟踪，在仪表板上被标注注意事项。
• 数字服务的交付用一套平衡的衡量指标来衡量（例如 DORA 四个关键指标加上安全性/可靠性）。
• 报告层级被设计成使顶层视图是一线视图的诚实汇总。
• KPI 按计划被审查，死掉或被操纵的指标被退役。
• 你对每一项 KPI 都问过"谁完全从这个数字中缺失？"。

关键资料来源#

• NHS England ——《Making Data Count》（用于 NHS 运营数据的统计过程控制）
• Institute for Healthcare Improvement —— Science of Improvement：成果、流程和平衡衡量
• NHS England —— NHS Outcomes Framework；用于减少医疗保健不平等的 Core20PLUS5 方法
• NHS England —— Data Quality Maturity Index（DQMI）
• Robert S. Kaplan & David P. Norton ——《平衡计分卡：转化战略为行动（The Balanced Scorecard: Translating Strategy into Action）》
• Nicole Forsgren, Jez Humble & Gene Kim ——《加速（Accelerate）》（DORA 指标）；Google Cloud DORA《DevOps 状态（State of DevOps）》报告
• Jerry Z. Muller ——《指标的暴政（The Tyranny of Metrics）》
• Donald J. Wheeler ——《理解变异：管理混乱的关键（Understanding Variation: The Key to Managing Chaos）》
• GOV.UK Service Manual ——衡量成功/衡量你服务的绩效
• The Health Foundation ——关于为改进而衡量的指导

参考文献#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php