トピック10.1 — 重要業績評価指標（KPI）

一文で言うと： 重要業績評価指標（KPI）とは、サービスが安全で、公平で、効果的で、信頼されているかを教えてくれる、慎重に選ばれた少数の数字です。そして医療・ケアでは、それらの数字をうまく選び、うまく読むこと自体が、事務的な雑務ではなく、臨床安全と公的説明責任の問題です。

医療・ケアにおいてなぜ重要か#

医療・ケアでは、あなたが見守る数字が、人々が受けるケアを形づくります。「予約された患者」を数えても「診察された患者」を数えない待機リストのKPIは、自宅で静かに悪化しつつある集団を隠しえます。稼働時間では緑でも、障害のある利用者が予約を完了できるかについて沈黙しているデジタルサービスのダッシュボードは、アクセスの問題を、健康の不平等へと育ててしまいます。何を測るかは、何を大切にするかを示し、スタッフ、サプライヤー、アルゴリズムのすべてが、測定された目標に向けて最適化します。ときには、実際に重要だった測定されないものを犠牲にして。

賭け金は、ほとんどの部門より高く、失敗のパターンが人間的だからです。Mid Staffordshireなどの調査は、見出しの財務と活動の目標を達成しながら、その下でケアの質が崩壊していた組織を、繰り返し見出しました。患者が害を被る間も、指標は緑として上へ報告され、現在「ウォーターメロン・レポーティング」（外側は緑、内側は赤）と広く呼ばれるパターンは、トピック10.4 — CEOと上級リーダーへの可視性で深く検討します。良いKPIは、報告された姿と実際の姿のそのギャップに対する、あなたの防御の一つです。

KPIは、公的資金と公的信頼も使います。公表するあらゆる指標は、市民、規制当局、コミッショナーがシステムを判断する方法の一部になります。目標を過大に主張し、都合よく選び、ゲームすることは、単に拙い経営ではありません。それは、人々にデータを共有させ、新しいサービスを採用させるためにデジタルヘルスが依存する信頼を蝕みます。本トピックは、トピック10.0 — 目標と主要な成果（OKR）の測定面のパートナーです。OKRが焦点を絞った変化を駆動する一方、KPIは、あなたが運営するサービスとシステムの継続的な健全性を監視します。

中核概念#

業績指標、つまりKPIは、重要な目標に対する進捗を反映するために選ばれた指標です。業績メトリクスは、活動や状態の任意の測定であり、KPIは、「これを見よ」と意図的に引き上げた部分集合です。key（重要）という語は荷重を担っています。すべてがKPIなら、何もKPIではありません。有用な規律は、サービスごとに少数のKPIを持ち、それぞれに、名前のある所有者、定義、データの出所、そしてボードに載る理由を持たせることです。

良いKPIには四つの性質があります。内部の活動だけではなく、患者、市民、臨床家にとって本当に重要な成果に整合していること。行動可能であること。それが動いたとき、誰かが何かをできること。適時であること。四半期が閉じた6週間後ではなく、行動に移せるだけ早く届くこと。そしてゲームしにくいこと。実際のものを改善せずに、書類上だけで改善することができないこと。最後のテストに失敗する指標は、グッドハートの法則を招きます。「指標が目標になると、それは良い指標でなくなる。」

指標は、一般に先行と遅行に分けられます。遅行指標は、事後に成果を確認します（30日死亡率、年次の患者満足度）。先行指標は、より早く動き、遅行指標を予測します（服薬照合の完全性、デプロイ頻度、24時間以内にトリアージされた紹介の割合）。両方が必要です。遅行指標は、勝っているかを教え、先行指標は、結果を変えるのに間に合うよう教えます。多くの経済と運用のフレームワークが、この先行／遅行の区別を記述しています。

並行して、同様に重要な分類が、プロセス、アウトプット、アウトカムの指標です。プロセス指標は、それを行ったかを数えます（提供された予約、移行された記録）。アウトプット指標は、産出されたものを数えます（送られた手紙、結果が出た検査）。アウトカム指標は、人にとって実際に何が変わったかを捉えます。症状の改善、回避された入院、患者報告によるQOLスコアのような、アウトカム指標です。医療・ケアのシステムには、活動への慢性的な偏りがあります。活動は数えやすく、お金の流れの基準であることが多いからです。それに抵抗してください。成果と体験を優先し、プロセス指標を、それらを説明する先行指標として使ってください。

単一の数字はそれだけでは安全でないため、バランスの取れた測定を使ってください。KaplanとNortonのバランスト・スコアカードの規律は、各業績指標を他の指標と組み合わせ、一つを別のものを犠牲にして改善することを可視化します。Institute for Healthcare Improvementは、これを、アウトカム、プロセス、そしてバランシング指標として形式化しています。バランシング指標は、あなたの改善が他所で引き起こしうる害を監視します（たとえば、より速い退院を、再入院とバランスさせる）。

上がる数字のすべてが進歩ではありません。虚栄の指標は、印象的に見え、確実に上昇しますが、判断に情報を与えません。総登録ユーザー数、累積ログイン数、ページビュー。リーンスタートアップ運動は、虚栄と行動可能な指標の対比を広めました。行動可能な指標は、あなたが行った変化を、行動に移せる行動や成果の変化に結びつけます。累積のカウントは古典的な兆候です。上がるだけなので、何かが間違っているというシグナルには決してなりえません。

最後に、改善のための測定と判断のための測定を区別してください。判断は「今月、目標を達成したか」と問い、生きたプロセスを、前期に対する二点の、赤か緑かの比較に還元しますが、それは、シグナルと雑音を区別できないため、ほぼ常に統計的に無意味です。改善は「このプロセスは変化しているか、その変化を信頼できるか」と問い、統計的プロセス管理（SPC）で答えます。指標を、ランチャートや管理限界を持つ管理図に時系列でプロットし、変動が通常の（共通原因の）雑音なのか、行動する価値のある本物の（特殊原因の）シグナルなのかを見られるようにします。NHS EnglandのMaking Data Countプログラムは、悪い判断を駆動する「先月より上、目標より下」という反射をなくすため、まさにこれを、NHS全体の運用データを提示する推奨の方法としました。

ベストプラクティス#

1. 成果から始め、そこから指標へ遡る。 患者、市民、臨床家にとって真でなければならないこと、つまり回避可能な入院の減少、より速いアクセス、安全な投薬を名指しし、そのあとで初めて、それが起きていることを何が教えてくれるかを問います。これにより、自分のシステムがたまたま記録するものを測るという、既定の罠を避けられます。候補のKPIを、誰かが気にかける成果につなげられないなら、それはおそらく虚栄の指標です。

2. 集合を小さく保ち、すべてのKPIに所有者と定義を与える。 ボードやサービスが見守るのは、50ではなく、少数のKPIであるべきです。それぞれに、正確な定義（何を数え、何を除き、どの期間か）、説明責任を負う名前のある所有者、文書化されたデータの出所が必要です。曖昧な定義は、二つのチームが、異なる測り方をしていた数字について、一か月議論する原因です。

3. すべてのKPIを、単独でゲームされないようバランスさせる。 各指標について、「合理的な人は、実際のものを改善せずにこの数字をどう改善するか、そしてどのバランシング指標がそれを捉えるか」と問ってください。アクセスと安全、スループットと再入院、コストと体験、納品の速さと変更失敗率を組み合わせます。バランスのとれた集合は、ゲーミングを可視化し、医療・ケアの成果が多次元であるという現実を尊重します。

4. 活動よりも、成果と体験の指標を優先する。 活動のカウントは、豊富で、資金に結びついていることが多いため魅力的ですが、「どれだけ忙しかったか」に答えるのであって、「役に立ったか」には答えません。可能なところでは、成果の指標と、患者報告による体験と成果の指標（PREMとPROM）をKPIの集合に引き上げ、生の活動を支える層に下げてください。成果が遅い、あるいは測りにくい場合は、それを確実に予測する、検証済みの先行プロセス指標を選んでください。

5. KPIを、二点比較ではなく、SPCによる時系列として提示する。 Making Data Countのアプローチを採用してください。共通原因の変動と特殊原因のシグナルが一目で区別できるよう、指標をランチャートや管理図の形式でプロットします。これにより、チームが雑音に反応したり、運のよい月を祝ったり、運の悪い月で罰せられたりするのを止められます。また、ボードルームの会話を「なぜ外したのか」から「プロセスは実際に変わったのか」へ変え、それが改善の問いです（トピック10.2 — 品質改善とインプルーブメント・サイエンス参照）。

6. 不平等を明らかにするため、KPIを人口別に分解する。 集計の数字は分布を隠します。「良い」平均待ち時間は、最も貧しい地区の患者や通訳を要する患者が、はるかに長く待つことを覆い隠しえます。公平性に関わるすべてのKPIを、健康の公平性の義務とNHS Core20PLUS5のようなフレームワークに沿って、貧困度、民族性、年齢、障害、デジタルアクセスで分解してください。デジタルサービスでは、導入率と完了率も分解してください。見出しの利用数値は、サービスがまさにそれを最も必要とする人々を排除していることを隠しえます（トピック4.5 — データ、アナリティクス、ポピュレーションヘルスマネジメント参照）。

7. データ品質を前提条件として扱い、測定する。 KPIは、その下のデータと同じだけ信頼できます。KPIが依存するフィールドのデータ品質、つまり完全性、妥当性、適時性、カバレッジを、NHS Data Quality Maturity Indexのような手段で追跡し、データ品質の但し書きを数字と並べて示してください。記録の30%にそのフィールドがないなら、ダッシュボードにそう書いてください。悪いデータの上に築かれた、自信ありげに見えるKPIは、KPIがないより悪いのです。

8. デジタルサービス自体の納品メトリクスを、同じ厳密さで選んで使う。 構築し運用するソフトウェアについては、DevOps Research and Assessment（DORA）の四つのキー、つまりデプロイ頻度、変更のリードタイム、変更失敗率、サービス復旧時間が、速度と安定性のバランスのとれた見方を与えます。それらは、集合としてゲームに抵抗します。変更失敗率と復旧時間が捉えるので、壊すことによってより速く出荷することはできません。それらを、インシデント率や安全に不可欠な機能の可用性のような、臨床的に重要な信頼性と安全のKPIで補ってください（トピック3.6とトピック3.8参照）。

9. 報告を階層化し、各聴衆が適切な高度を得られるようにする。 現場のチームは、きめ細かいリアルタイムのプロセス指標を必要とし、サービスボードは、SPCを伴うバランスのとれた少数を必要とし、システムのリーダーシップは、厳選された少数の成果と公平性の指標を必要とします。最上位の見え方が、下の層の誠実な集約であり、手で選ばれた都合のよい部分集合ではないよう、階層を意図的に設計してください。これが、ウォーターメロン・レポーティングに対する、構造的な防御です（トピック10.4）。

10. KPIを、スケジュールに沿ってレビューし、廃止する。 指標は劣化します。本物の改善を駆動した指標も、対象とした行動が定着すると、ゲームされた儀式になりえ、何も見張っていない新たなリスクが現れます。KPIを定期的なレビューにかけ、それぞれについて「これはまだ、私たちが行動に移す何かを教えてくれているか」と問い、枯れ枝を廃止してください。古びたKPIの集合は中立ではありません。それは注意を積極的に誤った方向へ導きます。

チームで話し合うための問い#

1. 私たちの見出しのKPIそれぞれについて、現実を改善せずに数字を改善するには、どうすればよいか。そして私たちはそれに気づくか。 これはグッドハートの法則のストレステストで、意図的に敵対的な演習として行うのが最善です。各KPIを取り、チームに、それを達成しようとする逼迫したサービスの役を演じさせてください。時計をリセットするため真夜中前に退院させる、待機中の患者の区分を付け替える、解決時間をリセットするためにチケットを閉じて再び開く、二度と戻らないユーザーを一括登録する。要点は、同僚への皮肉ではなく、圧力と単一の数字の目標が、特に報酬、評判、契約上のペナルティがその数字にかかっているとき、予測可能な歪みを生むという認識です。良い答えは、各KPIについて具体的なゲーミングの経路を名指しし、それを暴くバランシング指標やデータチェックを特定し、現在そのような安全策のないKPIを誠実に指摘します。指標がこのように擁護できないなら、議論は、それを組み合わせる、再定義する、または廃止するという決定で終わるべきです。

2. 私たちの数字のうち、改善のために報告しているものと、判断のために報告しているものはどれか。そしてそれぞれを、それに合った形で提示しているか。 チームは日常的に、サービスが学ぶのを助けるために作られた指標を、そのまま、誰かに説明責任を課すために使う委員会に渡し、あるいはその逆をします。緊張は本物です。リーダーは保証を必要とし、改善は問題を誠実に見るための安全を必要とし、同じチャートが、歪みなく両方に仕えることはできないことがあります。実際のボードと運用のパックを見渡し、各指標の真の目的にラベルを付け、そして提示がそれに合っているかを問ってください。SPCチャートが雑音への条件反射を防ぐところで、二点の赤／緑の比較を示していないか。良い誠実な答えは、判断の文化が改善の場に忍び込み（スタッフに問題を隠させる）、曖昧な改善の物語が、正当な説明責任を避けるために使われている場所を認めます。狙いは、偶然の混乱ではなく、SPCを既定の提示としながら、指標ごとに意識的な選択をすることです。

3. 私たちのKPIは、不平等を明らかにするか、隠すか。そしてその中に、まったく欠けているのは誰の体験か。 集計のKPIが心地よいのは、周縁にいる人々を平均で消し去るからであり、医療・ケアでは、回避可能な害が集中するのは、まさにその周縁です。あなたの指標のうち、貧困度、民族性、障害、年齢、デジタルアクセスで分解されているものと、部分集団が置き去りにされている間も健全に見えうる、システム全体の単一の数字としてしか報告されていないものを議論してください。さらに、データにまったく入ってこない人々へ押し進めてください。ログインを越えられなかった患者、デジタルフォームを放棄した患者、決して紹介されなかった患者、あなたが分解に使う人口統計のフィールドの共有を断った患者。強い答えは、分解が物語を変えた、あるいは変えうる少なくとも一つのKPIを特定し、分解に対するデータ品質と同意の限界を誠実に認め、現在見えないものを見るため、代理指標や小規模な定性研究であっても、具体的な一歩にコミットします。それ未満では、技術的には正確で、道徳的には盲目なダッシュボードを招くリスクがあります。

4. 私たちは実際にいくつのKPIを見ているか。そして、廃止しても何も失わないものはどれか。 keyという語は、集合が小さい場合にのみ意味を持ちますが、指標は誰かが取り除くより速く積み上がります。ここでの国の報告、あそこでの契約上の指標、かつてのディレクターが求め、以来誰も落とす勇気のない数字。緊張は、どのKPIも単独では擁護できるように感じられるため、集合が、ボードのパックが誰も読まない100ページになり、本当に重要なシグナルが、習慣で作られるゾンビ指標の中に埋もれるまで育つことです。実際の報告を見渡して、指標の数を誠実に数え、それぞれについて、過去1年に誰かがそれに基づいて行動したか、どの判断に情報を与えるかを問ってください。どちらのテストにも生き残らない指標は、アナリストの時間を消費し、注意を薄める枯れ枝です。良い答えは、サービスごとに保持する具体的な数を名指しし、少なくとも一つのKPIを完全に廃止すると特定し、集合が静かに再び膨らむのではなく厳選されたままであるよう、定期的なレビューを設けます。指標の廃止が失敗の告白だという反射に警戒してください。規律ある引き算は、怠慢ではなく成熟のしるしです。

5. 見出しの各KPIの下にあるデータを、実際にどれだけ信頼しているか。そしてダッシュボードはそう述べているか。 30%が不完全なフィールドの上に築かれた、自信ありげな数字は、数字がないよりも危険です。きれいな数字の権威をまといながら、データが支えられない判断を招くからです。医療・ケアでは、これは深刻です。公平性の分解に必要な人口統計のフィールドはまばらなことが多く、コーディングの実務は拠点間で異なり、紙のプロセスをデジタル化するという行為自体が、何がいつ記録されるかをずらしえます。各KPIについて、その完全性、妥当性、適時性、カバレッジを知っているか、そしてそれらの但し書きが、数字とともにボードのパックへ届くのか、上に移る間に静かに剥がされるのかを議論してください。強い答えは、具体的な手段、つまりデータ品質チェック、DQMI、それ未満では指標にフラグが立つ完全性の閾値を指摘し、データ品質の但し書きが、隠されずにKPIと並んで表示されている場所を、少なくとも一つ示します。誠実な版は、完全には支持できない数字をいま報告している場所を認め、データの修正を、別のバックログ項目ではなく、KPIの一部として扱います。

6. 私たちの報告の階層は誠実に積み上がっているか。そしてボードへ至る途中で、赤が緑になりうるのはどこか。 異なる聴衆は、正当に異なる高度を必要とします。現場のチームはきめ細かいリアルタイムのプロセス指標を、ボードはSPCを伴うバランスのとれた少数を、システムは厳選された少数の成果を求めますが、各集約は、根底の姿が平滑化され、平均され、真実より心地よいものへ手で選ばれる機会です。これがウォーターメロン・レポーティングの構造的な根です。病棟とボードの間の階層が多いほど、分布が安心させる平均に平坦化され、苦戦する拠点が強い拠点と相殺される場所が増えます。一つのKPIを、現場の源から最上位の見え方まで辿り、経営層の数字が、忠実な集約か、都合のよい部分集合か、そしてもし誰かが、その積み上げを監査するなら誰かを問ってください。良い答えは、報告の階層が、合意された定義と所有者で意図的に設計されたことを示し、集約が問題を隠しうる少なくとも一つの箇所を特定し、最上位の見え方を真実に保つバランシング指標やドリルダウンを名指しします。ここでの誠実さとは、積み上げが現在、確認されるのではなく、信頼のもとで受け入れられている場所を認めることです（トピック10.4参照）。

実践例：医療・ケアの事例#

統合ケアシステム（ICS）が、紙とファックスのプロセスに代わり、一般診療医が地域の筋骨格系（MSK）理学療法へ直接紹介できる、デジタル紹介サービスを開始します。プログラムボードの本能は、二つのKPIを報告することです。受け取ったデジタル紹介の数と、システムの稼働時間。3か月以内に、どちらも強い緑になります。何千もの紹介、99.9%の稼働時間で、ボードは成功を宣言する構えです。

臨床ディレクターは落ち着かず、アナリティクスチーム（トピック4.5のパターンで動く）に、成果を中心にKPIの集合を作り直すよう求めます。彼らは、バランスのとれた少数に行き着きます。紹介から最初の接触までの時間（アクセス、SPCチャートとして示す）、不完全として差し戻される、あるいは却下される紹介の割合（先行する質のシグナル）、退院時の患者報告による成果スコア（成果）、短い体験指標（意思決定に関わっていると感じたか）、そしてサービスのリリースの変更失敗率（納品の安定性）。すべてのアクセスと成果の指標は、貧困度の十分位と、患者がデジタルの支援を必要としたかで分解されます。

作り直された見え方は、まったく異なる物語を語ります。稼働時間は本当に問題ありませんが、紹介元への差し戻し率は22%です。デジタルフォームが自由記述の病歴を必須にしているため、紹介の5件に1件が跳ね返り、一般診療医は「添付参照」と入力してゲームし、トリアージチームがそれらを却下します。SPCチャートは、アクセス時間が安定しているが、改善の傾向なく目標を大きく上回っていることを示します。そして分解は、最も貧しい二つの十分位の患者が、サービスが静かに人々を誘導していた自己紹介の経路を完了する可能性が半分であり、プログラムが縮めていると想定していたギャップを広げていることを明らかにします。元の二つの緑の数字では、これらのどれも見えませんでした。ボードはフォームを再設計し、支援つきの紹介の経路を加え、バランスがとれ、分解され、SPCに基づくKPIの集合を常設の見え方として保ち、生の紹介件数を、それが属する支えとなる指標へ降格させます。

セクター別の視点#

スタートアップ#

デジタルヘルスのスタートアップは、少数の行動可能な指標に生き死にするので、規律は容赦ない焦点と誠実さです。創業者は、累積のダウンロード数や総登録ユーザー数のような虚栄の指標を投資家に見せたくなります。上がるだけだからです。抵抗して、アクティベーション、リテンション、そして測定できるなら、臨床の成果や検証済みの代理指標を先頭に据えてください。数が少ないと、SPCと分解はより難しいものの、さらに重要です。少数の悪い体験が、あなたの安全のシグナルのすべてでありえるからです。最初の日からプロダクトに計装を施し、すべてのKPIが、出荷した変更を、実際の行動の変化に結びつけるようにし、薄いデータセットを磨くのではなく、臨床と規制のパートナーに、データ品質の限界について率直であってください。

小規模事業者#

確立した小規模な提供者、つまり一般診療所、地域薬局、ケアホーム、訪問介護事業所、単独拠点のクリニック、あるいは収益前の段階を過ぎた小さなヘルステックのサプライヤーは、大きなトラストと同じ測定と公平性の義務を、専任のアナリストもほとんど余裕の時間もなく負います。罠は、国の報告、CQC、コミッショナーがすでに求めるKPIに溺れ、現場の運営に役立つことは何も測らないことです。解毒剤は、実際に行動に移せる、本当に小さな少数の成果と体験の指標を選び、新たな計装を築くのではなく、既存の臨床システムや診療管理システムがすでに捉えているものに頼ることです。SPCは、手作業やスプレッドシートでも価値があります。たとえば、予約までの時間の毎週のシンプルなランチャートは、たった一つの悪い週の雑音を追いかけるのを止めてくれます。分解は、この規模でも同様に重要ですが、数が少ないと、数人の患者でパーセンテージが揺れうるため、内訳は、評決ではなく、より詳しく見るためのきっかけとして読んでください。無駄のない運営のデータ品質の限界についてコミッショナーに誠実であり、よく選ばれた5つの数字が患者により良く仕えるとき、大きな組織の50指標のダッシュボードを採用することに抵抗してください。

大企業#

大規模なNHSのトラストやヘルステックのサプライヤーは、すでに指標に溺れています。国の報告、契約上のKPI、ボードの指標、運用のダッシュボード。したがって課題は、収集ではなく、厳選と一貫性です。毎月の雑音追いを止めるため、（Making Data Countが意図するとおり）ボードと運用の報告全体でSPCを採用し、経営層の見え方が、現場の見え方の誠実な積み上げになるよう、明示的な報告の階層を築いてください。ウォーターメロン・レポーティングは、大企業規模のリスクです。病棟とボードの間の階層が多いほど、上へ行く途中で赤が緑になりやすいため、最上位の見え方を真実に保つバランシング指標とデータ品質の但し書きに投資してください。レガシーなKPIを意図的に廃止してください。大規模な組織は、誰も行動に移さないが、全員がまだ作っているゾンビ指標を蓄積します。

政府#

国や地方の公的機関は、システム全体に波及し、政治的な目標になるKPIを設定するため、グッドハートの法則は、ローカルではなくシステム的なハザードになります。国の待ち時間の目標は、あらゆる場所で一夜にして臨床の優先順位を作り変えます。公表される指標が、それに向けて最適化されると知ったうえで設計し、バランシング指標と公平性の分解と組み合わせ、公的信頼がそれに依存するため、定義とデータ品質について透明であってください。NHS Outcomes FrameworkやCore20PLUS5のようなフレームワークは、国の注意を、生の活動ではなく、成果と不平等に向けさせ続けるために、まさに存在します。政府は、他者が負わない義務も負います。サービスが奉仕する人々だけでなく、それが排除する人々を測ること。排除された人々が行政データに現れることはまれだからです。

よくある失敗パターン#

• 活動を数えて成功と呼ぶ。 受け取った紹介、ログイン、提供された予約。忙しいことは効果的であることと同じではありません。成果と体験を引き上げ、活動を支える層に降格させる。
• バランシング指標のない単一の数字。 圧力のもとにある単独のKPIは、ゲームされます。一つを別のものを犠牲にして改善することが見えるよう、常に指標を組み合わせる。
• 二点の、赤／緑の報告。 「先月より下で、目標未満」は、プロセスが変わったかについて、ほとんど何も教えません。代わりにSPCのランチャートと管理図を使う。
• ウォーターメロンのダッシュボード。 根底の赤を、表面の緑に変える集約。誠実な報告の階層を築き、積み上げを監査する（トピック10.4）。
• 虚栄の指標。 累積で上がり続けるカウントは、問題を示すシグナルになりえません。判断に結びつく行動可能な指標を好む。
• 分解されていない公平性の盲目。 置き去りにされている人々を隠す平均。人口別に分解し、まったく欠けているのは誰かを探す。
• 吟味されないデータの上に築かれたKPI。 悪いデータの上の自信ある数字は誤解を招く。KPIと並べて、データ品質を測定し開示する。
• ゾンビKPI。 習慣でいまも作られているが、誰も行動に移さない指標。スケジュールに沿ってレビューし、廃止する。

成熟度モデル#

チェックリスト#

• すべてのKPIが、患者、市民、臨床家にとって重要な成果にたどれる。
• サービスごとのKPIの集合は小さく、それぞれに所有者、書面の定義、名前のあるデータの出所がある。
• 各KPIに、単独でゲームされないよう、少なくとも一つのバランシング指標がある。
• 成果と体験の指標が優先され、生の活動は支える層にある。
• 運用のKPIが、二点の赤／緑の比較ではなく、SPCのランチャート／管理図として提示されている。
• 公平性に関わるKPIが、貧困度、民族性、障害、年齢、デジタルアクセスで分解されている。
• 各KPIの裏にあるフィールドのデータ品質が追跡され、ダッシュボードに但し書きが付いている。
• デジタルサービスの納品が、バランスのとれた集合（例：DORAの四つのキーに安全性／信頼性を加える）で測定されている。
• 最上位の見え方が現場の見え方の誠実な積み上げになるよう、報告の階層が設計されている。
• KPIがスケジュールに沿ってレビューされ、死んだ、あるいはゲームされた指標が廃止されている。
• 各KPIについて、「この数字からまったく欠けているのは誰か」と問うた。

主要な情報源#

• NHS England — Making Data Count（NHSの運用データのための統計的プロセス管理）
• Institute for Healthcare Improvement — Science of Improvement：アウトカム、プロセス、バランシングの指標
• NHS England — NHS Outcomes Framework、医療の不平等を減らすCore20PLUS5アプローチ
• NHS England — Data Quality Maturity Index（DQMI）
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate（DORAメトリクス）、Google CloudのDORA State of DevOpsレポート
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — 成功の測定／サービスの業績の測定
• The Health Foundation — 改善のための測定に関するガイダンス

参考文献#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php