トピック1.3 — エビデンスに基づく意思決定

一文で言うと： エビデンスに基づく意思決定とは、何を構築し、購入し、拡大するかを、臨床とデリバリーの両面で利用可能な最良のエビデンスの強さに基づき、リスクに見合った形で決め、その理由を、決めた人々がいなくなっても残るように記録することです。

医療・ケアにおいてなぜ重要か#

多くのセクターでは、誤ったプロダクトの判断はお金を失わせます。医療・ケアでは、安全、公平性、信頼まで失わせかねず、しかも法定の義務の下で公費を使って下されます。一度も評価されたことのないデジタル診断ツールを導入する決定は、商業上の賭けではなく、臨床上のリスクです。このため、エビデンスの水準は「デモが良さそうだった」よりはるかに高く設定されます。

この領域は、二種類のエビデンスを同時に求める点でも特徴的です。臨床エビデンスは「この技術は機能し、患者にとって安全で有効か」に答えます。デリバリーのエビデンスは「正しいものを上手に作れているか、そして採用され使われているか」に答えます。サービスは臨床的に健全でもデリバリーとしては失敗（誰も使わない）かもしれず、デリバリーとしては成功でも臨床的には未検証（広く使われているが検証されたことがない）かもしれません。上級リーダーは両方を求め、一方が他方になりすますのを決して許してはなりません。そして医療の意思決定は、規制当局、国民、臨床家からの精査を集めるため、なぜそう決めたかの記録は、決定そのものと同じくらい重要です。

中核概念#

エビデンスの階層。 根拠に基づく医療は、研究デザインを、バイアスをどれだけ制御できるかで順位づけます。最上位はランダム化比較試験（RCT）のシステマティックレビューとメタアナリシス、次に個々のRCT、次にコホート研究と症例対照研究、次に症例集積、そして底辺に専門家の意見と逸話が置かれます。階層は指針であり、拘束衣ではありませんが、主張が、証拠の顔をした逸話に依拠しているときに気づく規律を与えてくれます。

NICE Evidence Standards Framework（ESF）for digital health technologies。 NICEは、NHS Englandおよびパートナーとともに、デジタルヘルス技術（DHT）が、その機能と伴うリスクに見合って、どの水準のエビデンスを必要とするかを示すためにESFを作成しました。DHTを潜在的なリスクに応じて階層化します。単純なシステムサービスから、ケアに情報を与えたり駆動したりするツール、直接診断または治療を行うものまで。そして各階層で期待される臨床的有効性と経済性のエビデンスを規定します。臨床リスクが高いほど、求められるエビデンスは強くなります。ESFは、DHTが準備できているかどうかを判断する、コミッショナーや開発者にとっての基準点です。

リアルワールドデータとリアルワールドエビデンス。 リアルワールドデータ（RWD）は、管理された試験ではなく、日常のケアから得られます。電子健康記録、レジストリ、患者報告アウトカム、デバイスのテレメトリなどです。うまく分析すれば（前向きの観察研究、実践的試験、あるいは慎重な電子カルテの分析を通じて）、技術が実際にどう機能するかについてのリアルワールドエビデンス（RWE）になります。RWEは、学習したり変化したりする技術（AI、ウェアラブル）にとって不可欠です。一度限りの試験では継続的な挙動を捉えられないからですが、正直に扱わなければならない交絡のリスクを伴います。

臨床エビデンス対デリバリーのエビデンス。 これらは別々の軸に保ってください。臨床エビデンスは、上記の階層とESFを使います。有効性、安全性、実効性です。デリバリーのエビデンスは、プロダクトとサービスの分析を使います。サービスは使いやすいか、採用されているか、ユーザーのタスクを完了させているか、失敗による需要を減らしているか。両方が必要であり、混同するのは典型的な誤りです（高い利用数は、臨床的な証明ではありません）。

評価のデザイン。 ロジックモデル（または変化の理論）は、インプットと活動が、どのようにアウトプットとアウトカムを生み出すと想定されているかを明示します。あらゆる評価が検証する地図です。RCTは最も強い因果の答えを与えますが、遅く、費用がかかり、変化の速いサービスには非現実的だったり倫理的でなかったりすることがあります。実践的評価、すなわち実践的試験、中断時系列分析、対照付きの前後比較、混合手法によるサービス評価は、いくらかの確実性を速さと現実世界への関連性と引き換えにします。リスクと、かかっている意思決定に見合ったデザインを選んでください。

A/Bテストと分析。 低リスクでデリバリー側の問い（どの文言が予約の出席率を高めるか、どの導線が離脱を減らすか）には、管理されたオンライン実験（A/Bテスト）が、高速で因果的なデリバリーのエビデンスを与えます。最適化には強力ですが、評価を経ない臨床上の変更を行うために使ってはならず、同意と情報ガバナンスの境界を尊重しなければなりません。

HiPPOによる意思決定。 「HiPPO」とは、Highest-Paid Person's Opinion（最も報酬の高い人の意見）のことで、序列がエビデンスを押しのける失敗を指します。エビデンスに基づく文化は、その場の誰にでも「データは何を示していますか」と言うことを、安全で当たり前にし、上司の勘を、結論ではなく検証すべき仮説として扱います。

意思決定記録。 意思決定記録（意思決定ログ、アーキテクチャ決定記録）は、決定、検討した選択肢、比較考量したエビデンス、決定者、日時を、簡潔に記録します。推論を監査可能にし、担当者が入れ替わっても残り、同じ議論が四半期ごとに繰り返されるのを防ぎます。

ベストプラクティス#

1. エビデンスの強さを、リスクの水準に合わせる。 NICEのESFの階層を物差しとして使います。低リスクのシステムツールには軽いエビデンスで足り、診断したり治療を駆動したりするツールには、質の高い臨床的有効性のエビデンスが必要です。比例性によって、安全なものには速く、危険なものには遅く進めることができ、すべてに同じ水準を当てはめずに済みます。

2. 臨床とデリバリーの両方のエビデンスを求め、混同しない。 あらゆる重要な投資について、「臨床的に有効で安全か」と「使いやすく、採用されているか」という二つの別々の問いを立て、それぞれにエビデンスを求めます。採用の指標は臨床的な検証の代わりにならず、試験が陽性だったことは、現実世界での利用を保証しません。

3. すべての取り組みを、ロジックモデルから始める。 構築する前に、介入が望む成果をどう生み出すと考えているかを書き出します。これにより、検証されていない前提が早期に表面化し、重要な指標が定まり、後の評価が検証するための具体的なものを得られます。

4. 学習したり存続したりする技術には、リアルワールドエビデンスを使う。 AI、アルゴリズム、長寿のサービスについては、最初の試験を補完する、あるいはそれに続く形で、日常データの構造化されたモニタリング（前向きの観察デザイン、実践的評価）を行い、性能が実際にどう維持されるかを知り、ドリフトを捉えられるようにします。

5. デリバリーの問いは実験し、臨床の問いは評価する。 情報ガバナンスと同意の範囲内で、デリバリーの最適化（文言、導線、プロンプト）にはA/Bテストと分析を自由に使います。正式な評価（試験、実践的研究）は、臨床効果の問いのために取っておきます。それぞれの問いを、適切な手法に振り分けてください。

6. HiPPOによる意思決定を、手続きだけでなく文化として退ける。 意思決定者の誰にでもエビデンスを求めることを明確に許容され、上司の見解を仮説として位置づけ、何があれば考えを変えるかを事前に約束します。序列に安全に異議を唱えられるチームは、より良い決定を下します。

7. 決定とそのエビデンスを記録する。 重要な選択ごとに、何を、なぜ、どのエビデンスで、誰が、いつ決めたかを記した軽量な意思決定ログを保ちます。これにより、規制当局と国民に対する監査可能性が生まれ、果てしない蒸し返しが防がれ、人員の入れ替わりを通じて組織の記憶が保たれます。

8. データ倫理に配慮する。 エビデンスの作業は患者データを使うため、適法性、同意、比例性、公正さを設計上の制約として扱います。不公平を固定化する偏ったデータセットに注意し、守秘義務を尊重し、自らのエビデンスの実践が、国民の監視にも耐えるものであることを確認してください。

チームで話し合うための問い#

1. 直近で最も重要な意思決定について、臨床エビデンスとデリバリーのエビデンスの両方を、区別したまま示せるか。それとも、一方が静かにもう一方の代わりを務めていなかったか。 この問いは、臨床エビデンス（「機能し、安全か」）とデリバリーのエビデンス（「使いやすく採用されているか」）は別の軸にあり、それらを混同するのは典型的で危険な誤りだという、本トピックの主張を試します。サービスは、臨床的に健全でも使われていなかったり、広く使われていても臨床的には未検証だったりするため、これは重要です。医療・ケアでは、高い利用数を臨床的な証明と取り違えることは、成功に見えながら患者を危険にさらしかねません。浮かび上がらせるべき緊張は、デリバリーのエビデンスは速く、安く、見栄えが良い（分析ダッシュボードはすぐに埋まります）のに対し、臨床エビデンスは遅く、費用がかかり、しばしば決定的でないため、採用の指標に議論を担わせようとする圧力が常にあることです。実際の取締役会の資料や投資ケースを取り上げて監査してください。二種類のエビデンスは分けられているか、それぞれ実際に存在するか、臨床上の主張はベンダーのデモや単一施設の研究より上の何かに基づいているか。良い誠実な答えは、具体的な決定を挙げ、一方のエビデンスが乏しかった、あるいは欠けていた箇所を認め、強い利用数に皆が安心するのではなく、今後の重要な選択では両方を明示的かつ別々に求めることを約束します。

2. 私たちのエビデンスの基準は本当にどれほど比例的か。低リスクの変更にゴールドスタンダードの試験を求める一方で、より高リスクのツールを薄いエビデンスで通していないか。 本トピックは、比例性をNICEのESFの階層で捉えています。低リスクのシステムツールには軽いエビデンス、診断したり治療を駆動したりするツールには質の高い臨床的有効性のエビデンスです。この問いは、組織が実際に基準をリスクに合わせて調整しているのか、一つの鈍い基準を当てはめているのかを確かめます。どちらの失敗の方向もコストがかかるため、これは重要です。分析麻痺は、有用な低リスクのコンテンツ変更を不要なRCTの背後で停滞させ、臨床判断に情報を与える、精査されていないAIツールは、説得力のあるデモで通り抜けてしまいます。どちらも、エビデンス文化への信頼を損ないます。議論すべきトレードオフは、比例性には、判断と、それを擁護する自信が必要であり、画一的なルールより難しいことです。「すべてに試験が必要」や「デジタルならとにかくパイロット」といった一律の規則は、運用しやすいものの誤っています。現在または最近の技術を二、三取り上げ、それぞれをESFの階層に一緒に位置づけ、求めたエビデンスが階層に合っていたか、それとも誰がそれを推していたかによって動かされたかを確かめてください。誠実な答えは、チームが技術のリスク階層を特定でき、基準がどちらの方向にも誤って設定されていた箇所を認め、比例性を、本能ではなく明示的で説明可能な基準として扱うことを示します。

3. その場で最も上位の人に「エビデンスは何ですか」と尋ねることは、文化的にどれほど安全か。そして、リーダーの勘を、決定ではなく検証すべき仮説として扱ったのは、いつが最後か。 この問いは、最も報酬の高い人の意見がエビデンスを覆すというHiPPOの失敗モードに正面から向き合い、エビデンスへの表明されたコミットメントが、序列や、尊敬される役員を感心させたベンダーのデモとの接触を生き延びるかどうかを試します。医療・ケアでは、デモ主導で評価されていないツールを導入する決定は、商業上の賭けではなく、臨床安全と公費のリスクです。異議を唱えることが安全でなくなった瞬間こそ、エビデンスが決定を統べることをやめる瞬間だからです。本当の緊張は、心理的安全性は方針で義務づけられないことです。それは、上級リーダーが、異議を目に見える形で歓迎し、自らの見解を仮説として位置づけ、何があれば考えを変えるかを事前に約束することによって築かれます。これらの行動は、自分をさらけ出すものに感じられ、時間的なプレッシャーの下では省きやすいものです。議論を具体例に根ざしたものにしてください。データより序列や熱意に動かされた最近の決定を思い出し、誰かが異議を唱えたか、それは安全に感じられたか、意思決定記録は何を記録しただろうかを問います。良い答えは、いま序列が勝っている箇所について率直であり、異議を当たり前にするためにリーダーが採る具体的な行動を挙げ、その文化的なコミットメントを、推論を監査可能にし同じ議論の蒸し返しを防ぐ軽量な意思決定ログと組み合わせます。

4. 学習したり存続したりする技術、つまり私たちのAI、アルゴリズム、長寿のサービスについて、検証以降に性能がドリフトしたかどうかを、実際にどうやって知るのか。そして誰が見ているのか。 本トピックは、一度限りの試験では、学習したり変化したりする技術の継続的な挙動を捉えられないこと、そして「一度きりの評価」は名指しされた失敗モードであり、その対策はリアルワールドエビデンスと継続的なモニタリングであることを明言しています。この問いが重要なのは、危険が静かだからです。AIの悪化予測モデルやトリアージのアルゴリズムは、症例構成、コーディングの慣行、上流のデータパイプラインが変わるにつれて劣化しうるのに、壊れた機能とは違って、何かが明らかに失敗するわけではありません。ツールは、もっともらしい出力を出し続け、その誤警報率や見逃し率は静かに悪化します。浮かび上がらせるべき緊張は、モニタリングは地味で、導入のときめきに比べて資金が付かないことです。ビジネスケースに署名がなされ、効果が計上されてしまうと、前向きの観察作業、ドリフトの指標、それをレビューする指名された責任者に資源を割く組織はほとんどありません。稼働中のAIやアルゴリズムのツールを一つ選び、導入後の生涯を具体的にたどってください。どの日常データが、どのベースラインに対して、どのリズムで見られているか、そして誰が劣化をエスカレーションし、誰に対して行うのか。誠実な答えは、検証が稼働時点で止まっていた箇所を認め、継続的な監視を本当に必要とするツールとそうでないものを区別し、「気をつけて見ておく」という曖昧な意図ではなく、指名された責任者、指標、レビューのリズムにコミットします。

5. 今日下す決定が、二年後に、新任の役員、規制当局、あるいは国民から問われたとき、書面の記録は実際に何を示すのか。そしてそれは、その精査に耐えるのか。 本トピックは、意思決定記録を中核的なインフラとして扱います。決定、選択肢、比較考量したエビデンス、決定者と日時の軽量なログであり、推論を監査可能にし、担当者の入れ替わりを生き延び、同じ議論が四半期ごとに繰り返されるのを止めるために重視されます。医療・ケアの決定は、商業上の決定がめったに受けない形で、規制当局、議会、国民の精査を集めるため、この問いは重要であり、本トピックの実践例はまさにこれに懸かっています。二年後、新任の役員が導入済みのツールに疑問を呈し、「記録が答える」のです。本当の緊張は、この規律の一件あたりの極めて小さなコストと、それを省こうとする慢性的な圧力の間にあります。なぜそう決めたかを書くことは、その場では官僚的に感じられ、記録を最も必要とするのは、それを求めるためにその場にいない将来の職員だからです。12か月前か18か月前に下した重要な選択の背後にある推論を再構築してみることで、現実に照らして試してください。どのエビデンスが比較考量され、どの代替案が却下されたかがわかるのか、それとも決定が下されたことだけがわかるのか。良い答えは、重要な決定について記録が本当に残されているのか、易しいものだけなのか、結論だけでなくエビデンスと選択肢を記録しているか、そして誰かが読み返すことがあるのかに向き合います。読まれず、結論だけを記すログは、組織の記憶ではなく、監査のための芝居だからです。

6. 私たちのエビデンスを訓練し検証するデータは誰のものか。そして、それが不公平を固定化しないと確信できるか。それとも、データ倫理を、設計上の制約ではなく署名する書式として扱っていないか。 本トピックは、エビデンスの作業は患者データの上で行われ、適法性、同意、比例性、公正さは、書類仕事ではなく設計上の制約であると主張し、不公平を固定化する偏ったデータセットと、失敗モードとしての「書類仕事としての倫理」について、特に警告しています。代表性のない集団で検証された技術は、すでに最も十分にサービスを受けていない集団に対して、より悪く機能しうるため、この問いは重要です。特定の民族、年齢、併存疾患が過少にしか含まれない場所で訓練された悪化予測や診断のモデルは、そのバイアスを将来のあらゆる決定に持ち込みえますし、全国規模では、承認されたデータセットがその不公平をシステム全体に固定化します。緊張は、公平性の分析は、見出しとなる精度の数字より難しく遅いことです。誰がデータに含まれ、誰が欠けているかを問い詰め、サブグループごとに性能を分解し、時には、最もサービスを届けたい集団についてエビデンスが弱いことを受け入れなければならないからです。最近または提案中のツールを取り上げて、具体的にしてください。誰の記録で作られ、テストされたか、性能がサブグループごとに検討されたことがあるか、情報ガバナンスの承認が公平性にそもそも取り組んだのか、それとも適法な根拠を確認しただけなのか。誠実な答えは、本物の倫理的な精査と、形だけのチェックを区別し、代表性が確認されたことがない箇所を認め、バイアスと公平性を、最後に付け足すコンプライアンスの手順ではなく、エビデンス自体が答えなければならない問いとして扱います。

実践例：医療・ケアの事例#

あるコミュニティトラストが、バイタルサインのデータから悪化のリスクがある患者にフラグを立てるAIツールを提案されます。HiPPOによる決定なら、尊敬される役員がベンダーのデモに感心したので、導入してしまうでしょう。

代わりにトラストは、その売り込みを仮説として扱います。臨床判断に情報を与える技術に適したNICEのESFのリスク階層にツールを位置づけ、その水準での有効性のエビデンスをベンダーに求めます。提示された最も強いものは、小規模な単一施設の研究です。トラストはロジックモデル（より良い早期警告→より早いエスカレーション→避けられる悪化の減少）を書き、実践的評価を設計します。ツールのアラートは記録されるが対応には使われないシャドーモードでの導入を行い、実際のアウトカムと比較します。加えて、ワークフローへの適合について、看護師への質的インタビューを行います。

並行して、デリバリーのエビデンスを集めます。臨床家は実際にアラートに気づき、信頼するだろうか。アラートの提示方法についてA/B型のテストを行います。情報ガバナンスと臨床安全の責任者が、データの利用とハザードログを承認します。3か月後、RWEは控えめだが本物の改善と許容できる誤警報率を示し、デリバリーのエビデンスは、臨床家が再設計されたアラートに関与していることを示します。段階的な展開と継続的なモニタリングを伴って進めるという決定は、比較考量したエビデンスを引用した意思決定記録に書き込まれます。二年後、新任の役員がツールに疑問を呈したとき、記録が答えます。

セクター別の視点#

エビデンスをリスクに合わせる義務は、誰にとっても同じですが、エビデンスをめぐるリソース、誘因、説明責任は、組織によって大きく異なります。

スタートアップ#

スタートアップの制約は、ゴールドスタンダードの臨床エビデンスは遅く高価なのに、ランウェイは短いことです。そのため、採用の指標を、臨床効果の証明であるかのように売り込みたくなります。誠実な対応は、早期に製品を適切なNICEのESFの階層に位置づけ、明確なロジックモデルと安価な実践的評価（シャドーモードのパイロット、単一施設に対する中断時系列分析）で最初のリアルワールドエビデンスを生み出しながら、エビデンスのギャップについて購入者に率直であることです。意思決定記録はほとんどコストがかからず、小さなチームにとって不釣り合いなほど価値があります。急なピボットの間も推論を保ち、デューデリジェンスを行う投資家やNHSの評価者に監査証跡を与えます。報われる規律は、創業者の勘というHiPPOに抵抗し、「デモの反応が良かった」という言葉を、検証すべき仮説として扱うことです。

小規模事業者#

確立した小規模の提供者、つまり一般診療所、地域薬局、介護施設、単独拠点のクリニック、スタートアップ段階を過ぎた小規模なヘルステックのサプライヤーは、エビデンスをリスクに合わせる同じ義務を負いますが、実際の患者、乏しい資金、そしてそれを行うための専任のデジタル能力がほとんどまたはまったくありません。現実的な対応は、自分で生み出すのではなく、他者がすでに作ったエビデンスに頼ることです。候補となるツールのNICEのESFの階層とDTACの評価を、既成の比例性として使い、階層に見合った臨床的有効性のエビデンスをサプライヤーに求め、巧みなデモに丸め込まれて評価されていない製品を買わされることを拒みます。デリバリーのエビデンスは、小規模な組織が本当に先頭に立てる部分です。自分たちの患者を間近で見ているからです。職員が実際にツールを使っているか、失敗による需要を減らしているかについて、数週間誠実に観察することは、手の届くリアルワールドエビデンスです。何を選び、どのエビデンスを見て、誰が決めたかという一行の意思決定記録は、小さなチームにはほとんどコストがかからず、パートナーが去ったときやCQCの検査官に理由を問われたときに、チームを守ります。避けるべき罠は、小さいからエビデンスの基準を免れると考えることです。患者に対する義務は同じで、違うのはリソースだけです。

大企業#

NHSトラストやICSには、本格的な評価を行うための日常データ、患者数、分析能力があり、それを求める説明責任があります。検証されていないツールを大規模に導入することは、臨床安全と公費の両方のリスクだからです。失敗モードは組織的なものです。尊敬される役員がベンダーのデモを推したり、のちに誰も確認しない予測効果の上に築かれたビジネスケースです。対策は、意思決定者の誰にでも「エビデンスは何ですか」と尋ねることを文化的に安全にし、すべての取締役会資料で臨床エビデンスとデリバリーのエビデンスを別の軸に保ち、AIと長寿のサービスには、一度限りの検証ではなく継続的なリアルワールドのモニタリングの資金を出すことです。大規模な製薬やヘルステックの企業は、正式な試験の仕組みを持ち込みますが、自らが生み出すリアルワールドエビデンスにおける出版バイアスと交絡に注意しなければなりません。

政府#

NICE、NHS England、DHSC、MHRA、UKHSAといった国の機関は、他の組織が越えなければならないエビデンスの基準をしばしば定めるため、その仕事の進め方が市場全体を形づくります。ESF、DTAC、医療機器としてのソフトウェアの規制は、国民規模の説明責任の道具です。ここでの決定は、規制、議会、国民の精査を集めるため、技術がなぜ推奨または調達されたかの記録は、決定と同じくらい重要であり、エビデンスの限界についての透明性は、礼儀ではなく義務です。この規模でのリスクは、薄いエビデンスでシステム全体に技術を義務づけること、あるいは逆に、低リスクの変更にRCTを求めて有用なイノベーションを停滞させることです。対策は、公表された標準の中で比例性を明示することに加え、データ倫理と公正さへの配慮です。全国的に承認された偏ったデータセットは、大規模に不公平を固定化するからです。

よくある失敗パターン#

• デモ主導の決定。 デモが上級リーダーを感心させたから購入する。対策：売り込みを仮説として扱い、階層に見合ったエビデンスを求める。
• 利用の検証との取り違え。 採用の数字を、ツールが臨床的に有効であることの証明として引用する。対策：臨床エビデンスとデリバリーのエビデンスを別の軸に保つ。
• 一度きりの評価。 一度検証したきりで、特にドリフトするAIを監視しない。対策：リアルワールドエビデンスと継続的なモニタリング。
• 分析麻痺。 低リスクのコンテンツ変更にRCTを求める。対策：比例的な手法。リスクが低い場合はA/Bテストと実践的評価。
• 記録されない決定。 なぜ選択されたかの痕跡がなく、蒸し返されて監査もできない。対策：軽量な意思決定ログ。
• 書類仕事としての倫理。 データ倫理を、設計上の制約ではなく署名する書式として扱う。対策：適法性、同意、公正さを、エビデンスの設計に組み込む。

成熟度モデル#

チェックリスト#

• 各技術がNICEのESFのリスク階層に位置づけられ、それに見合うエビデンスが求められている。
• すべての重要な決定に、臨床エビデンスとデリバリーのエビデンスの両方があり、区別されている。
• 構築の前にロジックモデルがあり、成果と指標を明示している。
• 評価デザインがリスクに比例している（低リスクにはA/Bと実践的、高リスクには試験/RWE）。
• AIと長寿のサービスについて、リアルワールドエビデンスとモニタリングが整っている。
• 意思決定者の誰にでも「エビデンスは何ですか」と尋ねることが、文化的に安全である。
• すべての重要な決定が、意思決定ログ（何を、なぜ、エビデンス、誰が、いつ）に記録されている。
• データの利用が適法で、同意があり、比例的であり、バイアスと公正さについて確認されている。

主要な情報源#

• NICE — Evidence Standards Framework for digital health technologies (ESF)（nice.org.uk）。
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC)。
• MHRA — software and AI as a medical deviceに関するガイダンス。
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence（エビデンスの階層）。
• HM Treasury — The Magenta Book（評価、ロジックモデル、評価デザインに関するガイダンス）。
• MRC — Developing and evaluating complex interventionsフレームワーク。
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments（A/Bテスト）。
• Michael Nygard — Architecture Decision Records（意思決定ログのパターン）。

参考文献#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/