トピック8.6 — 研究と実世界での評価

医療・ケアにおいて、デジタルのイノベーションは、それが実践で実際に機能するというエビデンスと同じだけしか信頼できません。したがって、リスクと行う主張に見合った厳密さで、そのエビデンスを最初から設計に組み込まなければなりません。

医療・ケアにおいてなぜ重要か#

展開するあらゆるデジタルプロダクトは、暗黙の約束をします。これは、害を与えることなく、患者、職員、あるいはシステムの助けになる、と。ほとんどのセクターでは、証明されていない約束は、顧客や四半期の収益を失わせます。医療・ケアでは、それは命を失わせ、不公平を広げ、システム全体が拠って立つ国民の信頼を損ないえます。熱意と良いデモはエビデンスではなく、もっともらしい機序は、便益の証明ではありません。

デジタルヘルスの歴史は、説得力があるように見え、誰かがそれが機能することを示す前に、規模をもって採用されたツールに満ちており、そのうちのいくつかは、静かに害を与え、診断を見逃し、臨床家を回避策へ駆り立てました。規制当局、コミッショナー、臨床家は、基準を引き上げることで応えてきました。いまや、展開の前、最中、後に、信頼できる、釣り合いの取れたエビデンスを期待します。サービスが主張する成果を届けることを示せないなら、異議を唱えられ、資金を断たれ、撤回されることを予期すべきで、それはもっともなことです。

エビデンスは、公平性と安全の問題でもあり、官僚的なハードルではありません。平均の成果を改善するツールも、サブグループ、つまりデジタルから排除された人々、英語が限られた人々、訓練データで過少に代表された集団を傷つけうるのです。意図した評価だけが、これを明らかにします。したがって、良いエビデンスを生み出すことは、注意義務、公金のスチュワードシップ、奉仕する人々に対する信頼性の一部です（トピック1.3 — エビデンスに基づく意思決定およびトピック1.6 — 臨床安全とリスクマネジメント参照）。

中核概念#

他のすべてを統べる区別から始めます。研究、サービス評価、臨床監査の違いです。研究は、新しい、一般化可能な知識、つまり地元の現場を超えて真であることを意図した知見を生み出すことを目指します。サービス評価は、このサービスがここでどれだけうまく機能しているかを、サービス自体が採用した基準を使って問います。臨床監査は、現在の実践を、既存の合意された基準と比較し、変化でループを閉じます。この区別は、学術的な衒学ではなく、ガバナンスの経路を決定します。国民保健サービス（NHS）の患者、職員、データを含む研究は、ほとんど常に、正式な倫理の承認を必要とし、ほとんどのサービス評価と監査は、必要としません。承認を避けるために、研究を評価と誤って分類することは、深刻なガバナンスの失敗です。

イングランドでは、研究のガバナンスは、保健・社会的ケア省の独立した機関であるHealth Research Authority（HRA）を通じて行われます。HRAは、参加者の利益を守り促進し、研究が国全体で一度レビューされるよう、承認を調整します。倫理審査は、治験審査委員会に相当する英国のResearch Ethics Committee（REC）によって行われ、研究が、倫理的で、釣り合いが取れ、参加者にとって安全かを判断します。申請は、単一のオンラインポータルであるIntegrated Research Application System（IRAS）を通じて提出され、プロジェクトを、RECs、HRA Approval、その他必要な許可に経路づけます。HRAのオンラインの判断ツールは、プロジェクトがそもそも研究に当たるかを判断するのを助けます。

デジタルヘルスのエビデンスの多くは、いまや、実世界のデータ（RWD）、つまり、電子健康記録、デバイスのログ、レジストリ、請求データのような、統制された試験の外で集められた情報から築かれ、それは、介入が通常の条件でどう機能するかについての実世界のエビデンス（RWE）を生み出すために分析されます。RWEが強力なのは、デジタルツールが副産物として豊富な利用データを生み、試験がしばしば除外する、雑多な現実を反映するからです。それはまた、脆いものでもあります。観察データは、交絡とバイアスだらけで、素朴な前後比較は、季節的な傾向や同時に起きた変化を、あなたの効果と取り違えうるのです。

だからこそ、評価の設計が重要です。因果的な主張のための最も強い設計は、依然として、参加者を無作為に割り付けることでバイアスを減らす、ランダム化比較試験（RCT）です。デジタルの文脈は、しばしば、実用的な変形、つまりクラスターランダム化試験と、拠点が、無作為化されたウェーブで対照から介入へと移行し、どのみち行うはずだった段階的な展開に合う、ステップドウェッジ試験を好みます。無作為化が非現実的なところでは、準実験的な設計が助けになります。中断時系列（ITS）分析は、稼働の前後の多くの時点にわたって成果を追跡して、水準と傾向の変化を検出し、しばしば、システム全体のデジタルの変化にとって、実行可能な最良の設計です。単純な前後比較は、最も弱く、最も誤解を招きます。あなたの効果を、変わった他のすべてから切り分けられないからです。

さらに二つの錨が、仕事を形づくります。イングランドにおけるデジタルヘルスのエビデンスの基準は、National Institute for Health and Care Excellence（NICE）が公表する、Evidence Standards Framework for Digital Health Technologiesによって設定されます。それは、潜在的なリスクでツールを等級づけし、各階層で期待されるエビデンスの強さを規定します。そして、警戒すべき持続的な歪みは、出版バイアス、つまり、肯定的な結果を共有し、否定的な結果を埋める傾向で、それは分野全体をよく見せ、効果のないツールの普及を許します。

ベストプラクティス#

1. 設計する前に、プロジェクトを分類する。 HRAの判断ツールを使って、仕事が研究、サービス評価、監査のどれかを判断し、その理由を記録します。この単一のステップが、ガバナンスの経路、タイムライン、許可を決めます。楽観的な方向に誤れば、患者に対して承認されていない研究を行うリスクがあり、慎重な方向に誤れば、単純な評価に、何か月もの不必要なプロセスを課すことになります。

2. 評価を、後付けではなく、最初から組み込む。 ディスカバリーの間に、本番のコードの一行が書かれる前に、「機能している」が何を意味し、それをどう測定するかを決めます（トピック3.4 — ディスカバリーのフェーズ参照）。稼働の前にベースラインを取得します。あとからは決して再構築できないからです。そして、設計が必要とする成果と利用のデータを出力するよう、プロダクトを計装します。稼働中のサービスに評価を後付けすることは、ほとんど常に、より弱いエビデンスを、より高いコストで生み、しばしば、使えるベースラインがまったくないことになります。

3. 厳密さを、リスクと主張に合わせる。 待機リストを並べ替える予約ツールは、胸痛をトリアージするアルゴリズムより、必要なエビデンスの重みが少なくて済みます。NICE Evidence Standards Frameworkを使ってツールのリスク階層を特定し、エビデンスが支えられる主張をします。無断キャンセル率の低下を示す中断時系列があるなら、そう述べてください。死亡率への便益を匂わせてはなりません。釣り合いは、患者を、エビデンスの乏しいリスクから守り、あなた自身を、リスクの低いツールを過剰に証明する労力の無駄から守ります。

4. 実現可能な最も強い設計を選び、その限界を名指しする。 できるときは無作為化に手を伸ばし、段階的な展開が、同時の対照群を不可能にするときは、ステップドウェッジのデザインを検討します。無作為化が本当に実現不可能なときは、素朴な前後比較より中断時系列を好み、好ましい結果を探し回る誘惑に抵抗するために、分析をあらかじめ特定します。あらゆる設計に弱点があります。読者がエビデンスを誠実に比較考量できるよう、自分のものを平易に述べてください。

5. 実世界のデータを意図して使い、交絡を敵として扱う。 デジタルサービスは豊富なRWDを生みますが、豊富さは妥当性ではありません。どのデータを使うか、その品質と完全性、それが抱えるバイアスを計画し、あとからログを掘り起こすのではなく、早期にアナリストや方法論の専門家を巻き込みます。データが、期待していたことを語るよう拷問されないよう、可能なところでは、成果と分析を事前登録します。

6. エビデンスを生み出すことを仕事とする人々と提携する。 大学、National Institute for Health and Care Research（NIHR）、そして地域のHealth Innovation Network（以前Academic Health Science Networks、AHSNsとして知られた機関）は、社内では作り出せない、方法論の厳密さ、独立性、資金の経路、信頼性をもたらします。独立した評価は、サプライヤー自身の分析よりも、コミッショナーと臨床家にとって、はるかに重みがあります。早期に関与してください。最良の設計は、展開のあとではなく前に決まるからです（トピック9.0 — パートナー組織との協働参照）。

7. 活動だけでなく、成果と経済性を測定する。 ログイン、クリックスルー、満足度のスコアは必要ですが十分ではなく、コミッショナーは、成果と価値に資金を出します。可能な限り、評価を、臨床上の成果、安全のシグナル、サブグループにわたる公平性、コストへの影響に結びつけ、ヘルスエコノミストと協力して、意思決定者が使う言葉で便益を枠づけます（トピック6.1 — ヘルスエコノミクス参照）。平均では助けるがサブグループを傷つけるツールが、平均の陰に隠れられないよう、常に結果を人口別に分解します。

8. 結果を公表する。がっかりするものも含めて。 肯定的であれ否定的であれ、報告書、プレプリント、査読付き論文を通じて知見を共有することを、最初にコミットします。否定的な結果を公表することは、専門職としての義務です。他の組織があなたの誤りを繰り返すのを防ぎ、効果のないツールが増殖するのを許す出版バイアスに対抗します。「これを評価して、機能しなかったので、止めた」と言える文化は、信頼性が低いのではなく、高いのです。

9. ループを閉じ、学んだことに行動する。 判断を何も変えないエビデンスは、無駄です。知見を、ロードマップ、ビジネスケース、段階的導入の判断にフィードバックします。機能するものは拡大し、半分機能するものは直し、機能しないものは廃止します（トピック8.0 — イノベーションの段階的導入参照）。そして再評価します。ある現場のパイロットの規模で機能したデジタルツールは、国の規模や、異なる人口では、異なる振る舞いをしうるからです。

チームで話し合うための問い#

1. これから行おうとしているのは、研究か、サービス評価か、監査か。そして、その答えにどれだけ自信があるか。 これは最初の問いです。その答えが、ガバナンスの経路の全体を決め、それを誤ることは深刻な帰結を伴うからです。データの主体は誰か、何かを無作為化しているか、一般化可能な知識を生み出すつもりか、公表する計画か、つまり、プロジェクトを「研究」に向かわせるあらゆるシグナルを話し合います。承認の経路が速いからというだけで、何かを評価とラベル付けする圧力に抵抗してください。その圧力こそ、ガバナンスの失敗が始まる場所だからです。HRAの判断ツールを、その場で、一緒に使い、理由と、誰がそれに合意したかを書き留めます。良い答えは、単なるラベルではなく、情報ガバナンスと臨床安全の同僚が見た、文書化された、擁護可能な判断です。本当に確信がないなら、誠実な動きは、自分のタイムラインに都合のよい方向に推測するのではなく、HRAや自分のR&Dの部署に尋ねることです。

2. これが機能するという、説得力あるエビデンスとして何が数えられるか。そして、誰にとってか。 異なる受け手が、異なるエビデンスを求めます。臨床家は安全と成果のデータを、コミッショナーはコストと価値を、規制当局は適切なNICEの階層が満たされていることを、患者は、自分のような人々にとって安全で公正であることを知りたがります。自分のツールにとって「機能する」が実際に何を意味し、どんな結果があれば止めるかを議論します。止める条件を述べられないチームは、本当には評価していないからです。展開の計画、データ、予算を踏まえて、どの設計が実現可能かを考え、厳密さと速さのトレードオフについて誠実になります。信じてもらうために、独立した評価が必要か、そうなら誰が行うべきかを話し合います。良い答えは、意思決定者、彼らを動かす成果、それらの成果を信頼できる形で生み出せる設計、そしてツールが失敗したと結論づける閾値を挙げます。

3. 否定的な、あるいはがっかりする結果を、どう扱うか。 結果が出る前にこれを問います。その答えは、前もってのほうが、はるかに誠実だからです。評価が、便益なし、あるいは多数派には便益があるが、排除されたサブグループには害があると示したとき、何をするか、そして誰がそれを聞く必要があるかを探ります。本当の圧力、つまりサンクコスト、サプライヤーとの関係、評判への不安、人々に良い知らせを望ませるキャリア上のインセンティブを表に出します。結果にかかわらず公表するという、事前のコミットメントと、結果が恥ずかしいとき、その約束をあなたに守らせるガバナンスが何かを話し合います。良い答えは、否定的な結果を生む、よく運営された評価を、チームの失敗ではなく、プロセスの成功として扱い、優雅に廃止し、率直にコミュニケーションし、誠実な知見を届けた人々を守る、具体的な計画を持っています。

4. 稼働の前に、何を取得し計装しなければならないか。そして、実際にそれを組み込んだか。 評価は、ベースラインと、それが依拠できるデータと同じだけしか良くなりませんが、どちらも、立ち上げのあとより前に確保するほうが、はるかに安価です。必要な「前」の状態、つまり入院率、待ち時間、誤りの率、現在のパスウェイのコストを検討し、気にかけるサブグループで分解して、いま記録されていることを確認します。取得しなかったベースラインは、決して再構築できないからです。プロダクト自体が、選んだ設計が必要とする成果と利用のデータを出力するのか、その計装が、まだバックログの願いなのかを確認します。タイミングの緊張を議論します。出荷の圧力は、日付に間に合わせるために、しばしば測定を削り、そのような削減のたびに、のちに求められるエビデンスを静かに弱めます。ログがすでに流れているときではなく、設計がまだ柔らかいうちに、アナリストや方法論の専門家を巻き込みます。良い答えは、何が、いつから、どの粒度で取得され、誰がそれが稼働していることを確認したかの、具体的なリストです。展開のあとにどうにかするという意図ではありません。

5. 頼ろうとしているデータは、どれだけ良いか。そして、結論を交絡させうるものは何か。 実世界のデータは豊富ですが、きれいであることはまれで、もっともらしいグラフは、季節性、同時のサービスの変更、平均への回帰、あるいはツールとは無関係のコーディングの変化を隠しうるのです。使う予定のあらゆるソースの出所、完全性、品質を問い質し、それぞれが持つバイアスを名指しします。電子記録から誰が欠けているか、どの項目が信頼できないか、コードがどれだけ一貫して適用されているか。稼働と同じ時期に、他に何が変わったかを問います。それらの出来事を無視する中断時系列や前後比較は、他人の効果を、あなたのツールの功績にしてしまうからです。どの比較や設計が、最も公正な反事実を与えるかを事前に決め、データが、結果をよく見せるよう静かに作り変えられないよう、分析をあらかじめ特定します。良い答えは、データの弱点を誠実に描き出し、懐疑論者がそれぞれを引っ張っても生き延びうる設計を選んだことを示します。

6. 誰がこの評価を運営するべきか。そして、信じてもらうために、どれだけ独立している必要があるか。 自分の宿題を採点することは、信頼できる知見が却下される最速の道であるため、サプライヤーの分析や社内の分析が、動かす必要のある受け手を納得させられるかを、早期に決めます。NIHRが支援する学術チーム、大学、Health Innovation Networkに関与してもらうコストと時間を、独立した、公表可能なエビデンスの、評判上・商業上の価値と比較考量します。利益相反がどこにあるかを話し合います。ツールを構築または購入した人々は、それが機能するかを判断する適任者であることはまれで、評価を、良い知らせを生み出す圧力からどう隔離するか。パートナーが、独立性を超えてもたらすもの、つまり社内では作り出せない、方法論の厳密さ、資金の経路、コミッショナーと臨床家への立場を考えます。良い答えは、独立性の度合いを、賭け金と意思決定者の懐疑に合わせ、結果ががっかりさせたあとではなく、設計が固まる前に、そのパートナーシップを確保します。

実践例：医療・ケアの事例#

ある統合ケアシステム（ICS）は、計画外の入院を減らしたいと考えて、慢性心不全の患者のための遠隔モニタリングのアプリを委託します。サプライヤーのスライドは、他の場所での30%の削減を示し、冬の前に、12の区すべてに素早く展開する圧力があります。

デジタルの納品リードは、仕事を分類するために立ち止まります。ICSは、一般化可能な知見を望み、公表するつもりで、新しい目的のために、識別可能な患者データを分析するため、これは、サービス評価ではなく研究であり、したがって、IRASの申請とRECのレビューが必要です。それを障害として扱うのではなく、リードは、地域のHealth Innovation Networkと、地元の大学のNIHRが支援する研究チームに接触し、彼らが、研究の設計を助け、申請を共同で書きます。すべてを一度にオンにするのではなく、彼らはステップドウェッジのデザインを採用します。12の区が、9か月にわたって無作為化されたウェーブで稼働し、あらゆる区が最終的にアプリを得る一方、時期をずらした開始が、公正な比較を提供します。困窮度と民族性で分解された入院率のベースラインは、最初のウェーブの前に取得されます。

NICE Evidence Standards Frameworkを使って、チームは、ツールを臨床リスクを伴う階層に置き、それに応じてエビデンスへの期待を設定し、入院率、安全のシグナルとしての死亡率、回避された入院あたりのコストを、成果として事前登録します。9か月後、中間分析は厳粛なものです。全体の入院はわずかに減りますが、アプリを最も使わない、最も困窮したコホートでは、便益がなく、受診の遅れが懸念される形で増えています。チームは、これを埋めません。ICSの取締役会に報告し、それらのコホートへの展開を一時停止し、オンボーディングを再設計し、デジタルから排除された患者のための電話支援を加え、不足と再設計の両方を公表します。その結果は、本当に役に立つサービスと、チームが痛みを伴うときにも真実を語るのを見たため、エビデンスを信頼する、意思決定する取締役会です。

セクター別の視点#

スタートアップ#

小さなデジタルヘルス企業は、エビデンスで生き死にが決まりますが、単独でそれを生み出す、お金も社内の方法論も、ほとんどありません。最速の信頼できる道は、提携です。NIHRが資金を出す学術の協力者や、Health Innovation Networkの実世界での評価は、自己公表したホワイトペーパーよりはるかに、投資家とNHSの購入者が実際に信じる、独立した知見を与えてくれます。釣り合いの取れた主張について規律を保ってください。パイロットを勝ち取るための過大な主張は、のちの評価に失敗し、評判を失う最も速い道です。データの取得を、初日から、プロダクトのアーキテクチャに組み込んでください。シードのラウンドのあとに後付けするのは高価で、エビデンスの基盤も貧弱になるからです。

小規模事業者#

確立した小規模の提供者、つまり一般診療所、地域薬局、介護施設、デジタルツールを採用する単独拠点のクリニックは、展開するものを評価することを期待されますが、R&Dの部署も、方法論の専門家も、ほとんど余分な手もありません。現実的な動きは、試験を運営することではなく、規律あるサービス評価を運営することです。オンにする前に簡単なベースラインを取得し、少数の誠実な成果の尺度に合意し、患者にとって実際に何が変わるかを記録します。自分で築く必要のない、共有のインフラに強く頼ってください。Health Innovation Network、地元の大学、複数の小さな拠点にまたがってデータと専門性をプールできる連合やプライマリケアネットワーク。独立して確認できないとき、サプライヤーの見出しの主張を額面どおりに受け入れることに特に警戒し、分類の義務が、小規模でもなお自分に適用されることを明確にします。釣り合いの取れた、よく文書化されたローカルなエビデンスは、達成可能であり、ツールの継続、適応、廃止を正当化するのに十分です。

大企業#

大規模なNHSトラストやICSには、R&Dの部署、情報ガバナンスの仕組み、既存の学術とのつながりがあり、スタートアップが羨む資産ですが、評価の前にトラスト全体へツールを展開する慣性もあります。課題は、「拡大する前に評価する」を既定にし、初期のエビデンスが弱いときに、署名された大企業の契約の勢いに抵抗することです。規模を、方法論上の優位性として使ってください。複数の拠点は、単一のクリニックにはできない形で、ステップドウェッジとクラスターランダム化のデザインを実現可能にします。否定的な結果の内部政治に注意してください。大きな投資は、結果にかかわらず成功を宣言する、強力なインセンティブを生みます。

政府#

国の機関、つまりNHS England、保健・社会的ケア省、権限移譲された政府は、他者が従うルールを定めるため、そのエビデンスの基準が、市場全体を形づくります。その仕事は、枠組み（HRAのガバナンスシステム、NICE Evidence Standards Framework、DTAC）をスチュワードし、全員が良いエビデンスを生み出せるようにするインフラ、つまりNIHR、Health Innovation Networks、信頼できる研究環境に資金を出すことです。政府が国の規模で調達するとき、エビデンスへの賭け金は巨大です。エビデンスの乏しい展開は、何百万もの市民にわたって害を固定しえ、政治的に、ほぼ元に戻せません。したがって、他者に求める最高の基準を、自らにも課し、国民の信頼を保つために、失敗を含む自らの評価を公表すべきです。

よくある失敗パターン#

• 後回しのエビデンス。 先に展開し、あとで「機能したか」を問い、ベースラインが取得されておらず、信頼できる因果の主張が一切できない。
• 研究を評価と誤分類する。 HRAとRECの承認を避けるために「評価」のラベルを選び、患者を承認されていない研究にさらし、組織を深刻なガバナンス違反にさらす。
• 素朴な前後比較。 二つのスナップショットを比較し、あらゆる変化をツールに帰属させ、季節性、並行する取り組み、平均への回帰を無視する。
• 虚栄の指標。 ログイン、ダウンロード、満足度を報告しながら、臨床上の成果、安全、公平性、コストについて沈黙する。
• 害を隠す平均。 人口別に分解せずに、見出しの平均の改善を示し、ツールが失敗する、あるいは害を与えるサブグループを隠す。
• 自分の宿題の採点。 独立した評価なしに、サプライヤーが生成したエビデンスだけに頼り、懐疑的な受け手が誰も信じない。
• 悪い知らせを埋める。 肯定的な知見だけを公表し、出版バイアスを助長し、効果のないツールがシステム全体に広がるのを許す。
• 過大な主張。 控えめで設計の弱い結果を、エビデンスが支えられない、強い臨床上の主張へ引き伸ばす。

成熟度モデル#

チェックリスト#

• HRAの判断ツールを使って、プロジェクトを研究、サービス評価、監査に分類し、理由を文書化する。
• 研究であれば、IRASの申請とResearch Ethics Committeeのレビューを、早期に計画する。
• ディスカバリーの間に、「機能している」が何を意味し、それを証明する成果は何かを定義する。
• 稼働前に、関連するサブグループで分解したベースラインを取得する。
• NICE Evidence Standards Frameworkでツールのリスク階層を特定し、厳密さをそれに合わせる。
• 実現可能な最も強い設計（RCT、ステップドウェッジ、中断時系列）を選び、その限界を記録する。
• 実世界のデータソース、品質、バイアスを計画し、分析をあらかじめ特定する。
• 信頼性や資金が求めるところでは、独立したパートナー（NIHR、大学、Health Innovation Network）に関与してもらう。
• 活動の指標だけでなく、臨床上の成果、安全のシグナル、公平性、コストを含める。
• 否定的なものを含め、結果を公表することを、事前にコミットし、場所を名指しする。
• 始める前に、停止の条件と、優雅な廃止の計画を定義する。
• 知見を、ロードマップ、ビジネスケース、段階的導入の判断にフィードバックする。

主要な情報源#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF)。
• Health Research Authority — 「Is my study research?」の判断ツール、HRA Approval、研究倫理のガイダンス。
• Integrated Research Application System (IRAS) — 英国の医療・社会的ケアの研究申請のための単一のポータル。
• National Institute for Health and Care Research (NIHR) — 資金、評価の支援、研究のインフラ。
• Health Innovation Network（旧Academic Health Science Networks） — 実世界での評価と採用の支援。
• Medicines and Healthcare products Regulatory Agency (MHRA) — 実世界のデータのガイダンスと、医療機器としてのソフトウェア／AI。
• NHS England — Digital Technology Assessment Criteria (DTAC)。
• MRC/NIHR — Developing and evaluating complex interventions（枠組みのガイダンス）。
• EQUATOR Network — 透明な研究報告のための報告ガイドライン（CONSORT、STROBE、TRIPOD）。

参考文献#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/