トピック8.4 — AIと新興技術のガバナンス

一文で言うと： 医療・ケアにおける人工知能は、学習し、データに依存し、しばしば不透明な技術であり、これまでに統治したどんなシステムより速く、便益と害の両方を拡大しうるため、一度購入して忘れる通常のソフトウェアとして扱うのではなく、そのライフサイクル全体を通じて、臨床安全、公平性、国民の信頼の問題として統治しなければなりません。

医療・ケアにおいてなぜ重要か#

展開してきたソフトウェアのほとんどは、明日も今日と同じように振る舞います。その論理は書き下され、振る舞いはテスト可能で、誤っているときは、目に見える、繰り返し起きる形で誤る傾向があります。人工知能は、その三つの安心をすべて壊します。人が書いた規則に従うのではなく、データから統計的なパターンを学習し、その振る舞いは、訓練されたデータと、いま出会うデータに完全に依存し、その推論は、それを作った人々にさえ、しばしば不透明です。その組み合わせが、AIが、一般的なソフトウェアのチェックリストに畳み込まれるのではなく、独自のガバナンスの規律を必要とする理由です。

医療・ケアでは、帰結は抽象的ではありません。訓練データで過少に代表されたグループの病気を見逃すモデルは、孤立した誤りを犯すのではなく、同じ誤りを、静かに、何千回も犯し、健康格差を固定し拡大します。もっともらしく聞こえる臨床上の細部をでっち上げる生成モデルは、逼迫した臨床家を、まさに誤った瞬間に誤導しえます。検証された人口では見事に機能するツールは、人口、ケアのパスウェイ、上流のデータが変わると、静かに劣化しえます。AIは、良い判断を拡大でき、同じ効率で、バイアス、誤り、害も拡大できます。

本トピックは、そのリスクを、誇大広告に乗らず、技術を禁止もせずに統治することについてです。他の場所で築かれた基礎、つまり臨床安全（トピック1.6 — 臨床安全とリスクマネジメント参照）、情報ガバナンス、データ保護、サイバーセキュリティ（トピック1.7 — 情報ガバナンス、データ保護、サイバーセキュリティ参照）、エビデンスに基づく意思決定（トピック1.3 — エビデンスに基づく意思決定参照）を、意図して繰り返しません。それらに錨を下ろし、学習するシステムに特有のものを加えます。既存の保証の、AIの形をした拡張として、そしてイノベーションの段階的導入（トピック8.0 — イノベーションの段階的導入参照）の、統治された兄弟として扱ってください。

中核概念#

人工知能と機械学習。 リーダーにとって、実践的な区別は次のとおりです。今日の医療・ケアにおけるAIのほとんどは、機械学習、つまり手書きの規則を実行するのではなく、例からパターンを推論するシステムです。これが、コードと同じくらいデータがプロダクトである理由です。訓練データを変えれば、振る舞いが変わります。それはまた、モデルが何かを「知っている」のではなく、推定し、自信を持って誤りうることを意味します。これを概念的に理解することが、適切なガバナンスの問いを投げかけるのに十分で、数学を読む必要はありません。

医療機器としてのソフトウェア（SaMD）とMHRA。 ソフトウェアに医療上の目的、つまり診断、スクリーニング、トリアージ、用量の計算、悪化の予測がある場合、それが携帯電話で動こうとサーバーで動こうと、非常にしばしば、法律上、医療機器です。医療機器としてのソフトウェア（SaMD）として知られる、この種の医療ソフトウェアは、英国ではMedicines and Healthcare products Regulatory Agency（MHRA）によって規制されます。臨床上の目的を持つAIツールを委託または構築するなら、最初のガバナンスの問いは、それが規制対象の機器か、そうなら、有効な適合マークを保持しているかです。これを誤ることは、技術的な些事ではありません。未登録の医療機器の展開は、違法であり、安全でありません。

AI Airlock。 MHRAは、医療機器としてのAIを、管理され監視される環境で、どう規制すべきかを探るために、AI Airlockと呼ばれる規制のサンドボックスを設立しました。規制のサンドボックスは、規制当局と少数の開発者が、一般的な規則が定められる前に、監督の下で、難しく新しい問い、たとえば、時間とともに更新されるモデルをどう検証するかを検討できるようにします。これが何であるかについて、冷静であってください。Airlockは、規制当局と少数の参加者のための学習環境であり、迅速な承認の経路ではなく、それに関連づけられていることは、プロダクトが一般的な臨床利用のために承認されていることを意味しません。

アルゴリズムのバイアスと公正さ。 アルゴリズムのバイアスは、システムが、特定のグループに対して、体系的に不公平な結果を生む傾向です。医療・ケアで、その最も一般的な原因は訓練データです。あるグループが過少に代表され、誤ってラベル付けされ、あるいはバイアスのある機器で測定されていれば、モデルは、そのグループにより悪く奉仕することを学習します。モデルがそれを規模をもって、客観性の雰囲気をまとって適用するため、バイアスのあるAIは、組織が法的に減らす義務を負うまさにその不平等を広げえます。

説明可能性とブラックボックス。 説明可能なAIは、モデルが、ある出力をなぜ生んだかを、人間が理解できるかに関わります。多くの高性能なモデルは、事実上の「ブラックボックス」で、全体として正確でありながら、臨床家に、個々の判断についての信頼できる理由を示せません。臨床の現場では、これは、説明責任、十分な説明に基づく同意、判断を行使する臨床家の義務にとって重要です。医師は、問い質せない助言に、意味のある形で責任を負うことはできません。

モデルのドリフトと市販後の監視。 モデルの精度は固定ではありません。コンセプトドリフト、つまり、入力と予測される対象との関係の、時間とともに変化は、人口、パスウェイ、上流のデータが変わるにつれ、昨年検証されたモデルが、今年静かに劣化しうることを意味します。これが、AIが、稼働時の一度限りの検証だけでなく、継続的な市販後の監視とモニタリングを必要とする理由です。

MLOpsとモデルのライフサイクル。 MLOpsは、モデルを本番で確実に、展開し、監視し、バージョン管理し、再訓練する、運用上の規律です。ライフサイクルのガバナンスを現実にする仕組みです。どのモデルのバージョンが、どのデータで、どんな性能で稼働しているかを知り、ロールバックできること。

ヒューマン・イン・ザ・ループ。 ヒューマン・イン・ザ・ループの設計は、人、通常は臨床家を、モデルを覆す権限と情報を持って、意味のある形で判断の中に保ちます。うまく行えば説明責任を守り、形式的な承認として行えば、監督の幻想しか提供しません。

生成AIと大規模言語モデル。 生成AIは、大規模言語モデル（LLM）を含み、流暢なテキストやその他の内容を生み出します。医療・ケアにおける近い将来の現実的な価値は、主に管理的なもの、つまり文書の下書き、要約、書類仕事の軽減です。その決定的なリスクは、ハルシネーション、つまり、偽だがもっともらしい内容の、自信に満ちた生成で、患者のデータが第三者のサービスに入力される場合の、守秘のリスクによって悪化します。

デジタル治療とヘルスアプリ。 デジタル治療（DTx）は、状態を予防、管理、治療する、ソフトウェア駆動のエビデンスに基づく介入で、一般的なウェルネスのアプリとは、まさに臨床上の主張をするという点で区別されます。つまり、その多くは医療機器としてのソフトウェアであり、処方または推奨する他のあらゆる介入と同じエビデンスと保証を求めます。

ベストプラクティス#

1. 何よりもまず、ツールを分類する。 AIが医療上の目的を持ち、したがって規制対象の医療機器であるか、そして有効なMHRAの適合マークを保持しているかを、臨床と規制の意見を得て、書面で確立します。この単一の判定が、下流のすべて、つまり保証の経路、責任、展開の適法性を統べます。疑わしいときは、管理上のツールは範囲外だと想定するのではなく、規制上の助言を求めます。

2. AIを、既存の臨床安全とIGの仕組みに通し、迂回せずに拡張する。 あらゆる臨床AIの展開は、DCB0129/DCB0160の臨床リスクマネジメント（トピック1.6参照）と、情報ガバナンスの枠組みに基づくデータ保護影響評価（トピック1.7参照）を必要とします。目新しさやサプライヤーの熱意に、並行する軽い手続きを作らせないでください。AI特有のハザード、つまりバイアス、ドリフト、不透明性、自動化バイアスは、ハザードログに、置き換えではなく追加されるべきです。

3. 訓練データの代表性とバイアスを問い質す。 データに誰が含まれ、誰が欠けているか、成果がどうラベル付けされたか、測定機器自体が、グループにわたってバイアスを持っていなかったかを問います。サプライヤーに、見出しの精度だけでなく、関連するサブグループ、つまり年齢、性別、民族性、困窮度別に分解した性能の報告を求めます。公平な性能を示せないツールは、その平均がどれだけ印象的でも、健康格差のリスクです。

4. リスクに見合った臨床的な検証を求め、前向きなエビデンスを好む。 キュレーションされたデータに対する後ろ向きの精度は、最も弱い形のエビデンスです。臨床上の判断に影響するものについては、自分たちのような人口とワークフローでの検証、理想的には前向きなものを求め、その主張を、適切な保証の枠組み、つまりデジタルヘルス技術のためのNICE Evidence Standards Frameworkと、ベースラインの保証としてのDigital Technology Assessment Criteria（DTAC）に通します。エビデンスの強さを、潜在的な害の大きさに合わせます。

5. 意味のあるヒューマン・イン・ザ・ループと明確な説明責任を主張する。 AIが情報を与えた判断に誰が説明責任を負うかを定義し、人間が、覆す権限とそのための情報の両方を持つようにします。自動化バイアス、つまり機械に従う傾向に、研修、インターフェースの設計、オーバーライド率の監査を通じて、積極的に警戒します。オーバーライドが決して起きないなら、あなたの「ヒューマン・イン・ザ・ループ」は飾りです。

6. 稼働を、保証の終わりではなく、監視の始まりとして扱う。 初日から市販後の監視を立ち上げます。実世界での性能を監視し、コンセプトドリフトを見張り、モデルを再訓練、一時停止、撤回するための閾値とプロセスを定義します。健全なMLOpsを通じて、モデルのバージョン管理とロールバックを確立し、何が稼働しているかを常に知り、安全に元へ戻せるようにします。決して再確認されないモデルは、ゆっくり失敗していく安全統制です。

7. 生成AIを、その現実的な用途に、そしてその本物のリスクに対して統治する。 価値が本物でリスクが抑えられているところ、つまり管理的な下書き、要約、人間のレビューを伴う文書の支援では、LLMを許可し、患者を特定できるデータを、管理されていない第三者のサービスに入力することは禁止します。人間が検証するまで、あらゆる生成された出力は、でっち上げかもしれないと想定し、検証されていない生成内容が臨床記録に入ることを決して許してはなりません。明確で徹底された方針は、隠れた利用を促す一律の禁止と、データを漏らす何でもありの両方に勝ります。

8. 情報ガバナンスを、訓練を含むデータのライフサイクル全体に適用する。 モデルを訓練し、ファインチューニングし、評価するために使われるデータは、他のあらゆる用途と同じ、適法な根拠、最小化、透明性の義務に服します（トピック1.7参照）。患者データでの訓練の根拠、匿名化が十分か、そしてサプライヤーがそれで何をしてよいかについて、明示的にします。契約は、適法な根拠とあなたの合意なしに、他者のためのプロダクトを訓練するためのデータの再利用を禁じるべきです。

9. 人間が読めるモデル台帳を維持し、サプライヤーに透明性を求める。 使用中のAIの一覧、つまり目的、規制上の地位、訓練データの出所、検証のエビデンス、監視の計画、説明責任のある所有者を維持します。サプライヤーに、モデルがどう機能するか、その限界、失敗パターンについて透明であることを求めます。ベンダーの不透明性は、それ自体がリスクのシグナルです。書き留めていないものは統治できません。

10. 意図してホライズンスキャンを行い、管理された評価を通じて段階的に導入する。 今日のAIを超えて、新興技術、つまりアンビエント文書化、基盤モデル、さらに先の量子や新しいセンシングを、事後対応の調達ではなく、構造化されたホライズンスキャンで見守ります。本当に新しいものは、イノベーションの段階的導入（トピック8.0）の、管理され、元に戻せ、評価されるアプローチで導入します。小さく始め、誠実に測定し、止める能力を保ちます。

11. デジタル治療とヘルスアプリを、消費者のダウンロードではなく、介入として扱う。 アプリが、状態を治療、管理、予防するという臨床上の主張をするとき、それは患者が行動に移す介入であり、処方または推奨する前に、薬や機器と同じ精査に値します。それが、有効な適合マークを持つ医療機器としてのソフトウェアかを確立し、主張に見合うエビデンスを求め、アプリストアの評価やサプライヤーの熱意を信頼するのではなく、臨床安全評価（トピック1.6参照）を完了します。臨床家が推奨する、保証されていないアプリは、害を与えたとき、あなたの組織の名前と説明責任を負います。

12. ヘルスアプリを既存の保証に通し、キュレーションされた安全なライブラリを保つ。 デジタル治療を、すでに運営している同じ仕組み、つまりベースラインとしてのDTAC、臨床上の主張に合わせたNICE Evidence Standards Framework、臨床安全とIGのレビューで評価し、時間をかけて実世界での評価のエビデンスを築きます（トピック8.6参照）。保証し、支持するアプリのキュレーションされたライブラリを、各アプリの規制上の地位、エビデンス、所有者を記録して維持し、臨床家が、安全で統治された候補リストから推奨するようにします。代替案、つまりチームにまたがって非公式に推奨される、評価されていないアプリの制御されない乱立は、管理できず、安全ではありません。

チームで話し合うための問い#

1. 検討している、あるいはすでに使っているAIツールのそれぞれについて、それが規制対象の医療機器かを実際に知っているか。そして、そのエビデンスを示せるか。 これはコンプライアンスの形式のように聞こえますが、荷重を支える問いです。その答えが、何が適法か、誰が責任を負うか、国民に対してどんな保証を負うかを決めるからです。「トリアージを助けるだけ」や「ノートを要約するだけ」のツールを、その医療上の目的が実際にはMHRAの適合マークを必要とする規制対象の機器にしているのに、無害な管理ソフトウェアだと想定するのは簡単です。議論は、使用中またはパイプラインにあるAIツールのそれぞれを名指しし、その意図された目的を平易な臨床の言葉で述べ、誰が、どんな根拠で機器の分類の判断を下したかを特定するよう迫るべきです。規制上のチェックがまったくなく、通常のIT経路で調達されたツールという、居心地の悪いケースを表に出すべきです。規制当局や検視官が尋ねたら、今日、適合の文書と検証のエビデンスを示せるかについて、正直になってください。この会話の価値は、「誰かが確認したはずだ」という漠然とした感覚を、文書化され所有された立場に変え、誰も確認していないツールを明らかにすることです。

2. このモデルが、最も害を受けそうなグループに対してどう機能するかを見せるよう求めたか。それとも、見出しの精度の数字を受け入れたか。 平均の精度は、サプライヤーが先頭に掲げる数字であり、アルゴリズムのバイアスを隠す数字です。モデルは、全体として非常に正確でありながら、過少に代表されるグループに対して、著しく悪く機能しうるからです。医療・ケアでは、それは統計上の珍しい現象ではなく、法的にも道徳的にも減らす義務を負う不平等を、静かに規模をもって広げる仕組みです。チームは、実際にどんなサブグループのエビデンスを見たか、つまり年齢、性別、民族性、困窮度別に分解した性能と、訓練データに誰が含まれ、誰が欠けているかを知っているかを議論すべきです。ここでの居心地の悪さを名指しする価値があります。サプライヤーに公正さを迫ることは、刺激的なイノベーションを妨げるように感じられ、誠実な問いは、公平な性能を示せないツールに、ノーと言う意思があるかです。展開後に、不公平な成果をどうやって検知するかも考えます。調達時に見えなかったバイアスは、監視しない限り、本番でも見えないからです。良い議論は、あらゆる臨床AIが稼働する前に適用される、公正さについての具体的なエビデンスの基準と、その後も見守り続ける計画で終わります。

3. このモデルが誤ったとき、そして必ず誤るのだが、誰が説明責任を負い、人間が本当にそれを捉え、そして私たちはどうやってそれを知るか。 あらゆるモデルは、ときに失敗し、学習するシステムは、時間とともに、より頻繁に失敗するようにドリフトしうるため、成熟した問いは、誤りが起きるかではなく、安全策が本物かです。チームは、ヒューマン・イン・ザ・ループが意味のあるものか飾りかを試すべきです。臨床家は、覆す権限と情報を持っているか、そしてオーバーライド率を見たら、実際に覆していることがわかるのか、自動化バイアスが定着しているのか。AIが情報を与えた判断に、誰が説明責任を負うと名指しされているか、つまり臨床家、組織、サプライヤーを議論します。「アルゴリズムがやった」は、患者や検視官に対して擁護できる立場ではないからです。監視について正直に向き合います。コンセプトドリフトを検知する市販後の監視、モデルを一時停止や撤回する定義された閾値、どのバージョンが稼働しているかを知り、それをロールバックするMLOpsの仕組みがあるか。生成ツールについては、ハルシネーションの問いを加えます。でっち上げられた内容が臨床記録に入るのを何が防ぎ、信頼される前に、誰が出力を検証するか。この会話の最も有用な版は、「人間による監督」の安心できる図と、忙しい病棟の午前3時に実際に起きることとの、ギャップを露わにします。

4. モデルを訓練し、ファインチューニングし、運用するとき、患者のデータに何が起きているか。そして、サプライヤーは、それで何をする権利を留保しているか。 AIは、データがプロダクトであるからこそ、データガバナンスのリスクを集中させます。モデルは、それが触れたあらゆるデータセット、稼働前の訓練と評価のデータを含め、その背後にある適法な根拠、最小化、透明性と同じだけしか信頼できません。チームは、各ツールについて、患者データのあらゆる利用の適法な根拠、匿名化が単に主張されているだけでなく十分か、そしてデータが、あなたの管理を離れたあと、物理的にどこへ流れるかを述べられるべきです。繰り返される罠は、サプライヤーが、他者に売るプロダクトを改善するために、あなたのデータを再利用することを、静かに許す契約です。適法な根拠とあなたの明示的な同意なしに、契約がそれを禁じているか、そして誰かが実際にそれらの条項を読んだかを議論します。これは、情報ガバナンスの枠組み（トピック1.7参照）に直接つながり、有能なツールへの熱意が、最も頻繁にデューデリジェンスを追い越す場所です。誠実な答えは、誰がDPIAを所有するか、サプライヤーが何をしてよく、何をしてはならないか、そして現在どこにさらされているかを名指しします。デモが印象的だったから、書類は健全に違いないと想定するのではありません。

5. 何を採用「しない」かを、どうやって決めるか。そして、誰もが興奮しているものを買う圧力に、抵抗できるか。 動きの速い技術での最も難しいガバナンスの規律は、「まだです」や「これではありません」と言うことで、断る基準を明確に述べられないチームは、エビデンスではなく、漂流と誇大広告によって採用することになります。そうでなければ魅力的なツールから、何があれば手を引くか、つまり弱いサブグループのエビデンス、不明確な規制上の地位、リスクに比べて現実的な便益が薄い用途を話し合い、それらの越えてはならない線が、書き下ろされているのか、感じられているだけなのかを問います。ここには、本物の改善を逃すコストと、国民の信頼を損なう、拡大した失敗のコストとの間の、本物の緊張があり、合理的な人々は、それらを異なって比較考量するでしょう。採用への圧力が、しばしば、臨床のニーズそのものではなく、取締役会、サプライヤーとの関係、国の義務づけから来るという政治的な現実を名指しする価値があります。本トピックの立場は、意図してホライズンスキャンを行い、管理され、元に戻せる評価を通じて段階的に導入することです（トピック8.0参照）。そのため、誠実な答えは、有望だが証明されていないツールが、全面的な展開ではなく、小さく、測定され、止められるパイロットとして入ること、そしてそれを止める権限を誰が持つかを説明します。

6. このモデルが何をするかを、それを信頼しなければならない臨床家と、影響を受ける患者に説明できるか。そして、その限界について誠実であったか。 臨床家が問い質せず、患者が理解できないモデルは、全体としてどれだけ正確でも、臨床ケアが依存する、十分な説明に基づく判断と同意を蝕みます。チームは、この特定の用途が、実際にどれだけの説明可能性を必要とするかを話し合うべきです。キューの優先順位づけの補助は、診断や治療の判断に影響するツールより少なく求めますが、説明を賭け金に合わせることは、技術的な後付けではなく、ガバナンスの選択です。それを使うことを期待される臨床家に何を伝えるか、つまりその目的、既知の失敗パターン、それが信頼できないグループと、そのブリーフィングが率直なのか、マーケティングの要約なのかを考えます。患者への誠実さも重要です。AIが自分のケアに関わるとき、人々はそれを、行動に移せる言葉で知らされているか。これは労働力の問いでもあります。信頼が低すぎれば、有用なツールが無視され、高すぎれば、監督を空洞化させる自動化バイアスが生じるからです。誠実な答えは、研修とコミュニケーションが、校正された信頼を築いているのか、単にツールを売り込んでいるのかに向き合います。

実践例：医療・ケアの事例#

ある統合ケアシステムは、胸部X線を読み、放射線科の読影のキューを優先順位づけするために、異常の可能性をフラグ付けするAIツールを提案されます。臨床安全責任者と医療部長は、それを素早く調達する圧力に抵抗し、代わりに適切なガバナンスに通します。

まず分類です。ツールには明確な医療上の目的があるため、医療機器としてのソフトウェアであることが確認され、そのMHRAの適合マークと意図された用途の表明が検証されます。意図された用途は、自律的な診断ではなくトリアージの支援であり、それが、その後のすべてを形づくります。次に保証です。ツールはベースラインとしてのDTACを通され、その臨床上の主張はNICE Evidence Standards Frameworkに照らして確認され、DCB0160の臨床リスク評価が完了し、DPIAが画像データをカバーします（トピック1.6とトピック1.7参照）。チームはサブグループの性能を求め、検証の人口が、地元の人口統計を過少に代表していることを発見し、進める前に追加のローカルな検証を求め、潜在的なバイアスを、脚注ではなく、健康格差のリスクとして扱います。

展開では、設計が人間をループに保ちます。あらゆる画像は、依然として放射線科医が読影し、AIはキューの順序を変えるだけなので、見逃されたフラグが、単独で診断の見逃しを引き起こすことはありません。市販後の監視は、初日から立ち上げられます。検出率、モデルと読影する放射線科医の間の不一致、スキャナーのハードウェアと症例の構成が変わるにつれてのドリフトを監視し、ツールを一時停止するための、あらかじめ合意された閾値と、サプライヤーのバージョン管理された展開を通じたロールバックの経路を伴います。別に、ある病棟が、退院サマリーを下書きするために、患者の病歴を公開のLLMに貼り付けたいと求めたとき、同じガバナンスの場は、その管理されない経路にノーと言い、代わりに、人間による検証を伴う、承認された、閉じたツールを委託します。1年後、キューの優先順位づけのツールは、読影のターンアラウンドをわずかに改善し、その監視は、スキャナーのアップグレード後の一度のドリフトを捉え、そして決定的に、組織は、それがどう統治されているかを正確に示せます。

セクター別の視点#

スタートアップ#

デジタルヘルスのスタートアップは、しばしば、それ自体がAIであり、そのガバナンスの成熟度が、市場へのアクセスです。創業者は、規制上の分類、臨床的な検証、バイアスのエビデンスを、販売の前に取り付けられるコンプライアンスの税ではなく、中核のプロダクトの仕事として扱うべきです。購入者の臨床安全責任者が、まさにこれらを求め、「ノー」が取引を終わらせるからです。MHRAと早期に関与し、本当に新しい問いについては、AI Airlockのような仕組みを通じる可能性もあり、最初からDTACとNICE Evidence Standards Frameworkのために設計することは、保証を競争上の優位性に変えます。スタートアップに典型的なリスクは、過大な主張です。エビデンスを追い越すマーケティングや、悪いサブグループの性能を隠す、平均の精度のデモ。規律ある創業者は、監視と市販後の監視を、早期にプロダクトに組み込みます。参照拠点での、単一の拡大した失敗は、小さな会社にとって存亡に関わる出来事だからです。

小規模事業者#

確立した小規模の提供者、つまり一般診療所、地域薬局、介護施設、単独拠点のクリニックは、通常、AIを構築する側ではなく購入する側ですが、大きなトラストと同じ義務を、それを果たす専任の臨床安全、IG、情報学の職員なしに負います。実務上のリスクは、機器の分類、サブグループのエビデンス、DPIAを求める社内のキャパシティがなく、モデルがドリフトしたときに気づく人もいないため、サプライヤーの保証に基づいてツールを採用することです。他者がすでに行った保証に強く頼ってください。明確にMHRAの適合マークを保持し、DTACを通過したツールを好み、エビデンスを公表するサプライヤーから購入し、ヘルスアプリは、自分で一つひとつ評価するのではなく、ICSや国の機関が保証した、キュレーションされたライブラリからのみ推奨します。ツールの安全性を自分で検証できないところでは、それはチェックを飛ばす理由ではなく、システムの共有された保証に委ねる理由です。どのAIツールを、何のために、誰が所有して使っているかの、軽量な台帳を持つだけでも、管理できない義務を、釣り合いの取れたものに変えます。

大企業#

大規模なトラストやICSには、AIを適切に統治する仕組みと、それを誤ると深刻になる規模があります。その仕事は、AIが、精査されないITや研究の経路を通じて到着するのを許すのではなく、既存の臨床安全、IG、保証の機能を、AIをカバーするよう拡張することです。モデル台帳、サブグループの公正さの基準、市販後の監視、バージョン管理とロールバックのためのMLOps。大企業の本当の危険は、断片化です。中央の一覧も、一貫したDPIAもなく、ツールがドリフトしたとき誰も説明責任を負わないまま、増殖する数十のパイロット、アンビエントスクライブの試験、部門のLLMの実験。変化疲れとサプライヤーの圧力は、速い採用へ押しやるため、リーダーシップは、目新しさがより軽い手続きを正当化しないという線を守らなければなりません。うまく行えば、大企業は、小さな主体にはできない、前向きでローカルな検証のエビデンスも生み出し、システム全体で共有できます。

政府#

国と地方の政府機関、つまりMHRA、NHS England、DHSC、NICE、権限移譲された行政、地方自治体は、他の全員がAIを展開する条件を定めます。その手段は、規制、標準、保証の枠組み（DTAC、Evidence Standards Framework）、AI Airlockのようなセーフハーバーの仕組み、そして、直接ライン管理しない連合したシステム全体にわたって、安全な採用を導く資金とガイダンスです。説明責任は大臣、議会、国民に及ぶため、拡大したAIの失敗や、国のツールでの実証可能なバイアスは、長い影を落とす、国民の信頼に関わる出来事です。政府の適切な役割は、安全な道を簡単な道にすることです。明確な規則、再利用可能な保証、AIにできることとできないことについての誠実な公的コミュニケーション。そして、誇大広告に駆動される義務づけと、反射的な禁止の両方に抵抗します。どちらの方向にバランスを誤っても、何年もの信頼を失います。

よくある失敗パターン#

• 規制上の分類を飛ばす。 臨床AIを、通常のソフトウェアのように展開する。避けるには、最初に、規制上の意見を得て、機器の地位と適合マークを判定する。
• 見出しの精度への盲目。 過少に代表されるグループへの悪い性能を隠す、平均の数字を受け入れる。避けるには、稼働前にサブグループのエビデンスを求め、稼働後に不公平を監視する。
• 一度検証して、永遠に忘れる。 モデルが静かにドリフトする間、稼働を保証の終わりとして扱う。避けるには、閾値とロールバックを伴う市販後の監視を立ち上げる。
• 飾りの人間による監督。 自動化バイアスの下で形式的に承認する「ヒューマン・イン・ザ・ループ」。避けるには、オーバーライド率を監査し、介入する本物の権限を設計する。
• 統治されない生成AI。 職員が患者データを公開のLLMに貼り付け、でっち上げられた出力を信頼する。避けるには、明確な方針と、人間による検証を伴う、承認された閉じたツール。
• 並行する軽い手続き。 AIが「イノベーション」だからと、臨床安全とIGを迂回させる。避けるには、既存のDCBとDPIAの仕組みをAIに拡張する。
• 一覧がない。 どのモデルが、どのデータで、誰の所有で稼働しているかを誰も知らない。避けるには、モデル台帳を維持する。

成熟度モデル#

チェックリスト#

• 各AIツールの医療機器としての地位とMHRAの適合マークが、判定され文書化されている。
• 臨床AIが、DTACを通過し、NICE Evidence Standards Frameworkに照らして確認され、DCBの臨床リスク評価とDPIAがある。
• サブグループの性能（年齢、性別、民族性、困窮度）が確認され、合意された公正さの基準を満たしている。
• 臨床的な検証が、リスクの水準に見合い、前向きでローカルなエビデンスを好んでいる。
• 意味のあるヒューマン・イン・ザ・ループが、覆す権限と情報を伴って設計されている。
• AIが情報を与えた判断についての、名前のある説明責任が書き下ろされている。
• 市販後の監視、ドリフトの閾値、一時停止／ロールバックの計画が、稼働時から生きている。
• MLOpsが、モデルのバージョン管理と安全なロールバックを提供し、稼働中のバージョンが常にわかっている。
• 生成AIの方針が、現実的な用途を許可し、管理されないサービスへの患者データを禁じ、人間による検証を求めている。
• 情報ガバナンスが、訓練、ファインチューニング、評価のデータをカバーし、サプライヤーによる再利用に契約上の限度がある。
• 人間が読めるモデル台帳が、目的、出所、エビデンス、監視、所有者を記録している。
• 新興技術がホライズンスキャンされ、管理され、元に戻せる評価を通じて段階的に導入されている。

主要な情報源#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device、およびAI Airlockの規制のサンドボックス（gov.uk）。
• NICE — デジタルヘルス技術のためのEvidence Standards Framework (ESF)（nice.org.uk）。
• NHS England — デジタルヘルス技術のベースラインの保証のためのDigital Technology Assessment Criteria (DTAC)。
• NHS England / 旧NHSX — A Buyer's Guide to AI in Health and Care、およびAI Ethics Initiative。
• DCB0129とDCB0160 — 医療ITの臨床リスクマネジメント標準（トピック1.6参照）。
• MHRA / IMDRF — 医療機器としてのソフトウェア（SaMD）の枠組みと、適正な機械学習の実践。
• The King's FundとThe Health Foundation — 医療・ケアにおけるAI、データ、不平等の分析。
• トピック1.3 — エビデンスに基づく意思決定、トピック1.6 — 臨床安全とリスクマネジメント、トピック1.7 — 情報ガバナンス、データ保護、サイバーセキュリティ、トピック8.0 — イノベーションの段階的導入も参照。

参考文献#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics