الموضوع 8.4 — حوكمة الذكاء الاصطناعي والتقنيات الناشئة

بإيجاز: الذكاء الاصطناعي في الصحة والرعاية تقنية تعلُّم، مُعتمِدة على البيانات، وغالبًا معتمة يمكن أن تُوسِّع كلًا من الفائدة والضرر أسرع من أي نظام حكمته أبدًا، لذا يجب أن تحكمه كمسألة سلامة سريرية، إنصاف، وثقة عامة طوال دورة حياته الكاملة — لا تعامله كبرمجية عادية تشتريها مرة وتنساها.

لماذا يهم هذا في الصحة والرعاية#

معظم البرمجيات التي نشرتها تتصرف غدًا بنفس الطريقة كاليوم: منطقها مكتوب، سلوكها قابل للاختبار، وعندما تكون خاطئة تميل للخطأ بطريقة مرئية وقابلة للتكرار. يكسر الذكاء الاصطناعي كل هذه الراحات الثلاث. يتعلم أنماطًا إحصائية من البيانات بدلًا من اتباع قواعد كتبها شخص؛ يعتمد سلوكه كليًا على البيانات التي دُرِّب عليها والبيانات التي يقابلها الآن؛ وتفكيره غالبًا معتم حتى للناس الذين بنوه. هذا المزيج هو لماذا يحتاج الذكاء الاصطناعي انضباط حوكمته الخاص بدلًا من طيّه في قائمة تحقق برمجيات عامة.

في الصحة والرعاية العواقب ليست مُجرَّدة. نموذج يُقلِّل اكتشاف مرض في مجموعة مُمثَّلة بأقل من اللازم في بيانات تدريبه لا يرتكب خطأً منعزلًا — يرتكب نفس الخطأ، صمتًا، آلاف المرات، يُرسِّخ ويُوسِّع عدم المساواة الصحية. نموذج توليدي يُلفِّق تفصيلًا سريريًا مُقنِعًا يمكن أن يُضلِّل طبيبًا مُثقَلًا في اللحظة الخاطئة بالضبط. أداة تعمل بشكل رائع في السكان الذين تحقَّقت عليها يمكن أن تتآكل بهدوء عندما يتغير السكان، مسار الرعاية، أو البيانات في أعلى التدفق. يستطيع الذكاء الاصطناعي توسيع قرارات جيدة ويستطيع توسيع تحيز، خطأ، وضرر بفعالية متساوية.

هذا الموضوع حول حوكمة ذلك الخطر بلا تنفُّس الضجيج أو حظر التقنية. عمدًا لا يُكرِّر الأساسيات المُوضَّحة في مكان آخر: السلامة السريرية (انظر الموضوع 1.6 — السلامة السريرية وإدارة المخاطر)، حوكمة المعلومات، حماية البيانات والأمن السيبراني (انظر الموضوع 1.7 — حوكمة المعلومات، حماية البيانات، والأمن السيبراني)، وصنع القرار المُوجَّه بالدليل (انظر الموضوع 1.3 — القرارات المُستنِدة إلى الدليل). يرتكز عليها، ويُضيف ما هو خاص بأنظمة التعلُّم. عامله كامتداد بشكل الذكاء الاصطناعي لضمانك الحالي، وكشقيق محكوم لتدريج الابتكار (انظر الموضوع 8.0 — تدريج الابتكار).

مفاهيم جوهرية#

الذكاء الاصطناعي والتعلُّم الآلي. للقائد، التمييز العملي هو هذا: معظم الذكاء الاصطناعي في الصحة والرعاية اليوم تعلُّم آلي — أنظمة تستدل أنماطًا من أمثلة بدلًا من تنفيذ قواعد مكتوبة بخط اليد. هذا لماذا البيانات المنتج بقدر ما هو الكود: غيِّر بيانات التدريب وتُغيِّر السلوك. يعني أيضًا أن نموذجًا لا "يعرف" شيئًا؛ يُقدِّر، ويمكن أن يكون خاطئًا بثقة. فهم هذا على مستوى مفهومي كافٍ لطرح أسئلة الحوكمة الصحيحة؛ لا تحتاج قراءة الرياضيات.

البرمجية كجهاز طبي (SaMD) وMHRA. عندما تحمل برمجية غرضًا طبيًا — تشخيص، فحص، فرز، حساب جرعة، التنبؤ بتدهور — غالبًا جدًا جهاز طبي بالقانون، بغض النظر عن ما إذا كانت تعمل على هاتف أو خادم. تُنظِّم البرمجية الطبية من هذا النوع، المعروفة بالبرمجية كجهاز طبي (SaMD)، بالمملكة المتحدة من هيئة تنظيم الأدوية ومنتجات الرعاية الصحية (MHRA). إن كنت تُكلِّف أو تبني أداة ذكاء اصطناعي بغرض سريري، سؤال الحوكمة الأول هو ما إذا كانت جهازًا مُنظَّمًا و، إن كانت، ما إذا كانت تحمل علامة توافق صالحة. الخطأ في هذا ليس تفصيلة فنية؛ نشر جهاز طبي غير مُسجَّل غير قانوني وغير آمن.

AI Airlock. أسَّست MHRA صندوق رمل تنظيميًا يُدعى AI Airlock لدراسة كيف يجب تنظيم الذكاء الاصطناعي كجهاز طبي في بيئة مُتحكَّم بها ومُراقَبة. يسمح صندوق رمل تنظيمي لمُنظِّم وعدد قليل من المُطوِّرين بفحص أسئلة صعبة وجديدة — مثلًا كيف تُصادَق نموذجًا يُحدَّث بمرور الوقت — تحت إشراف، قبل تحديد قواعد عامة. كن واقعيًا حول ما هو هذا: Airlock بيئة تعلُّم للمُنظِّم وحفنة مُشارِكين، لا مسار موافقة سريع، والارتباط به لا يعني أن منتجًا موافق عليه للاستخدام السريري العام.

التحيز الخوارزمي والعدالة. التحيز الخوارزمي هو ميل نظام لإنتاج نتائج غير عادلة نظاميًا لمجموعات مُحدَّدة. في الصحة والرعاية مصدره الأكثر شيوعًا بيانات التدريب: إن كانت مجموعة مُمثَّلة بأقل من اللازم، مُصنَّفة بشكل خاطئ، أو مقاسة بأداة مُتحيِّزة، يتعلم النموذج خدمة تلك المجموعة بشكل أسوأ. لأن النموذج يُطبِّق هذا بعد ذلك على نطاق واسع وبهواء من الموضوعية، الذكاء الاصطناعي المُتحيِّز يستطيع توسيع نفس عدم المساواة التي مؤسستك مُلزَمة قانونيًا بتقليلها.

قابلية التفسير والصندوق الأسود. يهتم الذكاء الاصطناعي القابل للتفسير بما إذا كان إنسان يستطيع فهم لماذا أنتج نموذج مخرجًا مُعطًى. كثير من النماذج عالية الأداء فعليًا "صناديق سوداء": دقيقة بالإجمالي لكن غير قادرة على إعطاء طبيب سببًا موثوقًا لقرار فردي. في بيئة سريرية هذا يهم للمساءلة، الموافقة المُستنِيرة، وواجب الطبيب لممارسة الحكم — لا يستطيع طبيب تحمل مسؤولية معنوية عن نصيحة لا يستطيع استجوابها.

انحراف النموذج ومراقبة ما-بعد-السوق. دقة نموذج ليست ثابتة. انحراف المفهوم — تغيير بمرور الوقت في العلاقة بين المُدخَلات والشيء المُتنبَّأ به — يعني أن نموذجًا صُودِق العام الماضي يمكن أن يتدهور بصمت هذا العام مع تغيير السكان، المسارات، أو البيانات في أعلى التدفق. هذا لماذا يتطلب الذكاء الاصطناعي مراقبة ما-بعد-السوق ومتابعة مستمرة، لا تحققًا لمرة واحدة عند الانطلاق.

MLOps ودورة حياة النموذج. MLOps هو الانضباط التشغيلي لنشر، مراقبة، تحديد إصدار، وإعادة تدريب نماذج بشكل موثوق في الإنتاج. هي الآلية التي تجعل حوكمة دورة الحياة حقيقية: معرفة أي إصدار نموذج حي، على أي بيانات، بأي أداء، والقدرة على التراجع.

إنسان في الحلقة. يحفظ تصميم إنسان في الحلقة شخصًا — عادةً طبيب — في القرار بمعنى، بالسلطة والمعلومات لتجاوز النموذج. عند فعله جيدًا يحفظ المساءلة؛ عند فعله كختم مطاطي يُوفِّر فقط وهم الإشراف.

الذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة. يُنتِج الذكاء الاصطناعي التوليدي، يشمل نماذج اللغة الكبيرة (LLMs)، نصًا طلقًا ومحتوى آخر. قيمته الواقعية قصيرة المدى في الصحة والرعاية إدارية بشكل كبير — صياغة توثيق، تلخيص، تخفيف الأوراق. خطره المُحدِّد هو الهلوسة: التوليد الواثق لمحتوى خاطئ لكن مُقنِع، مُضاعَف بمخاطر سرية عندما تُدخَل بيانات مريض لخدمات طرف ثالث.

العلاجات الرقمية وتطبيقات الصحة. العلاجات الرقمية (DTx) هي تدخلات مدفوعة ببرمجية ومُستنِدة إلى دليل تمنع، تُدير، أو تُعالِج حالة — مُتميِّزة عن تطبيقات الرفاهية العامة بالضبط لأنها تُقدِّم مطالبة سريرية، الذي يعني أن كثيرًا منها برمجية كجهاز طبي وتتطلب نفس الدليل والضمان كأي تدخل آخر تصفه أو توصي به.

أفضل الممارسات#

1. صنِّف الأداة قبل فعل أي شيء آخر. أسِّس، كتابةً وبمدخل سريري وتنظيمي، ما إذا كان الذكاء الاصطناعي يحمل غرضًا طبيًا وبالتالي جهازًا طبيًا مُنظَّمًا، وما إذا كان يحمل علامة توافق MHRA صالحة. هذا التحديد الواحد يحكم كل شيء لاحق — مسار الضمان، المسؤوليات، شرعية النشر. عند الشك، اطلب استشارة تنظيمية بدلًا من افتراض أن أداة إدارية خارج النطاق.

2. شغِّل الذكاء الاصطناعي خلال آليتك الحالية للسلامة السريرية وIG، مُوسَّعة لا مُتجاوَزة. يحتاج كل نشر ذكاء اصطناعي سريري إدارة خطر سريري DCB0129/DCB0160 (انظر الموضوع 1.6) وتقييم تأثير حماية بيانات تحت إطار حوكمة معلوماتك (انظر الموضوع 1.7). لا تسمح للجدة أو حماس المورد بإنشاء عملية موازية وأخف. يجب أن تُضاف مخاطر خاصة بالذكاء الاصطناعي — تحيز، انحراف، عمى، تحيز أتمتة — لسجل الخطر، لا استبداله.

3. استجوب بيانات التدريب للتمثيلية والتحيز. اسأل من في البيانات ومن غائب، كيف صُنِّفت النتائج، وما إذا كانت أدوات القياس نفسها مُتحيِّزة عبر مجموعات. اطلب من المورد تقديم تقرير الأداء مُفصَّلًا بمجموعات فرعية ذات صلة — عمر، جنس، عرق، حرمان — لا الدقة الرئيسية فقط. أداة لا تستطيع إظهار أداء عادل خطر عدم مساواة صحية بغض النظر عن كم مُثيرًا متوسطها.

4. اطلب تحققًا سريريًا مناسبًا للخطر، وفضِّل الدليل المُستقبَلي. الدقة الاستعادية على بيانات مُنسَّقة الشكل الأضعف للدليل. لأي شيء يؤثر على قرارات سريرية، اطلب تحققًا في سكان وتدفق عمل مثل خاصتك، مثاليًا مستقبليًا، ووجِّه المطالبة خلال إطار الضمان المناسب — إطار معايير الدليل لNICE لتقنيات الصحة الرقمية ومعايير تقييم التقنية الرقمية (DTAC) كضمان أساسي. طابِق قوة الدليل مع مقدار الضرر المحتمل.

5. أصِرّ على إنسان-في-الحلقة ذي معنى ومساءلة واضحة. حدِّد من مساءل عن قرار أعلمه الذكاء الاصطناعي، وتأكَّد أن الإنسان يملك كلًا من السلطة للتجاوز والمعلومات لفعله. احرس بنشاط ضد تحيز الأتمتة — الميل للاستسلام للجهاز — من خلال التدريب، تصميم الواجهة، وتدقيق معدلات التجاوز. إن لم تحدث التجاوزات أبدًا، "إنسانك في الحلقة" زخرفي.

6. عامل الانطلاق كبداية المراقبة، لا نهاية الضمان. أقِم مراقبة ما-بعد-السوق من اليوم الأول: راقب الأداء الواقعي، احترس من انحراف المفهوم، وحدِّد الحدود والعملية لإعادة التدريب، التوقف، أو الانسحاب من النموذج. أسِّس تحديد إصدار النموذج والتراجع من خلال MLOps سليم بحيث تعرف دائمًا ما هو حي وتستطيع التراجع بأمان. نموذج لا يُعاد فحصه أبدًا هو ضابط سلامة يفشل ببطء.

7. احكم الذكاء الاصطناعي التوليدي لاستخداماته الواقعية ومقابل مخاطره الحقيقية. اسمح لLLMs حيث القيمة حقيقية والخطر محدود — صياغة إدارية، تلخيص، دعم توثيق بمراجعة إنسانية — وامنع دخول بيانات مريض قابلة للتحديد بلا إدارة لخدمات طرف ثالث. افترض أن أي مخرج توليدي قد يكون مُلفَّقًا حتى يُصادِق عليه إنسان، ولا تسمح أبدًا لمحتوى مُولَّد غير مُصادَق عليه بدخول السجل السريري. سياسة واضحة ومفروضة تهزم كلًا من حظر شامل يقود لاستخدام ظِلّي وحرية كاملة تُسرِّب بيانات.

8. طبِّق حوكمة المعلومات على دورة حياة البيانات كاملة، يشمل التدريب. تخضع البيانات المُستخدَمة لتدريب، ضبط دقيق، وتقييم نموذج لنفس واجبات الأساس القانوني، التقليل، والشفافية كأي استخدام آخر (انظر الموضوع 1.7). كن صريحًا حول الأساس للتدريب على بيانات مريض، ما إذا كانت غير محدَّدة الهوية بشكل كافٍ، وماذا قد يفعل المورد بها. يجب أن تمنع العقود إعادة استخدام بياناتك لتدريب منتجات لآخرين بلا أساس قانوني وموافقتك.

9. احفظ سجل نموذج قابلًا للقراءة الإنسانية واطلب شفافية من الموردين. حافظ على قائمة للذكاء الاصطناعي المُستخدَم: الغرض، الحالة التنظيمية، مصدر بيانات التدريب، دليل التحقق، خطة المراقبة، والمالك المساءل. اطلب من الموردين الشفافية حول كيف يعمل نموذج، حدوده، وأنماط فشله؛ عمى من مورد إشارة خطر بحد ذاته. لا تستطيع حوكمة ما لم تكتبه.

10. افحص الأفق بتعمُّد وتدرَّج من خلال تقييم مُتحكَّم به. بعد الذكاء الاصطناعي اليوم، راقب تقنيات ناشئة — توثيق مُحيطي، نماذج أساس، وأبعد، الكوانتم والاستشعار الجديد — بفحص أفق مُهيكَل بدلًا من شراء تفاعلي. قدِّم أي شيء جديد فعليًا من خلال النهج المُتحكَّم به، القابل للعكس، والمُقيَّم لتدريج الابتكار (انظر الموضوع 8.0)، ابدأ صغيرًا، قِس بأمانة، واحفظ القدرة على التوقف.

11. عامل العلاجات الرقمية وتطبيقات الصحة كتدخلات، لا تنزيلات مستهلك. عندما يقدِّم تطبيق مطالبة سريرية — للعلاج، الإدارة، أو منع حالة — إنه تدخل سيتصرف عليه المرضى، ويستحق نفس التمحيص كدواء أو جهاز قبل أن تصفه أو توصي به. أسِّس ما إذا كان برمجية كجهاز طبي بعلامة توافق صالحة، اطلب دليلًا متناسبًا مع مطالبته، وأكمِل تقييم سلامة سريرية (انظر الموضوع 1.6) بدلًا من الثقة بتقييم متجر تطبيقات أو حماس مورد. تطبيق غير مضمون يُصادِق عليه طبيب يحمل اسم مؤسستك ومساءلتك إن أضرَّ.

12. وجِّه تطبيقات الصحة خلال الضمان الحالي واحفظ مكتبة مُنتقاة وآمنة. قيِّم العلاجات الرقمية من خلال نفس الآلية التي تُشغِّلها بالفعل — DTAC كأساس، إطار معايير الدليل لNICE مُطابَق للمطالبة السريرية، ومراجعة سلامة سريرية وIG — وابنِ دليل تقييم واقعي بمرور الوقت (انظر الموضوع 8.6). حافظ على مكتبة مُنتقاة من تطبيقات ضمنتها وتقف خلفها، بحالة تنظيمية، دليل، ومالك مُسجَّل لكل تطبيق، بحيث يُوصِي الأطباء من قائمة قصيرة آمنة ومحكومة. البديل — انتشار غير مُتحكَّم به من تطبيقات غير مُقيَّمة مُوصَى بها بشكل غير رسمي عبر فرق — غير قابل للإدارة وغير آمن.

أسئلة للمناقشة مع فريقك#

1. لكل أداة ذكاء اصطناعي نُفكِّر فيها أو نستخدمها بالفعل، هل نعرف فعليًا ما إذا كانت جهازًا طبيًا مُنظَّمًا — وهل نستطيع إنتاج الدليل؟ يبدو هذا شكلية امتثال لكن إنه السؤال الحامل للثقل، لأن الإجابة تُحدِّد ما هو قانوني، من مسؤول، وأي ضمان تُدين به للعامة. سهل افتراض أن أداة "تساعد فقط بالفرز" أو "تُلخِّص فقط ملاحظات" برمجية إدارية بلا ضرر بينما غرضها الطبي فعليًا يجعلها جهازًا مُنظَّمًا يتطلب علامة توافق MHRA. يجب أن يفرض النقاش تسمية كل أداة ذكاء اصطناعي مُستخدَمة أو في خط الأنابيب، ذكر غرضها المقصود بمصطلحات سريرية بسيطة، وتحديد من اتخذ قرار تصنيف الجهاز وعلى أي أساس. يجب أن يُظهِر الحالات غير المريحة حيث اشتُريت أداة من خلال مسار تقنية معلومات عادي بلا فحص تنظيمي على الإطلاق. كن أمينًا حول ما إذا كنت تستطيع، اليوم، إنتاج وثائق التوافق ودليل التحقق إن سأل مُنظِّم أو محقِّق وفاة. قيمة المحادثة هي أنها تُحوِّل إحساسًا غامضًا أن "لا بد أن أحدًا فحص" لموضع مُوثَّق ومملوك — وتكشف الأدوات التي لم يفعل فيها أحد.

2. هل طالبنا برؤية كيف يعمل هذا النموذج للمجموعات الأكثر احتمالًا للضرر، أم قبلنا رقم دقة رئيسي؟ الدقة المتوسطة هي الرقم الذي يقود به الموردون والرقم الذي يُخفي التحيز الخوارزمي، لأن نموذجًا يمكن أن يكون دقيقًا للغاية إجماليًا بينما يؤدي أسوأ بشكل ملحوظ لمجموعة مُمثَّلة بأقل من اللازم. في الصحة والرعاية هذا ليس فضولًا إحصائيًا؛ إنه آلية لتوسيع عدم المساواة التي أنت مُلزَم قانونيًا وأخلاقيًا بتقليلها، مُطبَّقة صمتًا وعلى نطاق واسع. يجب أن يناقش الفريق أي دليل مجموعة فرعية شاهدتموه فعليًا — أداء مُفصَّل بالعمر، الجنس، العرق، والحرمان — وما إذا عرفت من كان في بيانات التدريب ومن غاب. يستحق ذكر عدم الراحة هنا: الضغط على مورد للعدالة يمكن أن يشعر كعرقلة ابتكار مُثير، والسؤال الأمين هو ما إذا كنت مستعدًا لقول لا لأداة لا تستطيع إظهار أداء عادل. فكّر أيضًا كيف ستكتشف حتى نتائج غير عادلة بعد النشر، لأن تحيزًا كان غير مرئي عند الشراء سيكون غير مرئي في الإنتاج إلا إن راقبته. ينتهي نقاش جيد بمعيار دليل ملموس للعدالة يُطبَّق قبل انطلاق أي ذكاء اصطناعي سريري، وخطة لمواصلة المراقبة بعد ذلك.

3. عندما يكون هذا النموذج خاطئًا — وسيكون — من مساءل، هل سيلتقطه إنسان فعليًا، وكيف سنعرف حتى؟ يفشل كل نموذج أحيانًا، وتستطيع أنظمة التعلُّم الانحراف للفشل أكثر بمرور الوقت، لذا السؤال الناضج ليس ما إذا حدثت أخطاء بل ما إذا كانت ضماناتك حقيقية. يجب أن يختبر الفريق ما إذا كان الإنسان-في-الحلقة ذا معنى أو زخرفيًا: هل يملك الطبيب السلطة والمعلومات للتجاوز، وإن نظرت لمعدلات التجاوز، هل ستجد أنهم يتجاوزون فعليًا، أو استقر تحيز الأتمتة؟ ناقش من مُسمّى كمساءل عن قرار أعلمه الذكاء الاصطناعي — الطبيب، المؤسسة، المورد — لأن "الخوارزمية فعلت ذلك" ليس موضعًا قابلًا للدفاع لمريض أو محقِّق وفاة. واجه مراقبتك بأمانة: هل تملك مراقبة ما-بعد-السوق التي ستكتشف انحراف المفهوم، حدودًا مُحدَّدة لتوقيف أو الانسحاب من النموذج، وآلية MLOps لمعرفة أي إصدار حي والتراجع عنه؟ للأدوات التوليدية، أضِف سؤال الهلوسة — ماذا يوقف محتوى مُلفَّقًا من دخول السجل السريري، ومن يُصادِق على المخرج قبل الثقة به؟ النسخة الأكثر فائدة من هذه المحادثة تكشف الفجوة بين مخطط "الإشراف الإنساني" المُطمئِن وما سيحدث فعليًا في الساعة الثالثة صباحًا في جناح مشغول.

4. ماذا يحدث لبيانات مرضانا عندما نُدرِّب، نضبط بدقة، ونُشغِّل هذه النماذج — وماذا احتفظ المورد بحق فعله بها؟ يُركِّز الذكاء الاصطناعي خطر حوكمة البيانات بالضبط لأن البيانات المنتج: نموذج موثوق فقط بقدر الأساس القانوني، التقليل، والشفافية خلف كل مجموعة بيانات لمسها، يشمل بيانات التدريب والتقييم التي تسبق الانطلاق. يجب أن يستطيع الفريق ذكر، لكل أداة، الأساس القانوني لأي استخدام لبيانات مريض، ما إذا كان إخفاء الهوية كافيًا بدلًا من مُؤكَّدًا فقط، وأين تتدفق البيانات فعليًا بمجرد أن تترك تحكمك. الفخ المتكرر هو العقد الذي يسمح بهدوء للمورد بإعادة استخدام بياناتك لتحسين منتجات سيبيعها لآخرين؛ ناقش ما إذا كانت اتفاقياتك تمنع ذلك بلا أساس قانوني وموافقتك الصريحة، وما إذا قرأ أحد تلك البنود فعليًا. هذا يربط مباشرة بإطار حوكمة معلوماتك (انظر الموضوع 1.7)، وهو حيث يتجاوز الحماس لأداة قادرة العناية الواجبة أكثر ما يحدث. إجابة أمينة تُسمّي من يملك DPIA، ما يستطيع المورد وما لا يستطيع فعله، وأين أنت مُعرَّض حاليًا — بدلًا من افتراض أنه لأن العرض التجريبي كان مثيرًا فالأوراق يجب أن تكون سليمة.

5. كيف نُقرِّر ما لا نتبناه، وهل نستطيع مقاومة الضغط لشراء الشيء الذي يتحمَّس له الجميع؟ أصعب انضباط حوكمة مع تقنية سريعة الحركة هو قول "ليس الآن" أو "ليس هذا"، وفريق لا يستطيع صياغة معاييره للرفض سينتهي بتبني بالانجراف والضجيج بدلًا من الدليل. ناقش ما سيجعلك تنسحب من أداة جاذبة خلاف ذلك — دليل مجموعة فرعية ضعيف، حالة تنظيمية غير واضحة، حالة استخدام الفائدة الواقعية فيها رقيقة نسبة للخطر — وما إذا كانت تلك الخطوط الحمراء مكتوبة أو مُشعَرة فقط. يوجد توتر حقيقي هنا بين كلفة تفويت تحسين حقيقي وكلفة فشل مُوسَّع يُتلِف الثقة العامة، وسيزنها ناس معقولون بشكل مختلف. يستحق ذكر الواقع السياسي أن الضغط للتبني غالبًا يأتي من مجلس، علاقة مورد، أو تفويض وطني، لا من الحاجة السريرية نفسها. موقف الموضوع هو فحص الأفق بتعمُّد والتدرج من خلال تقييم مُتحكَّم به وقابل للعكس (انظر الموضوع 8.0)، لذا إجابة أمينة تصف كيف تدخل أداة واعدة-لكن-غير-مُثبَتة كتجربة صغيرة، مقاسة، وقابلة للتوقيف بدلًا من نشر شامل — ومن يملك السلطة لإيقافها.

6. هل نستطيع تفسير ماذا يفعل هذا النموذج للأطباء الذين يجب أن يثقوا به والمرضى المتأثرين به — وهل كنا أمناء حول حدوده؟ نموذج لا يستطيع طبيب استجوابه ولا يستطيع مريض فهمه يُتلِف الحكم المُستنِير والموافقة المُستنِيرة الذين تعتمد عليهما الرعاية السريرية، بغض النظر عن دقته الإجمالية. يجب أن يناقش الفريق كم قابلية تفسير يتطلبها فعليًا هذا الاستخدام المُحدَّد: مساعد ترتيب أولوية طابور يتطلب أقل من أداة تؤثر على قرار تشخيص أو علاج، ومطابقة التفسير مع المخاطر خيار حوكمة، لا فكرة تقنية لاحقة. فكّر ماذا تخبر الأطباء المُتوقَّع استخدامهم له — غرضه، أنماط فشله المعروفة، المجموعات التي هو أقل موثوقية لها — وما إذا كان ذلك الإحاطة صريحًا أو ملخصًا تسويقيًا. الأمانة المواجهة للمريض تهم أيضًا: هل يُخبَر الناس عندما يكون الذكاء الاصطناعي مُشارِكًا في رعايتهم، وبلغة يستطيعون التصرف عليها؟ هذا أيضًا سؤال قوى عاملة، لأن ثقة منخفضة جدًا تعني تجاهل أداة مفيدة بينما ثقة عالية جدًا تُنتِج تحيز الأتمتة الذي يُجوِّف الإشراف. إجابة أمينة تواجه ما إذا كان تدريبك واتصالك يبنيان ثقة مُقيَّسة أو فقط يبيعان الأداة.

في الممارسة: مثال من الصحة والرعاية#

يُعرَض على نظام رعاية متكامل أداة ذكاء اصطناعي تقرأ صور صدر بالأشعة السينية وتُعلِّم أوجه شذوذ محتملة لترتيب أولوية طابور تقرير الأشعة. يقاوم ضابط السلامة السريرية والمدير الطبي الضغط لشرائها بسرعة ويُخضِعانها بدلًا من ذلك لحوكمة صحيحة.

أولًا، التصنيف: تحمل الأداة غرضًا طبيًا واضحًا، لذا تُؤكَّد كبرمجية كجهاز طبي، ويُحقَّق من علامة توافق MHRA وبيان الاستخدام المقصود — الاستخدام المقصود هو دعم الفرز، لا التشخيص المستقل، الذي يُشكِّل كل ما يتبع. تاليًا، الضمان: تُخذَل الأداة خلال DTAC كأساس، تُفحَص مطالباتها السريرية مقابل إطار معايير الدليل لNICE، تُكمَل تقييم خطر سريري DCB0160، وتُغطّي DPIA بيانات التصوير (انظر الموضوعين 1.6 و1.7). يطلب الفريق أداء مجموعة فرعية ويكتشف أن سكان التحقق مثَّلوا بأقل من اللازم مجموعة ديموغرافية محلية؛ يطلبون تحققًا محليًا إضافيًا قبل المواصلة، يعاملون التحيز المحتمل كخطر عدم مساواة صحية بدلًا من حاشية.

عند النشر يحفظ التصميم إنسانًا في الحلقة: لا يزال كل صورة يُقدِّم عنها تقريرًا مُصوِّر أشعة، وفقط يُعيد الذكاء الاصطناعي ترتيب الطابور، لذا لا يمكن لعلامة مفوتة بمفردها أن تُسبِّب تشخيصًا مفوتًا. تُقام مراقبة ما-بعد-السوق من اليوم الأول — مراقبة معدلات الاكتشاف، عدم التوافق بين النموذج ومُصوِّري الأشعة المُقدِّمين للتقرير، وأي انحراف مع تغيير عتاد الماسح ومزيج الحالات — بحدود مُتَّفَق عليها مسبقًا لتوقيف الأداة ومسار تراجع من خلال نشر مورد المُحدَّد بإصدار. بشكل منفصل، عندما يطلب جناح لصق تاريخ مريض في LLM عام لصياغة ملخصات خروج، يقول منتدى الحوكمة نفسه لا لذلك المسار غير المُدار ويُكلِّف أداة مُوافَق عليها ومحصورة بمصادقة إنسانية بدلًا من ذلك. بعد سنة، حسَّنت أداة ترتيب أولوية الطابور آنية التقرير بشكل متواضع، التقطت مراقبتها حالة انحراف واحدة بعد ترقية ماسح، و— بشكل حاسم — تستطيع المؤسسة إظهار بالضبط كيف تُحكَم.

عدسات قطاعية#

شركة ناشئة#

غالبًا تكون شركة صحة رقمية ناشئة الذكاء الاصطناعي، لذا نضج حوكمتها وصولها للسوق. يجب أن يعامل المؤسسون التصنيف التنظيمي، التحقق السريري، ودليل التحيز كعمل منتج جوهري، لا ضريبة امتثال مُلحَقة قبل بيع، لأن ضابط سلامة سريرية للمشتري سيطلب بالضبط هذه و"لا" تُنهي الصفقة. الإشراك المبكر مع MHRA — محتملًا من خلال آليات مثل AI Airlock لأسئلة جديدة فعليًا — والتصميم لDTAC وإطار معايير الدليل لNICE من البداية يُحوِّل الضمان لميزة تنافسية. خطر الشركة الناشئة المُميَّز هو المبالغة في المطالبة: تسويق يتجاوز الدليل، أو عرض دقة متوسطة يُخفي أداء مجموعة فرعية ضعيفًا. يبني المؤسس المنضبط مراقبة ورصد ما-بعد-السوق في المنتج مبكرًا، لأن فشلًا واحدًا مُوسَّعًا في موقع مرجعي حدث وجودي لشركة صغيرة.

شركة صغيرة#

مقدم خدمة صغير راسخ — عيادة طبيب عام، صيدلية مجتمعية، دار رعاية، عيادة أحادية الموقع — عادةً مشترٍ للذكاء الاصطناعي بدلًا من باني، ومع ذلك يحمل نفس الواجبات كمؤسسة ائتمانية كبيرة بلا أي من موظفي سلامة سريرية، IG، أو معلوماتية مُخصَّصين لتفريغها. الخطر العملي هو تبني أداة على تأكيدات مورد لأنه لا توجد قدرة داخلية للمطالبة بتصنيف جهاز، دليل مجموعة فرعية، أو DPIA، ولا أحد يلاحظ عندما ينحرف نموذج. اعتمد بشدة على ضمان قام به آخرون بالفعل: فضِّل أدوات تحمل علامة توافق MHRA واضحة وعبرت DTAC، اشترِ من موردين ينشرون دليلهم، وأوصِ بتطبيقات صحة فقط من مكتبة مُنتقاة ضمنها ICS خاصك أو هيئة وطنية بدلًا من تقييم كل واحد بنفسك. حيث لا تستطيع التحقق شخصيًا من سلامة أداة، ذلك سبب للتأجيل لضمان نظامك المشترك، لا لتخطي الفحص. حفظ حتى سجل خفيف لأدوات الذكاء الاصطناعي التي تستخدمها، لماذا، ومن يملكها يُحوِّل واجبًا غير قابل للإدارة لواجب متناسب.

مؤسسة كبيرة#

تملك مؤسسة ائتمانية كبيرة أو ICS الجهاز لحوكمة الذكاء الاصطناعي بشكل صحيح والنطاق الذي يجعل الخطأ فيه جديًا. عملها هو توسيع وظائف السلامة السريرية، IG، والضمان الحالية لتُغطّي الذكاء الاصطناعي — سجل نموذج، معايير عدالة مجموعة فرعية، مراقبة ما-بعد-السوق، MLOps لتحديد الإصدار والتراجع — بدلًا من السماح للذكاء الاصطناعي بالوصول من خلال مسارات تقنية معلومات أو بحث غير مفحوصة. الخطر الحقيقي للمؤسسة الكبيرة هو التشتت: دستات تجارب، تجارب كاتب مُحيطي، وتجارب LLM قسمية تتضاعف بلا مخزون مركزي، بلا DPIA مُتَّسِق، وبلا أحد مساءل عندما تنحرف أداة. إرهاق التغيير وضغط المورد يدفعان نحو تبني سريع، لذا يجب أن تحفظ القيادة الخط أن الجدة لا تكسب عملية أخف. عند فعله جيدًا، تستطيع المؤسسة الكبيرة أيضًا توليد دليل تحقق مستقبلي ومحلي لا يستطيع لاعبون أصغر توليده، ومشاركته عبر النظام.

حكومة#

تُحدِّد هيئات حكومية وطنية ومحلية — MHRA، NHS England، DHSC، NICE، إدارات مُفوَّضة، وسلطات محلية — الظروف التي ينشر تحتها الجميع الآخرون الذكاء الاصطناعي. أدواتها التنظيم، المعايير، أطر الضمان (DTAC، إطار معايير الدليل)، آليات الميناء الآمن مثل AI Airlock، والتمويل والإرشاد الذي يُوجِّه تبنيًا آمنًا عبر نظام اتحادي لا تُديره خطيًا مباشرة. تجري المساءلة للوزراء، البرلمان، والعامة، لذا فشل ذكاء اصطناعي مُوسَّع أو تحيز قابل للإظهار في أداة وطنية حدث ثقة عامة بظل طويل. دور الحكومة المناسب هو جعل المسار الآمن السهل — قواعد واضحة، ضمان قابل لإعادة الاستخدام، اتصال عام أمين حول ما يستطيع وما لا يستطيع الذكاء الاصطناعي فعله — بينما تُقاوِم كلًا من تفويضات مقادة بالضجيج والحظر الانعكاسي. الخطأ في التوازن في أي اتجاه يُكلِّف سنوات من الثقة.

أنماط فشل شائعة#

• تخطي التصنيف التنظيمي. نشر ذكاء اصطناعي سريري كما لو كان برمجية عادية. تجنبه بـ تحديد حالة الجهاز وعلامة التوافق أولًا، بمدخل تنظيمي.
• عمى الدقة الرئيسية. قبول رقم متوسط يُخفي أداء ضعيفًا لمجموعات مُمثَّلة بأقل من اللازم. تجنبه بـ طلب دليل مجموعة فرعية قبل الانطلاق والمراقبة لعدم الإنصاف بعده.
• صادِق مرة، انسَ للأبد. معاملة الانطلاق كنهاية الضمان بينما ينحرف النموذج بصمت. تجنبه بـ إقامة مراقبة ما-بعد-السوق بحدود وتراجع.
• إشراف إنساني زخرفي. "إنسان في الحلقة" يختم مطاطيًا تحت تحيز أتمتة. تجنبه بـ تدقيق معدلات التجاوز وتصميم سلطة حقيقية للتدخل.
• ذكاء اصطناعي توليدي غير محكوم. يلصق موظفون بيانات مريض في LLMs عامة ويثقون بمخرج مُلفَّق. تجنبه بـ سياسة واضحة بالإضافة لأداة موافق عليها ومحصورة بمصادقة إنسانية.
• عملية خفيفة موازية. السماح للذكاء الاصطناعي بتجاوز السلامة السريرية وIG لأنه "ابتكار". تجنبه بـ توسيع آلية DCB وDPIA الحالية للذكاء الاصطناعي.
• لا مخزون. لا أحد يعرف أي نماذج حية، على أي بيانات، مملوكة لمن. تجنبه بـ الحفاظ على سجل نموذج.

نموذج النضج#

قائمة التحقق#

• حالة الجهاز الطبي وعلامة توافق MHRA لكل أداة ذكاء اصطناعي مُحدَّدة ومُوثَّقة.
• الذكاء الاصطناعي السريري عبر DTAC، فُحِص مقابل إطار معايير الدليل لNICE، ويملك تقييم خطر سريري DCB وDPIA.
• أداء المجموعة الفرعية (عمر، جنس، عرق، حرمان) شُوهِد ويُقابِل معيار عدالة مُتَّفَق عليه.
• التحقق السريري يُطابِق مستوى الخطر ويُفضِّل دليلًا مستقبليًا ومحليًا.
• إنسان-في-الحلقة ذو معنى مُصمَّم، بسلطة ومعلومات للتجاوز.
• المساءلة المُسمّاة للقرارات المُعلَمة بالذكاء الاصطناعي مكتوبة.
• مراقبة ما-بعد-السوق، حدود الانحراف، وخطة توقف/تراجع حية من الانطلاق.
• يُعطي MLOps تحديد إصدار نموذج وتراجعًا آمنًا؛ الإصدار الحي معروف دائمًا.
• سياسة الذكاء الاصطناعي التوليدي تسمح باستخدامات واقعية، تمنع بيانات مريض في خدمات غير مُدارة، وتتطلب مصادقة إنسانية.
• حوكمة المعلومات تُغطّي بيانات التدريب، الضبط الدقيق، والتقييم، بحدود عقدية على إعادة استخدام المورد.
• سجل نموذج قابل للقراءة الإنسانية يُسجِّل الغرض، المصدر، الدليل، المراقبة، والمالك.
• تُفحَص التقنيات الناشئة أفقيًا وتُدرَّج من خلال تقييم مُتحكَّم به وقابل للعكس.

المصادر الرئيسية#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, and the AI Airlock regulatory sandbox (gov.uk).
• NICE — Evidence Standards Framework (ESF) for digital health technologies (nice.org.uk).
• NHS England — Digital Technology Assessment Criteria (DTAC) for baseline assurance of digital health technologies.
• NHS England / former NHSX — A Buyer's Guide to AI in Health and Care, and the AI Ethics Initiative.
• DCB0129 and DCB0160 — clinical risk management standards for health IT (see الموضوع 1.6).
• MHRA / IMDRF — Software as a Medical Device (SaMD) framework and good machine learning practice.
• The King's Fund and the Health Foundation — analysis of AI, data, and inequalities in health and care.
• See also الموضوع 1.3 — Evidence-Driven Decisions; الموضوع 1.6 — Clinical Safety & Risk Management; الموضوع 1.7 — Information Governance, Data Protection & Cyber Security; الموضوع 8.0 — Phasing in Innovation.

المراجع#

1. Artificial intelligence — ويكيبيديا — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — ويكيبيديا — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — ويكيبيديا — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — ويكيبيديا — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — ويكيبيديا — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — ويكيبيديا — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — ويكيبيديا — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — ويكيبيديا — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — ويكيبيديا — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — ويكيبيديا — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — ويكيبيديا — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — ويكيبيديا — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — ويكيبيديا — https://en.wikipedia.org/wiki/Digital_therapeutics