विषय 8.4 — AI और उभरती तकनीक प्रशासन

एक वाक्य में: स्वास्थ्य और देखभाल में कृत्रिम बुद्धिमत्ता एक सीखने वाली, डेटा-निर्भर, और अक्सर अपारदर्शी तकनीक है जो आपके द्वारा अब तक शासित किसी भी प्रणाली की तुलना में लाभ और नुकसान दोनों को तेज़ी से स्केल कर सकती है, इसलिए आपको इसे अपने पूरे जीवनचक्र में एक क्लिनिकल-सुरक्षा, समानता, और सार्वजनिक-विश्वास मामले के रूप में शासित करना चाहिए — इसे साधारण सॉफ़्टवेयर के रूप में न मानें जिसे आप एक बार खरीदते हैं और भूल जाते हैं।

यह स्वास्थ्य और देखभाल में क्यों महत्वपूर्ण है#

अधिकांश सॉफ़्टवेयर जो आपने तैनात किया है वह कल वैसा ही व्यवहार करता है जैसा वह आज करता है: इसका तर्क लिखा गया है, इसका व्यवहार परीक्षण योग्य है, और जब यह गलत होता है तो यह एक दृश्यमान, दोहराने योग्य तरीके से गलत होने की प्रवृत्ति रखता है। कृत्रिम बुद्धिमत्ता इन तीनों आरामों को तोड़ती है। यह किसी व्यक्ति द्वारा लिखे गए नियमों का पालन करने के बजाय डेटा से सांख्यिकीय पैटर्न सीखती है; इसका व्यवहार पूरी तरह से उस डेटा पर निर्भर करता है जिस पर इसे प्रशिक्षित किया गया था और जो डेटा यह अब मिलता है; और इसका तर्क अक्सर इसे बनाने वाले लोगों के लिए भी अपारदर्शी होता है। वह संयोजन ही है कि AI को एक सामान्य सॉफ़्टवेयर चेकलिस्ट में फोल्ड करने के बजाय अपने खुद के प्रशासन अनुशासन की आवश्यकता क्यों है।

स्वास्थ्य और देखभाल में परिणाम अमूर्त नहीं हैं। एक मॉडल जो एक ऐसे समूह में बीमारी का कम-पता लगाता है जो अपने प्रशिक्षण डेटा में कम-प्रतिनिधित्व वाला था वह एक अलग-थलग त्रुटि नहीं करता — यह वही त्रुटि, चुपचाप, हज़ारों बार करता है, स्वास्थ्य असमानताओं को स्थापित और स्केल करते हुए। एक जेनरेटिव मॉडल जो एक विश्वसनीय-ध्वनि वाला क्लिनिकल विवरण गढ़ता है वह ठीक-ठीक गलत क्षण में एक खिंचे हुए चिकित्सक को गुमराह कर सकता है। एक उपकरण जो उस जनसंख्या में सुंदर तरीके से काम करता है जिस पर इसे मान्य किया गया था वह चुपचाप क्षय हो सकता है जब जनसंख्या, देखभाल मार्ग, या अपस्ट्रीम डेटा बदलता है। AI अच्छे निर्णयों को स्केल कर सकता है और यह समान दक्षता के साथ पूर्वाग्रह, त्रुटि, और नुकसान को भी स्केल कर सकता है।

यह विषय उस जोखिम को न तो प्रचार में सांस लेते हुए और न ही तकनीक पर प्रतिबंध लगाते हुए शासित करने के बारे में है। यह जानबूझकर कहीं और रखी गई नींव को नहीं दोहराता: क्लिनिकल सुरक्षा (विषय 1.6 — क्लिनिकल सुरक्षा और जोखिम प्रबंधन देखें), सूचना प्रशासन, डेटा सुरक्षा और साइबर सुरक्षा (विषय 1.7 — सूचना प्रशासन, डेटा सुरक्षा, और साइबर सुरक्षा देखें), और साक्ष्य-संचालित निर्णय लेना (विषय 1.3 — साक्ष्य-संचालित निर्णय देखें)। यह उनसे जुड़ता है, और सीखने वाली प्रणालियों के लिए विशिष्ट चीज़ जोड़ता है। इसे अपने मौजूदा आश्वासन के AI-आकार के विस्तार के रूप में, और नवाचार को चरणबद्ध करने (विषय 8.0 — नवाचार को चरणबद्ध करना देखें) के शासित भाई-बहन के रूप में मानें।

मुख्य अवधारणाएं#

कृत्रिम बुद्धिमत्ता और मशीन लर्निंग। एक नेता के लिए, व्यावहारिक अंतर यह है: स्वास्थ्य और देखभाल में आज का अधिकांश AI मशीन लर्निंग है — प्रणालियां जो हाथ से लिखे गए नियमों को निष्पादित करने के बजाय उदाहरणों से पैटर्न का अनुमान लगाती हैं। यही कारण है कि डेटा कोड जितना ही उत्पाद है: प्रशिक्षण डेटा बदलें और आप व्यवहार बदल देते हैं। इसका यह भी अर्थ है कि एक मॉडल कुछ भी "जानता" नहीं है; यह अनुमान लगाता है, और यह आत्मविश्वास से गलत हो सकता है। इसे एक वैचारिक स्तर पर समझना सही प्रशासन प्रश्न पूछने के लिए पर्याप्त है; आपको गणित पढ़ने की आवश्यकता नहीं है।

Software as a Medical Device (SaMD) और MHRA। जब सॉफ़्टवेयर का एक चिकित्सा उद्देश्य होता है — निदान करना, स्क्रीनिंग करना, ट्राइएज करना, एक खुराक की गणना करना, गिरावट की भविष्यवाणी करना — तो यह बहुत बार कानून में एक चिकित्सा उपकरण है, इस बात के बावजूद कि यह एक फ़ोन या सर्वर पर चलता है। इस प्रकार का चिकित्सा सॉफ़्टवेयर, जिसे Software as a Medical Device (SaMD) के रूप में जाना जाता है, यूनाइटेड किंगडम में Medicines and Healthcare products Regulatory Agency (MHRA) द्वारा नियंत्रित है। यदि आप एक क्लिनिकल उद्देश्य वाला AI उपकरण कमीशन या बना रहे हैं, तो पहला प्रशासन प्रश्न यह है कि क्या यह एक नियंत्रित उपकरण है और, यदि हां, तो क्या यह वैध अनुरूपता चिह्न रखता है। इसे गलत करना एक तकनीकीता नहीं है; एक अपंजीकृत चिकित्सा उपकरण को तैनात करना गैरकानूनी और असुरक्षित है।

AI Airlock। MHRA ने AI Airlock नामक एक नियामक सैंडबॉक्स स्थापित किया है ताकि यह काम किया जा सके कि एक नियंत्रित, निगरानी की गई सेटिंग में एक चिकित्सा उपकरण के रूप में AI को कैसे नियंत्रित किया जाना चाहिए। एक नियामक सैंडबॉक्स एक नियामक और थोड़े से डेवलपर्स को सामान्य नियम निर्धारित होने से पहले, निगरानी के तहत, कठिन, नए प्रश्नों की जांच करने देता है — उदाहरण के लिए एक ऐसे मॉडल को मान्य कैसे करें जो समय के साथ अपडेट होता है। इसके बारे में गंभीर रहें कि यह क्या है: Airlock नियामक और मुट्ठी भर प्रतिभागियों के लिए एक सीखने का वातावरण है, एक फास्ट-ट्रैक अनुमोदन मार्ग नहीं, और इसके साथ जुड़ा होना इसका अर्थ नहीं है कि एक उत्पाद सामान्य क्लिनिकल उपयोग के लिए अनुमोदित है।

एल्गोरिदमिक पूर्वाग्रह और निष्पक्षता। एल्गोरिदमिक पूर्वाग्रह एक प्रणाली की विशेष समूहों के लिए व्यवस्थित रूप से अनुचित परिणाम उत्पन्न करने की प्रवृत्ति है। स्वास्थ्य और देखभाल में इसका सबसे आम स्रोत प्रशिक्षण डेटा है: यदि एक समूह कम-प्रतिनिधित्व वाला, गलत-लेबल वाला, या एक पक्षपाती उपकरण के साथ मापा गया है, तो मॉडल उस समूह की बदतर सेवा करना सीखता है। क्योंकि मॉडल फिर इसे पैमाने पर और वस्तुनिष्ठता की एक हवा के साथ लागू करता है, पक्षपाती AI उन्हीं असमानताओं को बढ़ा सकता है जिन्हें कम करने के लिए आपका संगठन वैधानिक रूप से बाध्य है।

व्याख्यात्मकता और ब्लैक बॉक्स। व्याख्यात्मक कृत्रिम बुद्धिमत्ता इस बात से संबंधित है कि क्या एक मानव समझ सकता है कि एक मॉडल ने एक दिया गया आउटपुट क्यों उत्पन्न किया। कई उच्च-प्रदर्शन करने वाले मॉडल प्रभावी रूप से "ब्लैक बॉक्स" हैं: कुल मिलाकर सटीक लेकिन एक चिकित्सक को एक व्यक्तिगत निर्णय के लिए एक विश्वसनीय कारण देने में असमर्थ। एक क्लिनिकल सेटिंग में यह जवाबदेही, सूचित सहमति, और निर्णय का प्रयोग करने के चिकित्सक के कर्तव्य के लिए मायने रखता है — एक डॉक्टर सार्थक रूप से उस सलाह की जिम्मेदारी नहीं ले सकता जिसकी वह जांच नहीं कर सकता।

मॉडल बहाव और बाज़ार-पश्चात निगरानी। एक मॉडल की सटीकता स्थिर नहीं है। कॉन्सेप्ट ड्रिफ्ट — इनपुट और भविष्यवाणी की जा रही चीज़ के बीच संबंध में समय के साथ एक परिवर्तन — का अर्थ है कि पिछले साल मान्य किया गया एक मॉडल इस साल चुपचाप बिगड़ सकता है क्योंकि जनसंख्या, मार्ग, या अपस्ट्रीम डेटा बदलते हैं। यही कारण है कि AI को केवल गो-लाइव पर एक बार के मूल्यांकन की नहीं बल्कि निरंतर बाज़ार-पश्चात निगरानी और मॉनिटरिंग की आवश्यकता है।

MLOps और मॉडल जीवनचक्र। MLOps उत्पादन में मॉडलों को विश्वसनीय रूप से तैनात करने, निगरानी करने, संस्करण बनाने, और फिर से प्रशिक्षित करने का परिचालन अनुशासन है। यह वह मशीनरी है जो जीवनचक्र प्रशासन को वास्तविक बनाती है: यह जानना कि कौन सा मॉडल संस्करण लाइव है, किस डेटा पर, किस प्रदर्शन के साथ, और वापस रोल करने में सक्षम होना।

Human-in-the-loop। एक human-in-the-loop डिज़ाइन एक व्यक्ति — आमतौर पर एक चिकित्सक — को निर्णय में सार्थक रूप से रखता है, मॉडल को ओवरराइड करने के अधिकार और जानकारी के साथ। अच्छी तरह से किया गया यह जवाबदेही को बनाए रखता है; एक रबर स्टाम्प के रूप में किया गया यह केवल निगरानी का भ्रम प्रदान करता है।

जेनरेटिव AI और बड़े भाषा मॉडल। जेनरेटिव कृत्रिम बुद्धिमत्ता, बड़े भाषा मॉडल (LLMs) सहित, धाराप्रवाह पाठ और अन्य सामग्री उत्पन्न करती है। स्वास्थ्य और देखभाल में इसका यथार्थवादी निकट-अवधि का मूल्य काफी हद तक प्रशासनिक है — दस्तावेज़ीकरण का मसौदा तैयार करना, संक्षेप करना, कागज़ी काम को आसान बनाना। इसका परिभाषित जोखिम मतिभ्रम है: झूठी लेकिन विश्वसनीय सामग्री की आत्मविश्वास भरी पीढ़ी, तीसरे-पक्ष सेवाओं में रोगी डेटा दर्ज किए जाने पर गोपनीयता जोखिमों द्वारा बढ़ाई गई।

डिजिटल थेराप्यूटिक्स और स्वास्थ्य ऐप। डिजिटल थेराप्यूटिक्स (DTx) सॉफ़्टवेयर-संचालित, साक्ष्य-आधारित हस्तक्षेप हैं जो एक स्थिति को रोकते हैं, प्रबंधित करते हैं, या उपचार करते हैं — सामान्य कल्याण ऐप से बिल्कुल इसलिए अलग हैं क्योंकि वे एक क्लिनिकल दावा करते हैं, जिसका अर्थ है कि कई Software as a Medical Device हैं और उसी साक्ष्य और आश्वासन की मांग करते हैं जो आप किसी भी अन्य हस्तक्षेप को निर्धारित या अनुशंसित करते समय करते हैं।

सर्वोत्तम प्रथाएं#

1. कुछ और करने से पहले उपकरण को वर्गीकृत करें। लिखित रूप में और क्लिनिकल और नियामक इनपुट के साथ स्थापित करें कि क्या AI का एक चिकित्सा उद्देश्य है और इसलिए यह एक नियंत्रित चिकित्सा उपकरण है, और क्या यह वैध MHRA अनुरूपता चिह्न रखता है। यह एकल निर्धारण नीचे की धारा में सब कुछ नियंत्रित करता है — आश्वासन मार्ग, देनदारियां, तैनाती की वैधानिकता। जब संदेह हो, तो यह मानने के बजाय कि एक प्रशासनिक उपकरण दायरे से बाहर है, नियामक सलाह लें।

2. मौजूदा क्लिनिकल-सुरक्षा और IG मशीनरी के माध्यम से AI चलाएं, विस्तारित करें न कि बायपास करें। हर क्लिनिकल AI तैनाती को DCB0129/DCB0160 (विषय 1.6 देखें) के क्लिनिकल जोखिम प्रबंधन और आपके सूचना प्रशासन फ्रेमवर्क के तहत एक Data Protection Impact Assessment की आवश्यकता है (विषय 1.7 देखें)। नवीनता या आपूर्तिकर्ता उत्साह को एक समानांतर, हल्की प्रक्रिया बनाने न दें। AI-विशिष्ट खतरे — पूर्वाग्रह, बहाव, अपारदर्शिता, स्वचालन पूर्वाग्रह — को खतरे के लॉग में जोड़ा जाना चाहिए, इसके प्रतिस्थापन के रूप में नहीं।

3. प्रतिनिधित्व और पूर्वाग्रह के लिए प्रशिक्षण डेटा की जांच करें। पूछें कि डेटा में कौन है और कौन गायब है, परिणामों को कैसे लेबल किया गया था, और क्या मापने वाले उपकरण स्वयं समूहों में पक्षपाती थे। आपूर्तिकर्ता को प्रासंगिक उपसमूहों द्वारा विभाजित प्रदर्शन की रिपोर्ट करने की आवश्यकता दें — आयु, लिंग, जातीयता, वंचन — न कि केवल हेडलाइन सटीकता। एक उपकरण जो समान प्रदर्शन प्रदर्शित नहीं कर सकता वह एक स्वास्थ्य-असमानता जोखिम है चाहे इसका औसत कितना भी प्रभावशाली हो।

4. जोखिम के अनुरूप क्लिनिकल मान्यता की मांग करें, और संभावित साक्ष्य को प्राथमिकता दें। क्यूरेटेड डेटा पर पूर्वव्यापी सटीकता साक्ष्य का सबसे कमज़ोर रूप है। क्लिनिकल निर्णयों को प्रभावित करने वाली किसी भी चीज़ के लिए, अपने जैसी एक जनसंख्या और वर्कफ़्लो में मान्यता की तलाश करें, आदर्श रूप से संभावित, और दावे को उपयुक्त आश्वासन फ्रेमवर्क के माध्यम से रूट करें — डिजिटल स्वास्थ्य तकनीकों के लिए NICE Evidence Standards Framework और आधार रेखा आश्वासन के रूप में Digital Technology Assessment Criteria (DTAC)। साक्ष्य की ताकत को संभावित नुकसान के परिमाण से मिलाएं।

5. सार्थक human-in-the-loop और स्पष्ट जवाबदेही पर ज़ोर दें। परिभाषित करें कि AI द्वारा सूचित एक निर्णय के लिए कौन जवाबदेह है, और सुनिश्चित करें कि मानव के पास ओवरराइड करने का अधिकार और ऐसा करने की जानकारी दोनों हैं। प्रशिक्षण, इंटरफ़ेस डिज़ाइन, और ओवरराइड दरों के ऑडिट के माध्यम से स्वचालन पूर्वाग्रह — मशीन का पालन करने की प्रवृत्ति — के विरुद्ध सक्रिय रूप से रक्षा करें। यदि ओवरराइड कभी नहीं होते, तो आपका "human in the loop" सजावटी है।

6. गो-लाइव को आश्वासन के अंत के रूप में नहीं, निगरानी की शुरुआत के रूप में मानें। पहले दिन से बाज़ार-पश्चात निगरानी खड़ी करें: वास्तविक-विश्व प्रदर्शन की निगरानी करें, कॉन्सेप्ट ड्रिफ्ट के लिए देखें, और फिर से प्रशिक्षण, रोकने, या मॉडल को वापस लेने के लिए सीमाएं और प्रक्रिया परिभाषित करें। ध्वनि MLOps के माध्यम से मॉडल संस्करण और रोलबैक स्थापित करें ताकि आप हमेशा जानें कि क्या लाइव है और सुरक्षित रूप से वापस लौट सकें। एक मॉडल जिसे कभी फिर से जांचा नहीं जाता वह एक धीरे-धीरे विफल होता सुरक्षा नियंत्रण है।

7. जेनरेटिव AI को इसके यथार्थवादी उपयोगों के लिए और इसके वास्तविक जोखिमों के विरुद्ध शासित करें। LLM को वहां अनुमति दें जहां मूल्य वास्तविक है और जोखिम नियंत्रित है — प्रशासनिक मसौदा तैयार करना, संक्षेप करना, मानव समीक्षा के साथ दस्तावेज़ीकरण समर्थन — और तीसरे-पक्ष सेवाओं में रोगी-पहचान योग्य डेटा के अप्रबंधित प्रवेश को प्रतिबंधित करें। मान लें कि किसी भी जेनरेटिव आउटपुट को तब तक गढ़ा जा सकता है जब तक एक मानव इसे सत्यापित नहीं करता, और कभी भी असत्यापित उत्पन्न सामग्री को क्लिनिकल रिकॉर्ड में प्रवेश न करने दें। स्पष्ट, लागू की गई नीति एक कंबल प्रतिबंध को हराती है जो छाया उपयोग को चलाता है और एक मुक्त-सभी को भी जो डेटा लीक करता है।

8. पूरे डेटा जीवनचक्र में सूचना प्रशासन लागू करें, प्रशिक्षण सहित। एक मॉडल को प्रशिक्षित, फाइन-ट्यून, और मूल्यांकित करने के लिए उपयोग किया गया डेटा किसी भी अन्य उपयोग के समान वैध-आधार, न्यूनीकरण, और पारदर्शिता दायित्वों के अधीन है (विषय 1.7 देखें)। रोगी डेटा पर प्रशिक्षण के आधार के बारे में स्पष्ट रहें, क्या यह पर्याप्त रूप से गैर-पहचान योग्य है, और आपूर्तिकर्ता इसके साथ क्या कर सकता है। अनुबंधों को बिना एक वैध आधार और आपके समझौते के दूसरों के लिए उत्पादों को प्रशिक्षित करने के लिए आपके डेटा के पुन: उपयोग को प्रतिबंधित करना चाहिए।

9. एक मानव-पठनीय मॉडल रजिस्टर रखें और आपूर्तिकर्ताओं से पारदर्शिता की मांग करें। उपयोग में AI की एक सूची बनाए रखें: उद्देश्य, नियामक स्थिति, प्रशिक्षण डेटा उद्गम, मान्यता साक्ष्य, निगरानी योजना, और जवाबदेह स्वामी। आपूर्तिकर्ताओं को इसके बारे में पारदर्शी होने की आवश्यकता दें कि एक मॉडल कैसे काम करता है, इसकी सीमाएं, और इसके विफलता मोड; एक विक्रेता से अपारदर्शिता स्वयं एक जोखिम संकेत है। आप वह प्रशासित नहीं कर सकते जो आपने नहीं लिखा है।

10. जानबूझकर क्षितिज-स्कैन करें और नियंत्रित मूल्यांकन के माध्यम से चरणबद्ध करें। आज के AI से परे, प्रतिक्रियाशील खरीद के बजाय संरचित क्षितिज-स्कैनिंग के साथ उभरती तकनीकों — एम्बिएंट दस्तावेज़ीकरण, फाउंडेशन मॉडल, और आगे, क्वांटम और नई सेंसिंग — पर नज़र रखें। नवाचार को चरणबद्ध करने के नियंत्रित, प्रतिवर्ती, मूल्यांकित दृष्टिकोण (विषय 8.0 देखें) के माध्यम से वास्तव में नई किसी भी चीज़ को पेश करें, छोटे से शुरू करें, ईमानदारी से मापें, और रोकने की क्षमता बनाए रखें।

11. डिजिटल थेराप्यूटिक्स और स्वास्थ्य ऐप को हस्तक्षेप के रूप में मानें, उपभोक्ता डाउनलोड के रूप में नहीं। जब एक ऐप एक क्लिनिकल दावा करता है — एक स्थिति का इलाज, प्रबंधन, या रोकथाम करना — यह एक हस्तक्षेप है जिस पर रोगी कार्य करेंगे, और इसे निर्धारित या अनुशंसित करने से पहले एक दवा या एक उपकरण के समान ही जांच योग्य है। स्थापित करें कि क्या यह वैध अनुरूपता चिह्न के साथ Software as a Medical Device है, इसके दावे के अनुपात में साक्ष्य की मांग करें, और एक ऐप-स्टोर रेटिंग या एक आपूर्तिकर्ता के उत्साह पर भरोसा करने के बजाय एक क्लिनिकल सुरक्षा मूल्यांकन पूरा करें (विषय 1.6 देखें)। एक अनआश्वासित ऐप जिसे एक चिकित्सक समर्थन करता है वह आपके संगठन का नाम और आपकी जवाबदेही वहन करता है यदि यह नुकसान पहुंचाता है।

12. स्वास्थ्य ऐप को मौजूदा आश्वासन के माध्यम से रूट करें और एक क्यूरेटेड, सुरक्षित लाइब्रेरी रखें। डिजिटल थेराप्यूटिक्स को उसी मशीनरी के माध्यम से मूल्यांकित करें जिसे आप पहले से चलाते हैं — आधार रेखा के रूप में DTAC, क्लिनिकल दावे से मिलान किया गया NICE Evidence Standards Framework, और क्लिनिकल सुरक्षा और IG समीक्षा — और समय के साथ वास्तविक-विश्व मूल्यांकन साक्ष्य बनाएं (विषय 8.6 देखें)। आपके द्वारा आश्वासित और समर्थित ऐप्स की एक क्यूरेटेड लाइब्रेरी बनाए रखें, हर ऐप की नियामक स्थिति, साक्ष्य, और स्वामी के साथ दर्ज, ताकि चिकित्सक एक सुरक्षित, शासित शॉर्टलिस्ट से अनुशंसा करें। विकल्प — टीमों में अनौपचारिक रूप से अनुशंसित अनमूल्यांकित ऐप्स का एक अनियंत्रित प्रसार — अप्रबंधनीय और असुरक्षित है।

आपकी टीम के साथ चर्चा करने के लिए प्रश्न#

1. हम जिन प्रत्येक AI उपकरणों पर विचार कर रहे हैं या पहले से उपयोग कर रहे हैं, क्या हम वास्तव में जानते हैं कि क्या यह एक नियंत्रित चिकित्सा उपकरण है — और क्या हम साक्ष्य उत्पन्न कर सकते हैं? यह एक अनुपालन औपचारिकता की तरह लगता है लेकिन यह लोड-बेयरिंग प्रश्न है, क्योंकि उत्तर निर्धारित करता है कि क्या वैध है, कौन जवाबदेह है, और आप जनता को क्या आश्वासन देते हैं। यह मान लेना आसान है कि एक उपकरण जो "बस ट्राइएज में मदद करता है" या "बस नोट्स को संक्षेप करता है" हानिरहित प्रशासनिक सॉफ़्टवेयर है जबकि इसका चिकित्सा उद्देश्य वास्तव में इसे MHRA अनुरूपता चिह्न की आवश्यकता वाला एक नियंत्रित उपकरण बनाता है। चर्चा को आपको उपयोग या पाइपलाइन में हर AI उपकरण को नाम देने, सादे क्लिनिकल शब्दों में इसके इच्छित उद्देश्य को बताने, और यह पहचानने के लिए मजबूर करना चाहिए कि किसने उपकरण-वर्गीकरण कॉल किया और किस आधार पर। इसे उन असुविधाजनक मामलों को सतह पर लाना चाहिए जहां एक उपकरण बिना किसी नियामक जांच के एक साधारण IT मार्ग के माध्यम से खरीदा गया था। इस बारे में ईमानदार रहें कि क्या आप आज, यदि एक नियामक या एक कोरोनर पूछे, अनुरूपता दस्तावेज़ीकरण और मान्यता साक्ष्य उत्पन्न कर सकते हैं। बातचीत का मूल्य यह है कि यह "किसी ने जांच की होगी" की अस्पष्ट भावना को एक दस्तावेज़ीकृत, स्वामित्व वाली स्थिति में बदल देती है — और उन उपकरणों को प्रकट करती है जहां किसी ने नहीं की।

2. क्या हमने यह देखने की मांग की है कि यह मॉडल उन समूहों के लिए कैसा प्रदर्शन करता है जिन्हें सबसे अधिक नुकसान होने की संभावना है, या हमने एक हेडलाइन सटीकता आंकड़ा स्वीकार कर लिया है? औसत सटीकता वह संख्या है जिसके साथ आपूर्तिकर्ता आगे बढ़ते हैं और वह संख्या है जो एल्गोरिदमिक पूर्वाग्रह छुपाती है, क्योंकि एक मॉडल समग्र रूप से अत्यधिक सटीक हो सकता है जबकि एक कम-प्रतिनिधित्व वाले समूह के लिए काफी बदतर प्रदर्शन करता है। स्वास्थ्य और देखभाल में यह एक सांख्यिकीय जिज्ञासा नहीं है; यह उन असमानताओं को बढ़ाने का एक तंत्र है जिन्हें कम करने के लिए आप कानूनी और नैतिक रूप से बाध्य हैं, चुपचाप और पैमाने पर लागू किया गया। टीम को चर्चा करनी चाहिए कि आपने वास्तव में क्या उपसमूह साक्ष्य देखा है — आयु, लिंग, जातीयता, और वंचन द्वारा विभाजित प्रदर्शन — और क्या आप जानते हैं कि प्रशिक्षण डेटा में कौन था और कौन गायब था। यहां असुविधा को नाम देना उचित है: निष्पक्षता पर एक आपूर्तिकर्ता को दबाना एक रोमांचक नवाचार को बाधित करने जैसा महसूस हो सकता है, और ईमानदार प्रश्न यह है कि क्या आप एक ऐसे उपकरण को नहीं कहने के इच्छुक हैं जो समान प्रदर्शन प्रदर्शित नहीं कर सकता। यह भी विचार करें कि आप तैनाती के बाद असमान परिणामों का पता कैसे भी लगाएंगे, क्योंकि पूर्वाग्रह जो खरीद पर अदृश्य था वह उत्पादन में अदृश्य होगा जब तक आप इसके लिए निगरानी नहीं करते। एक अच्छी चर्चा निष्पक्षता के लिए एक ठोस साक्ष्य बार के साथ समाप्त होती है जो किसी भी क्लिनिकल AI लाइव होने से पहले लागू होता है, और बाद में देखते रहने की एक योजना।

3. जब यह मॉडल गलत होता है — और यह होगा — तो कौन जवाबदेह है, क्या एक मानव वास्तव में इसे पकड़ेगा, और हमें यह भी कैसे पता चलेगा? हर मॉडल कभी-कभी विफल होता है, और सीखने वाली प्रणालियां समय के साथ अधिक बार विफल होने में बह सकती हैं, इसलिए परिपक्व प्रश्न यह नहीं है कि क्या त्रुटियां होती हैं बल्कि यह है कि क्या आपके सुरक्षा उपाय वास्तविक हैं। टीम को यह परीक्षण करना चाहिए कि क्या human-in-the-loop सार्थक है या सजावटी: क्या चिकित्सक के पास ओवरराइड करने का अधिकार और जानकारी है, और यदि आपने ओवरराइड दरों को देखा, तो क्या आप पाएंगे कि वे वास्तव में कभी ओवरराइड करते हैं, या स्वचालन पूर्वाग्रह जम गया है? चर्चा करें कि AI द्वारा सूचित एक निर्णय के लिए जवाबदेह के रूप में कौन नामित है — चिकित्सक, संगठन, आपूर्तिकर्ता — क्योंकि "एल्गोरिदम ने किया" एक रोगी या कोरोनर के लिए एक रक्षणीय स्थिति नहीं है। अपनी निगरानी का ईमानदारी से सामना करें: क्या आपके पास बाज़ार-पश्चात निगरानी है जो कॉन्सेप्ट ड्रिफ्ट का पता लगाएगी, मॉडल को रोकने या वापस लेने के लिए परिभाषित सीमाएं, और यह जानने की MLOps मशीनरी कि कौन सा संस्करण लाइव है और इसे वापस रोल करने के लिए? जेनरेटिव उपकरणों के लिए, मतिभ्रम प्रश्न जोड़ें — क्या गढ़ी गई सामग्री को क्लिनिकल रिकॉर्ड में प्रवेश करने से रोकता है, और विश्वसनीय होने से पहले आउटपुट को कौन सत्यापित करता है? इस बातचीत का सबसे उपयोगी संस्करण "मानव निगरानी" के आश्वस्त करने वाले आरेख और एक व्यस्त वार्ड पर सुबह 3 बजे वास्तव में क्या होगा के बीच अंतर को उजागर करता है।

4. जब हम इन मॉडलों को प्रशिक्षित, फाइन-ट्यून, और चलाते हैं तो हमारे रोगियों के डेटा का क्या हो रहा है — और आपूर्तिकर्ता ने इसके साथ क्या करने का अधिकार सुरक्षित रखा है? AI ठीक-ठीक डेटा-प्रशासन जोखिम को केंद्रित करता है क्योंकि डेटा उत्पाद है: एक मॉडल केवल उतना ही विश्वसनीय है जितना उस हर डेटासेट के पीछे वैध आधार, न्यूनीकरण, और पारदर्शिता, जिसे इसने छुआ, गो-लाइव से पहले के प्रशिक्षण और मूल्यांकन डेटा सहित। टीम हर उपकरण के लिए, रोगी डेटा के किसी भी उपयोग के लिए वैध आधार, क्या गैर-पहचान केवल दावा किए जाने के बजाय पर्याप्त है, और डेटा आपके नियंत्रण से बाहर होने के बाद यह भौतिक रूप से कहां बहता है, बताने में सक्षम होनी चाहिए। एक आवर्ती जाल वह अनुबंध है जो चुपचाप आपूर्तिकर्ता को उत्पादों को बेहतर बनाने के लिए आपके डेटा का पुन: उपयोग करने की अनुमति देता है जिसे यह दूसरों को बेचेगा; चर्चा करें कि क्या आपके समझौते बिना एक वैध आधार और आपकी स्पष्ट सहमति के उसे प्रतिबंधित करते हैं, और क्या किसी ने वास्तव में उन खंडों को पढ़ा है। यह सीधे आपके सूचना प्रशासन फ्रेमवर्क (विषय 1.7 देखें) से जुड़ता है, और यह वह जगह है जहां एक सक्षम उपकरण के लिए उत्साह अक्सर उचित परिश्रम से आगे निकल जाता है। एक ईमानदार उत्तर नाम देता है कि DPIA का स्वामित्व कौन करता है, आपूर्तिकर्ता क्या कर सकता है और क्या नहीं कर सकता, और आप वर्तमान में कहां उजागर हैं — यह मानने के बजाय कि क्योंकि डेमो प्रभावशाली था कागज़ी काम ध्वनि होना चाहिए।

5. हम यह कैसे तय करते हैं कि क्या नहीं अपनाना है, और क्या हम उस चीज़ को खरीदने के दबाव का विरोध कर सकते हैं जिसके बारे में हर कोई उत्साहित है? एक तेज़ी से आगे बढ़ने वाली तकनीक के साथ सबसे कठिन प्रशासन अनुशासन "अभी नहीं" या "यह नहीं" कहना है, और एक टीम जो अस्वीकार करने के अपने मानदंड को स्पष्ट नहीं कर सकती वह साक्ष्य के बजाय बहाव और प्रचार द्वारा अपनाना समाप्त कर देगी। चर्चा करें कि आपको एक अन्यथा आकर्षक उपकरण से दूर क्या ले जाएगा — कमज़ोर उपसमूह साक्ष्य, एक अस्पष्ट नियामक स्थिति, एक उपयोग मामला जहां यथार्थवादी लाभ जोखिम की तुलना में पतला है — और क्या वे लाल रेखाएं लिखी गई हैं या केवल महसूस की गई हैं। एक वास्तविक सुधार को चूकने की लागत और सार्वजनिक विश्वास को नुकसान पहुंचाने वाली एक स्केल की गई विफलता की लागत के बीच यहां एक वास्तविक तनाव है, और उचित लोग उन्हें अलग तरीके से तौलेंगे। यह राजनीतिक वास्तविकता को नाम देना उचित है कि अपनाने का दबाव अक्सर एक बोर्ड, एक आपूर्तिकर्ता संबंध, या एक राष्ट्रीय जनादेश से आता है, क्लिनिकल आवश्यकता से नहीं। विषय की स्थिति जानबूझकर क्षितिज-स्कैन करना और नियंत्रित, प्रतिवर्ती मूल्यांकन (विषय 8.0 देखें) के माध्यम से चरणबद्ध करना है, इसलिए एक ईमानदार उत्तर वर्णन करता है कि एक आशाजनक-लेकिन-अप्रमाणित उपकरण एक थोक रोलआउट के बजाय एक छोटे, मापे गए, रोकने योग्य पायलट के रूप में कैसे प्रवेश करता है — और इसे रोकने का अधिकार किसके पास है।

6. क्या हम समझा सकते हैं कि यह मॉडल उन चिकित्सकों के लिए क्या करता है जिन्हें इस पर भरोसा करना चाहिए और इससे प्रभावित रोगियों के लिए — और क्या हम इसकी सीमाओं के बारे में ईमानदार रहे हैं? एक मॉडल जिसकी एक चिकित्सक जांच नहीं कर सकता और एक रोगी समझ नहीं सकता वह उस सूचित निर्णय और सूचित सहमति को नष्ट करता है जिस पर क्लिनिकल देखभाल निर्भर करती है, चाहे यह कुल मिलाकर कितना भी सटीक हो। टीम को चर्चा करनी चाहिए कि यह विशिष्ट उपयोग वास्तव में कितनी व्याख्यात्मकता की मांग करता है: एक कतार-प्राथमिकता सहायता एक ऐसे उपकरण की तुलना में कम मांग करती है जो एक निदान या एक उपचार निर्णय को प्रभावित करता है, और स्पष्टीकरण को दांव से मिलाना एक प्रशासन विकल्प है, एक तकनीकी बाद की सोच नहीं। विचार करें कि आप इसका उपयोग करने की अपेक्षा वाले चिकित्सकों को क्या बताते हैं — इसका उद्देश्य, इसके ज्ञात विफलता मोड, वे समूह जिनके लिए यह कम विश्वसनीय है — और क्या वह ब्रीफिंग स्पष्ट है या एक मार्केटिंग सारांश। रोगी-सामना करने वाली ईमानदारी भी मायने रखती है: क्या लोगों को बताया जाता है जब AI उनकी देखभाल में शामिल होता है, और उस भाषा में जिस पर वे कार्य कर सकें? यह एक कार्यबल प्रश्न भी है, क्योंकि विश्वास जो बहुत कम है इसका अर्थ है कि एक उपयोगी उपकरण को नज़रअंदाज़ किया जाता है जबकि विश्वास जो बहुत अधिक है वह स्वचालन पूर्वाग्रह पैदा करता है जो निगरानी को खोखला करता है। एक ईमानदार उत्तर इसका सामना करता है कि क्या आपका प्रशिक्षण और संचार कैलिब्रेटेड विश्वास बना रहा है या केवल उपकरण बेच रहा है।

व्यवहार में: एक स्वास्थ्य और देखभाल उदाहरण#

एक integrated care system को एक AI उपकरण की पेशकश की जाती है जो छाती के X-rays पढ़ता है और रेडियोलॉजी रिपोर्टिंग कतार को प्राथमिकता देने के लिए संभावित असामान्यताओं को फ्लैग करता है। क्लिनिकल सुरक्षा अधिकारी और मेडिकल निदेशक इसे जल्दी खरीदने के दबाव का विरोध करते हैं और इसके बजाय इसे उचित प्रशासन के माध्यम से रखते हैं।

पहले, वर्गीकरण: उपकरण का एक स्पष्ट चिकित्सा उद्देश्य है, इसलिए इसे Software as a Medical Device के रूप में पुष्टि की जाती है, और इसका MHRA अनुरूपता चिह्न और इच्छित-उपयोग वक्तव्य सत्यापित किया जाता है — इच्छित उपयोग ट्राइएज समर्थन है, स्वायत्त निदान नहीं, जो बाद में आने वाली हर चीज़ को आकार देता है। अगला, आश्वासन: उपकरण को आधार रेखा के रूप में DTAC के माध्यम से लिया जाता है, इसके क्लिनिकल दावों की NICE Evidence Standards Framework के विरुद्ध जांच की जाती है, एक DCB0160 क्लिनिकल जोखिम मूल्यांकन पूरा किया जाता है, और एक DPIA इमेजिंग डेटा को कवर करता है (विषय 1.6 और 1.7 देखें)। टीम उपसमूह प्रदर्शन मांगती है और पाती है कि मान्यता जनसंख्या ने एक स्थानीय जनसांख्यिकी को कम-प्रतिनिधित्व किया; वे आगे बढ़ने से पहले अतिरिक्त स्थानीय मान्यता की मांग करते हैं, संभावित पूर्वाग्रह को एक फ़ुटनोट के बजाय एक स्वास्थ्य-असमानता जोखिम के रूप में मानते हुए।

तैनाती पर डिज़ाइन एक human in the loop रखता है: हर इमेज को अभी भी एक रेडियोलॉजिस्ट द्वारा रिपोर्ट किया जाता है, और AI केवल कतार को पुनःक्रमित करता है, इसलिए एक चूका हुआ फ्लैग अपने आप में एक चूका हुआ निदान नहीं बन सकता। बाज़ार-पश्चात निगरानी पहले दिन से खड़ी की जाती है — पता लगाने की दरों, मॉडल और रिपोर्ट करने वाले रेडियोलॉजिस्ट के बीच असहमति, और किसी भी बहाव की निगरानी करते हुए जैसे-जैसे स्कैनर हार्डवेयर और केस-मिक्स बदलते हैं — उपकरण को रोकने के लिए पूर्व-सहमत सीमाओं और आपूर्तिकर्ता की संस्करणित तैनाती के माध्यम से एक रोलबैक मार्ग के साथ। अलग से, जब एक वार्ड डिस्चार्ज सारांश तैयार करने के लिए एक सार्वजनिक LLM में रोगी इतिहास पेस्ट करने के लिए कहता है, तो वही प्रशासन मंच उस अप्रबंधित मार्ग को नहीं कहता है और इसके बजाय मानव सत्यापन के साथ एक अनुमोदित, नियंत्रित उपकरण नियुक्त करता है। एक साल बाद, कतार-प्राथमिकता उपकरण ने रिपोर्टिंग टर्नअराउंड में मामूली सुधार किया है, इसकी निगरानी ने एक स्कैनर अपग्रेड के बाद बहाव का एक प्रकरण पकड़ा है, और — महत्वपूर्ण रूप से — संगठन बिल्कुल दिखा सकता है कि यह कैसे शासित है।

क्षेत्र दृष्टिकोण#

स्टार्टअप#

एक डिजिटल-स्वास्थ्य स्टार्टअप अक्सर AI है, इसलिए इसकी प्रशासन परिपक्वता इसकी बाज़ार पहुंच है। संस्थापकों को नियामक वर्गीकरण, क्लिनिकल मान्यता, और पूर्वाग्रह साक्ष्य को एक बिक्री से पहले जोड़े गए एक अनुपालन कर के बजाय मूल उत्पाद काम के रूप में मानना चाहिए, क्योंकि एक खरीदार का क्लिनिकल सुरक्षा अधिकारी बिल्कुल यही मांगेगा और एक "नहीं" सौदे को समाप्त कर देता है। जल्दी MHRA के साथ जुड़ना — संभावित रूप से वास्तव में नए प्रश्नों के लिए AI Airlock जैसे तंत्रों के माध्यम से — और शुरुआत से DTAC और NICE Evidence Standards Framework के लिए डिज़ाइन करना आश्वासन को एक प्रतिस्पर्धी लाभ में बदल देता है। विशिष्ट स्टार्टअप जोखिम अति-दावा है: मार्केटिंग जो साक्ष्य से आगे निकल जाती है, या औसत सटीकता का एक डेमो जो खराब उपसमूह प्रदर्शन को छुपाता है। अनुशासित संस्थापक उत्पाद में जल्दी निगरानी और बाज़ार-पश्चात निगरानी बनाता है, क्योंकि एक संदर्भ साइट पर एक भी स्केल की गई विफलता एक छोटी कंपनी के लिए एक अस्तित्वगत घटना है।

छोटा व्यवसाय#

एक स्थापित छोटा प्रदाता — एक GP प्रैक्टिस, एक सामुदायिक फार्मेसी, एक केयर होम, एक एकल-साइट क्लिनिक — आमतौर पर AI का एक निर्माता नहीं बल्कि एक खरीदार है, फिर भी यह उन्हें पूरा करने के लिए समर्पित क्लिनिकल-सुरक्षा, IG, या इन्फॉर्मेटिक्स स्टाफ में से किसी के बिना एक बड़े ट्रस्ट के समान कर्तव्य वहन करता है। व्यावहारिक जोखिम एक आपूर्तिकर्ता के आश्वासनों पर एक उपकरण अपनाना है क्योंकि उपकरण वर्गीकरण, उपसमूह साक्ष्य, या एक DPIA की मांग करने के लिए कोई इन-हाउस क्षमता नहीं है, और जब एक मॉडल बहता है तो नोटिस करने के लिए कोई नहीं है। दूसरों द्वारा पहले से किए गए आश्वासन पर भारी निर्भर रहें: उन उपकरणों को प्राथमिकता दें जो स्पष्ट रूप से MHRA अनुरूपता चिह्न रखते हैं और DTAC पास कर चुके हैं, उन आपूर्तिकर्ताओं से खरीदें जो अपना साक्ष्य प्रकाशित करते हैं, और प्रत्येक का स्वयं मूल्यांकन करने के बजाय केवल अपने ICS या एक राष्ट्रीय निकाय द्वारा आश्वासित एक क्यूरेटेड लाइब्रेरी से स्वास्थ्य ऐप की अनुशंसा करें। जहां आप व्यक्तिगत रूप से एक उपकरण की सुरक्षा को सत्यापित नहीं कर सकते, वह अपने सिस्टम के साझा आश्वासन को टालने का एक कारण है, जांच छोड़ने का नहीं। यहां तक कि यह भी एक हल्का रजिस्टर रखना कि आप कौन से AI उपकरण उपयोग करते हैं, किसके लिए, और किसका स्वामित्व है, एक अप्रबंधनीय कर्तव्य को एक अनुपातिक में बदल देता है।

बड़ा संगठन#

एक बड़े ट्रस्ट या ICS के पास AI को ठीक से शासित करने का उपकरण है और वह पैमाना है जो इसे गलत करने को गंभीर बनाता है। इसका काम मौजूदा क्लिनिकल-सुरक्षा, IG, और आश्वासन फ़ंक्शन को AI को कवर करने के लिए विस्तारित करना है — एक मॉडल रजिस्टर, उपसमूह-निष्पक्षता बार, बाज़ार-पश्चात निगरानी, संस्करण बनाने और रोलबैक के लिए MLOps — बजाय AI को अनजांचे IT या अनुसंधान मार्गों के माध्यम से आने देने के। उद्यम का वास्तविक खतरा विखंडन है: दर्जनों पायलट, एम्बिएंट-स्क्राइब परीक्षण, और विभागीय LLM प्रयोग बिना किसी केंद्रीय सूची, कोई सुसंगत DPIA, और जब एक उपकरण बहता है तो कोई जवाबदेह नहीं के प्रसार। परिवर्तन थकान और आपूर्तिकर्ता दबाव तेज़ गोद लेने की ओर धकेलते हैं, इसलिए नेतृत्व को यह पंक्ति पकड़नी चाहिए कि नवीनता एक हल्की प्रक्रिया अर्जित नहीं करती। अच्छी तरह से किया गया, उद्यम संभावित, स्थानीय मान्यता साक्ष्य भी उत्पन्न कर सकता है जो छोटे खिलाड़ी नहीं कर सकते, और इसे सिस्टम में साझा कर सकते हैं।

सरकार#

राष्ट्रीय और स्थानीय सरकारी निकाय — MHRA, NHS England, DHSC, NICE, विकेंद्रीकृत सरकारें, और स्थानीय अधिकारी — उन शर्तों को निर्धारित करते हैं जिनके तहत बाकी सभी AI तैनात करते हैं। उनके उपकरण विनियमन, मानक, आश्वासन फ्रेमवर्क (DTAC, Evidence Standards Framework), AI Airlock जैसे सुरक्षित-आश्रय तंत्र, और वित्तपोषण और मार्गदर्शन हैं जो एक संघीय प्रणाली में सुरक्षित गोद लेने को संचालित करते हैं जिसे वे सीधे लाइन-प्रबंधित नहीं करते। जवाबदेही मंत्रियों, संसद, और जनता तक चलती है, इसलिए एक स्केल की गई AI विफलता या एक राष्ट्रीय उपकरण में एक प्रदर्शनीय पूर्वाग्रह एक लंबी छाया के साथ एक सार्वजनिक-विश्वास घटना है। सरकार की उचित भूमिका सुरक्षित मार्ग को आसान मार्ग बनाना है — स्पष्ट नियम, पुन: प्रयोज्य आश्वासन, AI क्या कर सकता है और क्या नहीं कर सकता इसके बारे में ईमानदार सार्वजनिक संचार — प्रचार-संचालित जनादेश और प्रतिवर्ती निषेध दोनों का विरोध करते हुए। किसी भी दिशा में संतुलन गलत करना वर्षों के विश्वास की कीमत चुकाता है।

सामान्य विफलता मोड#

• नियामक वर्गीकरण छोड़ना। एक क्लिनिकल AI को इस तरह तैनात करना जैसे यह साधारण सॉफ़्टवेयर हो। इससे बचें पहले नियामक इनपुट के साथ उपकरण स्थिति और अनुरूपता चिह्न निर्धारित करके।
• हेडलाइन-सटीकता अंधापन। एक औसत आंकड़ा स्वीकार करना जो कम-प्रतिनिधित्व वाले समूहों के लिए खराब प्रदर्शन को छुपाता है। इससे बचें गो-लाइव से पहले उपसमूह साक्ष्य की मांग करके और बाद में असमानता के लिए निगरानी करके।
• एक बार मान्य करें, हमेशा के लिए भूल जाएं। गो-लाइव को आश्वासन के अंत के रूप में मानना जबकि मॉडल चुपचाप बहता है। इससे बचें सीमाओं और रोलबैक के साथ बाज़ार-पश्चात निगरानी खड़ी करके।
• सजावटी मानव निगरानी। एक "human in the loop" जो स्वचालन पूर्वाग्रह के तहत रबर-स्टाम्प करता है। इससे बचें ओवरराइड दरों का ऑडिट करके और हस्तक्षेप करने के लिए वास्तविक अधिकार डिज़ाइन करके।
• अशासित जेनरेटिव AI। स्टाफ रोगी डेटा को सार्वजनिक LLM में पेस्ट कर रहा है और गढ़े हुए आउटपुट पर भरोसा कर रहा है। इससे बचें स्पष्ट नीति प्लस मानव सत्यापन के साथ एक अनुमोदित, नियंत्रित उपकरण के द्वारा।
• समानांतर हल्की-स्पर्श प्रक्रिया। AI को क्लिनिकल-सुरक्षा और IG को बायपास करने देना क्योंकि यह "नवाचार" है। इससे बचें मौजूदा DCB और DPIA मशीनरी को AI तक विस्तारित करके।
• कोई सूची नहीं। किसी को नहीं पता कि कौन से मॉडल लाइव हैं, किस डेटा पर, किसका स्वामित्व है। इससे बचें एक मॉडल रजिस्टर बनाए रखकर।

परिपक्वता मॉडल#

जांच-सूची#

• हर AI उपकरण की चिकित्सा-उपकरण स्थिति और MHRA अनुरूपता चिह्न निर्धारित और दस्तावेज़ीकृत है।
• क्लिनिकल AI ने DTAC पास किया है, NICE Evidence Standards Framework के विरुद्ध जांचा गया है, और इसके पास एक DCB क्लिनिकल जोखिम मूल्यांकन और एक DPIA है।
• उपसमूह प्रदर्शन (आयु, लिंग, जातीयता, वंचन) देखा गया है और एक सहमत निष्पक्षता बार को पूरा करता है।
• क्लिनिकल मान्यता जोखिम स्तर से मेल खाती है और संभावित, स्थानीय साक्ष्य को प्राथमिकता देती है।
• एक सार्थक human-in-the-loop डिज़ाइन किया गया है, ओवरराइड करने के अधिकार और जानकारी के साथ।
• AI-सूचित निर्णयों के लिए नामित जवाबदेही लिखी गई है।
• बाज़ार-पश्चात निगरानी, बहाव सीमाएं, और एक रोक/रोलबैक योजना गो-लाइव से लाइव है।
• MLOps मॉडल संस्करण और सुरक्षित रोलबैक देता है; लाइव संस्करण हमेशा ज्ञात है।
• जेनरेटिव AI नीति यथार्थवादी उपयोगों की अनुमति देती है, अप्रबंधित सेवाओं में रोगी डेटा को प्रतिबंधित करती है, और मानव सत्यापन की आवश्यकता है।
• सूचना प्रशासन प्रशिक्षण, फाइन-ट्यूनिंग, और मूल्यांकन डेटा को कवर करता है, आपूर्तिकर्ता पुन: उपयोग पर संविदात्मक सीमाओं के साथ।
• एक मानव-पठनीय मॉडल रजिस्टर उद्देश्य, उद्गम, साक्ष्य, निगरानी, और स्वामी को रिकॉर्ड करता है।
• उभरती तकनीकों को क्षितिज-स्कैन किया जाता है और नियंत्रित, प्रतिवर्ती मूल्यांकन के माध्यम से चरणबद्ध किया जाता है।

मुख्य स्रोत#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, और AI Airlock नियामक सैंडबॉक्स (gov.uk)।
• NICE — Evidence Standards Framework (ESF) for digital health technologies (nice.org.uk)।
• NHS England — डिजिटल स्वास्थ्य तकनीकों के आधार रेखा आश्वासन के लिए Digital Technology Assessment Criteria (DTAC)।
• NHS England / पूर्व NHSX — A Buyer's Guide to AI in Health and Care, और AI Ethics Initiative।
• DCB0129 और DCB0160 — स्वास्थ्य IT के लिए क्लिनिकल जोखिम प्रबंधन मानक (विषय 1.6 देखें)।
• MHRA / IMDRF — Software as a Medical Device (SaMD) फ्रेमवर्क और अच्छी मशीन लर्निंग प्रथा।
• The King's Fund और Health Foundation — स्वास्थ्य और देखभाल में AI, डेटा, और असमानताओं का विश्लेषण।
• विषय 1.3 — साक्ष्य-संचालित निर्णय; विषय 1.6 — क्लिनिकल सुरक्षा और जोखिम प्रबंधन; विषय 1.7 — सूचना प्रशासन, डेटा सुरक्षा, और साइबर सुरक्षा; विषय 8.0 — नवाचार को चरणबद्ध करना भी देखें।

संदर्भ#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics