বিষয় 8.4 — AI ও উদীয়মান প্রযুক্তি গভর্ন্যান্স

এক বাক্যে: স্বাস্থ্য ও পরিচর্যায় কৃত্রিম বুদ্ধিমত্তা একটি শেখা, ডেটা-নির্ভর এবং প্রায়ই অস্বচ্ছ প্রযুক্তি যা আপনার শাসন করা যেকোনো সিস্টেমের চেয়ে দ্রুত সুবিধা ও ক্ষতি উভয়ই মাপে বাড়াতে পারে, তাই আপনাকে এটি এর সম্পূর্ণ জীবনচক্র জুড়ে ক্লিনিক্যাল-নিরাপত্তা, ন্যায্যতা ও জনআস্থার বিষয় হিসেবে শাসন করতে হবে, একবার কিনে ভুলে যাওয়া সাধারণ সফটওয়্যার হিসেবে নয়।

স্বাস্থ্য ও পরিচর্যায় কেন এটি গুরুত্বপূর্ণ#

আপনি যে সফটওয়্যার মোতায়েন করেছেন তার বেশির ভাগ আগামীকাল আজকের মতোই আচরণ করে: এর যুক্তি লিখিত, এর আচরণ পরীক্ষাযোগ্য, এবং ভুল হলে তা দৃশ্যমান, পুনরাবৃত্তিযোগ্য উপায়ে ভুল হয়। কৃত্রিম বুদ্ধিমত্তা এই তিনটি আরামই ভাঙে। এটি কোনো মানুষের লেখা নিয়ম অনুসরণ না করে ডেটা থেকে পরিসংখ্যানগত ধরন শেখে; এর আচরণ সম্পূর্ণভাবে নির্ভর করে যে ডেটায় প্রশিক্ষিত এবং এখন যে ডেটার মুখোমুখি তার ওপর; এবং এর যুক্তি প্রায়ই যারা এটি গড়েছেন তাঁদের কাছেও অস্বচ্ছ। এই সমন্বয়ের কারণেই AI-র নিজস্ব গভর্ন্যান্স শৃঙ্খলা দরকার, একটি সাধারণ সফটওয়্যার চেকলিস্টে মিশিয়ে দেওয়া নয়।

স্বাস্থ্য ও পরিচর্যায় পরিণতি বিমূর্ত নয়। একটি মডেল যা তার প্রশিক্ষণ ডেটায় কম-প্রতিনিধিত্বকৃত একটি গোষ্ঠীতে রোগ কম শনাক্ত করে তা একটি বিচ্ছিন্ন ত্রুটি করে না, সেটি নীরবে হাজার হাজার বার একই ত্রুটি করে, স্বাস্থ্য অসমতা পাকা ও মাপে বাড়িয়ে। একটি জেনারেটিভ মডেল যা একটি বিশ্বাসযোগ্য-শোনা ক্লিনিক্যাল খুঁটিনাটি বানায় তা ঠিক ভুল মুহূর্তে একজন টানাটানিতে-থাকা চিকিৎসককে বিভ্রান্ত করতে পারে। যে সরঞ্জাম এটি যাচাই-করা জনসংখ্যায় সুন্দরভাবে কাজ করে তা জনসংখ্যা, পরিচর্যা পথ বা উজানের ডেটা বদলালে নীরবে ক্ষয় হতে পারে। AI সমান দক্ষতায় ভালো সিদ্ধান্ত এবং পক্ষপাত, ত্রুটি ও ক্ষতি মাপে বাড়াতে পারে।

এই বিষয় প্রচার গিলে ফেলা বা প্রযুক্তি নিষিদ্ধ করা ছাড়াই সেই ঝুঁকি শাসনের বিষয়ে। এটি ইচ্ছাকৃতভাবে অন্যত্র স্থাপিত ভিত্তি পুনরাবৃত্তি করে না: ক্লিনিক্যাল নিরাপত্তা (বিষয় 1.6 — ক্লিনিক্যাল নিরাপত্তা ও ঝুঁকি ব্যবস্থাপনা দেখুন), তথ্য গভর্ন্যান্স, ডেটা সুরক্ষা ও সাইবার নিরাপত্তা (বিষয় 1.7 — তথ্য গভর্ন্যান্স, ডেটা সুরক্ষা ও সাইবার নিরাপত্তা দেখুন), এবং প্রমাণ-চালিত সিদ্ধান্ত গ্রহণ (বিষয় 1.3 — প্রমাণ-চালিত সিদ্ধান্ত দেখুন)। এটি সেগুলোতে নোঙর করে এবং শেখা সিস্টেমের নির্দিষ্ট বিষয় যোগ করে। এটিকে আপনার বিদ্যমান আশ্বাসের AI-আকৃতির সম্প্রসারণ এবং উদ্ভাবন ধাপে ধাপে চালু করার (বিষয় 8.0 — উদ্ভাবন ধাপে ধাপে চালু করা দেখুন) শাসিত ভাইবোন হিসেবে দেখুন।

মূল ধারণা#

কৃত্রিম বুদ্ধিমত্তা ও মেশিন লার্নিং। একজন নেতার জন্য ব্যবহারিক পার্থক্য হলো: আজ স্বাস্থ্য ও পরিচর্যায় বেশির ভাগ AI হলো মেশিন লার্নিং, এমন সিস্টেম যা হাতে-লেখা নিয়ম চালানোর বদলে উদাহরণ থেকে ধরন অনুমান করে। এ কারণেই ডেটা কোডের মতোই পণ্য: প্রশিক্ষণ ডেটা বদলান এবং আচরণ বদলান। এর অর্থ আরও যে একটি মডেল কিছু "জানে" না; এটি অনুমান করে, এবং আত্মবিশ্বাসের সঙ্গে ভুল হতে পারে। ধারণাগত স্তরে এটি বোঝাই সঠিক গভর্ন্যান্স প্রশ্ন করার জন্য যথেষ্ট; আপনার গণিত পড়ার দরকার নেই।

Software as a Medical Device (SaMD) ও MHRA। যখন সফটওয়্যারের একটি চিকিৎসা উদ্দেশ্য থাকে, রোগনির্ণয়, স্ক্রিনিং, ট্রায়াজ, ডোজ গণনা, অবনতির পূর্বাভাস, এটি আইনত প্রায়ই একটি চিকিৎসা যন্ত্র, ফোনে বা সার্ভারে চলুক নির্বিশেষে। এই ধরনের চিকিৎসা সফটওয়্যার, Software as a Medical Device (SaMD) নামে পরিচিত, যুক্তরাজ্যে Medicines and Healthcare products Regulatory Agency (MHRA) দ্বারা নিয়ন্ত্রিত। আপনি যদি একটি ক্লিনিক্যাল উদ্দেশ্যের AI সরঞ্জাম কমিশন বা নির্মাণ করেন, প্রথম গভর্ন্যান্স প্রশ্ন হলো এটি একটি নিয়ন্ত্রিত যন্ত্র কি না এবং হলে এর বৈধ সামঞ্জস্য চিহ্ন আছে কি না। এটি ভুল করা একটি প্রযুক্তিগত খুঁটিনাটি নয়; একটি অনিবন্ধিত চিকিৎসা যন্ত্র মোতায়েন করা বেআইনি ও অনিরাপদ।

AI Airlock। MHRA AI Airlock নামে একটি নিয়ন্ত্রক স্যান্ডবক্স প্রতিষ্ঠা করেছে একটি নিয়ন্ত্রিত, পর্যবেক্ষিত পরিবেশে চিকিৎসা যন্ত্র হিসেবে AI কীভাবে নিয়ন্ত্রিত হওয়া উচিত তা কাজ করে বের করতে। একটি নিয়ন্ত্রক স্যান্ডবক্স একজন নিয়ন্ত্রক ও অল্প সংখ্যক ডেভেলপারকে সাধারণ নিয়ম নির্ধারিত হওয়ার আগে তত্ত্বাবধানে কঠিন, নতুন প্রশ্ন পরীক্ষা করতে দেয়, উদাহরণস্বরূপ সময়ের সঙ্গে হালনাগাদ হওয়া একটি মডেল কীভাবে যাচাই করবেন। এটি কী সে সম্পর্কে সংযত থাকুন: Airlock নিয়ন্ত্রক ও মুষ্টিমেয় অংশগ্রহণকারীর জন্য একটি শেখার পরিবেশ, একটি দ্রুত-পথ অনুমোদন রুট নয়, এবং এর সঙ্গে যুক্ত হওয়া মানে একটি পণ্য সাধারণ ক্লিনিক্যাল ব্যবহারের জন্য অনুমোদিত নয়।

অ্যালগরিদমিক পক্ষপাত ও ন্যায্যতা। অ্যালগরিদমিক পক্ষপাত হলো একটি সিস্টেমের নির্দিষ্ট গোষ্ঠীর জন্য পদ্ধতিগতভাবে অন্যায্য ফলাফল তৈরির প্রবণতা। স্বাস্থ্য ও পরিচর্যায় এর সবচেয়ে সাধারণ উৎস প্রশিক্ষণ ডেটা: একটি গোষ্ঠী যদি কম-প্রতিনিধিত্বকৃত, ভুল-লেবেল করা বা পক্ষপাতদুষ্ট যন্ত্র দিয়ে মাপা হয়, মডেল সেই গোষ্ঠীকে খারাপ সেবা দিতে শেখে। কারণ মডেল তারপর এটি মাপে ও বস্তুনিষ্ঠতার আভাসে প্রয়োগ করে, পক্ষপাতদুষ্ট AI ঠিক সেই অসমতা প্রসারিত করতে পারে যা কমানোর জন্য আপনার প্রতিষ্ঠান বিধিবদ্ধভাবে বাধ্য।

ব্যাখ্যাযোগ্যতা ও ব্ল্যাক বক্স। ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা এই বিষয়ে যে একজন মানুষ বুঝতে পারেন কেন একটি মডেল একটি নির্দিষ্ট আউটপুট তৈরি করেছে। অনেক উচ্চ-কর্মক্ষম মডেল কার্যত "ব্ল্যাক বক্স": সামগ্রিকভাবে নির্ভুল কিন্তু একজন চিকিৎসককে একটি পৃথক সিদ্ধান্তের বিশ্বাসযোগ্য কারণ দিতে অক্ষম। একটি ক্লিনিক্যাল পরিবেশে এটি জবাবদিহিতা, অবহিত সম্মতি এবং বিবেচনা প্রয়োগের চিকিৎসকের দায়িত্বের জন্য গুরুত্বপূর্ণ, একজন ডাক্তার যে পরামর্শ জেরা করতে পারেন না তার দায় অর্থবহভাবে নিতে পারেন না।

মডেল ড্রিফট ও বাজার-পরবর্তী নজরদারি। একটি মডেলের নির্ভুলতা স্থির নয়। কনসেপ্ট ড্রিফট, ইনপুট ও যা পূর্বাভাস করা হচ্ছে তার মধ্যকার সম্পর্কে সময়ের সঙ্গে পরিবর্তন, মানে গত বছর যাচাই-করা একটি মডেল জনসংখ্যা, পথ বা উজানের ডেটা বদলালে এ বছর নীরবে অবনত হতে পারে। এ কারণেই AI-র জন্য কেবল গো-লাইভে একবারের যাচাই নয়, চলমান বাজার-পরবর্তী নজরদারি ও পর্যবেক্ষণ দরকার।

MLOps ও মডেল জীবনচক্র। MLOps হলো প্রোডাকশনে মডেল নির্ভরযোগ্যভাবে মোতায়েন, পর্যবেক্ষণ, সংস্করণ ও পুনঃপ্রশিক্ষণের পরিচালনগত শৃঙ্খলা। এটি সেই যন্ত্রপাতি যা জীবনচক্র গভর্ন্যান্স বাস্তব করে: কোন মডেল সংস্করণ লাইভ, কোন ডেটায়, কী কর্মক্ষমতাসহ তা জানা, এবং রোল ব্যাক করতে পারা।

মানুষ-লুপে। একটি মানুষ-লুপে নকশা একজন ব্যক্তিকে, সাধারণত একজন চিকিৎসক, অর্থবহভাবে সিদ্ধান্তে রাখে, মডেল অগ্রাহ্য করার কর্তৃত্ব ও তথ্যসহ। ভালোভাবে করলে এটি জবাবদিহিতা রক্ষা করে; রাবার স্ট্যাম্প হিসেবে করলে এটি কেবল তদারকির বিভ্রম দেয়।

জেনারেটিভ AI ও বৃহৎ ভাষা মডেল। জেনারেটিভ কৃত্রিম বুদ্ধিমত্তা, বৃহৎ ভাষা মডেল (LLM) সহ, সাবলীল টেক্সট ও অন্যান্য বিষয়বস্তু তৈরি করে। স্বাস্থ্য ও পরিচর্যায় এর বাস্তবসম্মত নিকট-মেয়াদি মূল্য মূলত প্রশাসনিক, ডকুমেন্টেশন খসড়া, সারসংক্ষেপ, কাগজপত্র সহজ করা। এর সংজ্ঞায়ক ঝুঁকি হ্যালুসিনেশন: মিথ্যা কিন্তু বিশ্বাসযোগ্য বিষয়বস্তুর আত্মবিশ্বাসী উৎপাদন, রোগীর ডেটা তৃতীয়-পক্ষ সেবায় প্রবেশ করালে গোপনীয়তা ঝুঁকি দ্বারা বর্ধিত।

ডিজিটাল থেরাপিউটিক্স ও স্বাস্থ্য অ্যাপ। ডিজিটাল থেরাপিউটিক্স (DTx) হলো সফটওয়্যার-চালিত, প্রমাণ-ভিত্তিক হস্তক্ষেপ যা একটি অবস্থা প্রতিরোধ, পরিচালনা বা চিকিৎসা করে, সাধারণ সুস্থতা অ্যাপ থেকে আলাদা ঠিক কারণ সেগুলো একটি ক্লিনিক্যাল দাবি করে, যার অর্থ অনেকগুলো Software as a Medical Device এবং আপনি যে অন্য যেকোনো হস্তক্ষেপ প্রেসক্রাইব বা সুপারিশ করেন তার সমান প্রমাণ ও আশ্বাস দাবি করে।

শ্রেষ্ঠ চর্চা#

1. অন্য কিছু করার আগে সরঞ্জামটি শ্রেণিবদ্ধ করুন। ক্লিনিক্যাল ও নিয়ন্ত্রক ইনপুটসহ লিখিতভাবে প্রতিষ্ঠা করুন AI-র একটি চিকিৎসা উদ্দেশ্য আছে কি না এবং তাই এটি একটি নিয়ন্ত্রিত চিকিৎসা যন্ত্র কি না, এবং এটি বৈধ MHRA সামঞ্জস্য চিহ্ন ধরে কি না। এই একক সিদ্ধান্ত ডাউনস্ট্রিম সবকিছু নিয়ন্ত্রণ করে, আশ্বাস পথ, দায়, মোতায়েনের বৈধতা। সন্দেহ হলে, একটি প্রশাসনিক সরঞ্জাম পরিধির বাইরে ধরে নেওয়ার বদলে নিয়ন্ত্রক পরামর্শ নিন।

2. AI-কে আপনার বিদ্যমান ক্লিনিক্যাল-নিরাপত্তা ও IG যন্ত্রপাতির মধ্য দিয়ে চালান, প্রসারিত করে, এড়িয়ে নয়। প্রতিটি ক্লিনিক্যাল AI মোতায়েনে DCB0129/DCB0160-এর ক্লিনিক্যাল ঝুঁকি ব্যবস্থাপনা (বিষয় 1.6 দেখুন) এবং আপনার তথ্য গভর্ন্যান্স কাঠামোর অধীনে একটি Data Protection Impact Assessment দরকার (বিষয় 1.7 দেখুন)। নতুনত্ব বা সরবরাহকারীর উৎসাহকে একটি সমান্তরাল, হালকা প্রক্রিয়া তৈরি করতে দেবেন না। AI-নির্দিষ্ট বিপদ, পক্ষপাত, ড্রিফট, অস্বচ্ছতা, অটোমেশন পক্ষপাত, হ্যাজার্ড লগে যোগ করতে হবে, এর বিকল্প হিসেবে নয়।

3. প্রতিনিধিত্ব ও পক্ষপাতের জন্য প্রশিক্ষণ ডেটা জেরা করুন। জিজ্ঞাসা করুন ডেটায় কারা আছেন ও কারা অনুপস্থিত, ফলাফল কীভাবে লেবেল করা হয়েছিল, এবং মাপার যন্ত্র নিজেরাই গোষ্ঠী জুড়ে পক্ষপাতদুষ্ট ছিল কি না। সরবরাহকারীকে প্রাসঙ্গিক উপগোষ্ঠী, বয়স, লিঙ্গ, জাতিগততা, বঞ্চনা অনুযায়ী ভাঙা কর্মক্ষমতা প্রতিবেদন করতে দাবি করুন, কেবল শিরোনাম নির্ভুলতা নয়। যে সরঞ্জাম ন্যায্য কর্মক্ষমতা প্রদর্শন করতে পারে না তা এর গড় যতই চিত্তাকর্ষক হোক একটি স্বাস্থ্য-অসমতা ঝুঁকি।

4. ঝুঁকির উপযুক্ত ক্লিনিক্যাল যাচাই দাবি করুন, এবং সম্ভাব্য প্রমাণ পছন্দ করুন। সংগৃহীত ডেটায় পূর্বপ্রভাবী নির্ভুলতা প্রমাণের সবচেয়ে দুর্বল রূপ। ক্লিনিক্যাল সিদ্ধান্ত প্রভাবিত করা যেকোনো কিছুর জন্য, আপনার মতো জনসংখ্যা ও ওয়ার্কফ্লোতে, আদর্শভাবে সম্ভাব্য, যাচাই খুঁজুন, এবং দাবি উপযুক্ত আশ্বাস কাঠামোর মাধ্যমে পাঠান, ডিজিটাল স্বাস্থ্য প্রযুক্তির জন্য NICE Evidence Standards Framework এবং ভিত্তিরেখা আশ্বাস হিসেবে Digital Technology Assessment Criteria (DTAC)। প্রমাণের শক্তি সম্ভাব্য ক্ষতির মাত্রার সঙ্গে মেলান।

5. অর্থবহ মানুষ-লুপে ও স্পষ্ট জবাবদিহিতার ওপর জোর দিন। AI-র জানানো একটি সিদ্ধান্তের জন্য কে জবাবদিহিকারী তা সংজ্ঞায়িত করুন, এবং নিশ্চিত করুন মানুষটির অগ্রাহ্য করার কর্তৃত্ব এবং তা করার তথ্য উভয়ই আছে। অটোমেশন পক্ষপাত, মেশিনের কাছে নতিস্বীকারের প্রবণতা, প্রশিক্ষণ, ইন্টারফেস নকশা ও অগ্রাহ্য হার নিরীক্ষার মাধ্যমে সক্রিয়ভাবে প্রতিরোধ করুন। অগ্রাহ্য যদি কখনো না ঘটে, আপনার "মানুষ লুপে" সাজসজ্জা।

6. গো-লাইভকে আশ্বাসের শেষ নয়, পর্যবেক্ষণের শুরু হিসেবে দেখুন। প্রথম দিন থেকে বাজার-পরবর্তী নজরদারি দাঁড় করান: বাস্তব-জগৎ কর্মক্ষমতা পর্যবেক্ষণ করুন, কনসেপ্ট ড্রিফট লক্ষ্য করুন, এবং মডেল পুনঃপ্রশিক্ষণ, বিরতি বা প্রত্যাহারের সীমা ও প্রক্রিয়া সংজ্ঞায়িত করুন। সুস্থ MLOps-এর মাধ্যমে মডেল সংস্করণ ও রোলব্যাক প্রতিষ্ঠা করুন যাতে আপনি সবসময় জানেন কী লাইভ এবং নিরাপদে ফিরতে পারেন। একটি মডেল যা কখনো পুনঃযাচাই হয় না তা একটি ধীরে ব্যর্থ হওয়া নিরাপত্তা নিয়ন্ত্রণ।

7. জেনারেটিভ AI-কে এর বাস্তবসম্মত ব্যবহার ও প্রকৃত ঝুঁকির বিপরীতে শাসন করুন। যেখানে মূল্য প্রকৃত এবং ঝুঁকি সীমিত সেখানে LLM অনুমোদন করুন, প্রশাসনিক খসড়া, সারসংক্ষেপ, মানব পর্যালোচনাসহ ডকুমেন্টেশন সহায়তা, এবং তৃতীয়-পক্ষ সেবায় রোগী-শনাক্তযোগ্য ডেটার অপরিচালিত প্রবেশ নিষিদ্ধ করুন। ধরে নিন যেকোনো জেনারেটিভ আউটপুট বানানো হতে পারে যতক্ষণ না একজন মানুষ যাচাই করে, এবং অযাচাইকৃত উৎপাদিত বিষয়বস্তুকে কখনো ক্লিনিক্যাল রেকর্ডে ঢুকতে দেবেন না। স্পষ্ট, প্রয়োগকৃত নীতি ছায়া ব্যবহার চালানো সর্বব্যাপী নিষেধ এবং ডেটা ফাঁস করা মুক্ত-সবার চেয়ে ভালো।

8. প্রশিক্ষণসহ সম্পূর্ণ ডেটা জীবনচক্রে তথ্য গভর্ন্যান্স প্রয়োগ করুন। একটি মডেল প্রশিক্ষণ, ফাইন-টিউন ও মূল্যায়নে ব্যবহৃত ডেটা অন্য যেকোনো ব্যবহারের মতো একই বৈধ-ভিত্তি, ন্যূনতমকরণ ও স্বচ্ছতা বাধ্যবাধকতার অধীন (বিষয় 1.7 দেখুন)। রোগীর ডেটায় প্রশিক্ষণের ভিত্তি, এটি পর্যাপ্তভাবে পরিচয়-মুক্ত কি না, এবং সরবরাহকারী এটি দিয়ে কী করতে পারে সে সম্পর্কে স্পষ্ট থাকুন। চুক্তি বৈধ ভিত্তি ও আপনার সম্মতি ছাড়া অন্যদের জন্য পণ্য প্রশিক্ষণে আপনার ডেটার পুনঃব্যবহার নিষিদ্ধ করা উচিত।

9. একটি মানব-পাঠযোগ্য মডেল রেজিস্টার রাখুন এবং সরবরাহকারীদের কাছ থেকে স্বচ্ছতা দাবি করুন। ব্যবহৃত AI-র একটি তালিকা রক্ষণাবেক্ষণ করুন: উদ্দেশ্য, নিয়ন্ত্রক অবস্থা, প্রশিক্ষণ ডেটা উৎস, যাচাই প্রমাণ, পর্যবেক্ষণ পরিকল্পনা এবং জবাবদিহিকারী মালিক। সরবরাহকারীদের একটি মডেল কীভাবে কাজ করে, এর সীমা ও ব্যর্থতা ধরন সম্পর্কে স্বচ্ছ হতে দাবি করুন; একজন বিক্রেতার অস্বচ্ছতা নিজেই একটি ঝুঁকি সংকেত। আপনি যা লিখে রাখেননি তা শাসন করতে পারেন না।

10. সুচিন্তিতভাবে দিগন্ত স্ক্যান করুন এবং নিয়ন্ত্রিত মূল্যায়নের মাধ্যমে ধাপে ধাপে চালু করুন। আজকের AI ছাড়িয়ে, উদীয়মান প্রযুক্তি, অ্যাম্বিয়েন্ট ডকুমেন্টেশন, ফাউন্ডেশন মডেল, এবং আরও দূরে কোয়ান্টাম ও নতুন সেন্সিং, প্রতিক্রিয়াশীল ক্রয়ের বদলে কাঠামোবদ্ধ দিগন্ত-স্ক্যানিংয়ে লক্ষ্য রাখুন। সত্যিই নতুন কিছু উদ্ভাবন ধাপে ধাপে চালু করার (বিষয় 8.0) নিয়ন্ত্রিত, প্রত্যাবর্তনযোগ্য, মূল্যায়িত পদ্ধতিতে প্রবর্তন করুন, ছোট শুরু করে, সততার সঙ্গে মেপে, এবং থামানোর সামর্থ্য ধরে রেখে।

11. ডিজিটাল থেরাপিউটিক্স ও স্বাস্থ্য অ্যাপকে হস্তক্ষেপ হিসেবে দেখুন, ভোক্তা ডাউনলোড নয়। যখন একটি অ্যাপ একটি ক্লিনিক্যাল দাবি করে, একটি অবস্থা চিকিৎসা, পরিচালনা বা প্রতিরোধ করতে, এটি এমন একটি হস্তক্ষেপ যার ওপর রোগীরা ব্যবস্থা নেবে, এবং আপনি এটি প্রেসক্রাইব বা সুপারিশ করার আগে একটি ওষুধ বা যন্ত্রের সমান যাচাই এটি প্রাপ্য। প্রতিষ্ঠা করুন এটি বৈধ সামঞ্জস্য চিহ্নসহ Software as a Medical Device কি না, এর দাবির সমানুপাতিক প্রমাণ দাবি করুন, এবং একটি অ্যাপ-স্টোর রেটিং বা সরবরাহকারীর উৎসাহে বিশ্বাস করার বদলে একটি ক্লিনিক্যাল নিরাপত্তা মূল্যায়ন সম্পূর্ণ করুন (বিষয় 1.6 দেখুন)। একজন চিকিৎসকের অনুমোদিত একটি অনাশ্বাসিত অ্যাপ আপনার প্রতিষ্ঠানের নাম এবং ক্ষতি করলে আপনার জবাবদিহিতা বহন করে।

12. স্বাস্থ্য অ্যাপ বিদ্যমান আশ্বাসের মধ্য দিয়ে চালান এবং একটি বাছাইকৃত, নিরাপদ লাইব্রেরি রাখুন। ডিজিটাল থেরাপিউটিক্স সেই একই যন্ত্রপাতির মাধ্যমে মূল্যায়ন করুন যা আপনি ইতোমধ্যে চালান, ভিত্তিরেখা হিসেবে DTAC, ক্লিনিক্যাল দাবির সঙ্গে মেলানো NICE Evidence Standards Framework, এবং ক্লিনিক্যাল নিরাপত্তা ও IG পর্যালোচনা, এবং সময়ের সঙ্গে বাস্তব-জগৎ মূল্যায়ন প্রমাণ গড়ুন (বিষয় 8.6 দেখুন)। আপনি আশ্বাস দিয়েছেন এবং যার পেছনে দাঁড়ান এমন অ্যাপের একটি বাছাইকৃত লাইব্রেরি রাখুন, প্রতিটি অ্যাপের নিয়ন্ত্রক অবস্থা, প্রমাণ ও মালিক রেকর্ড করে, যাতে চিকিৎসকরা একটি নিরাপদ, শাসিত সংক্ষিপ্ত তালিকা থেকে সুপারিশ করেন। বিকল্প, দল জুড়ে অনানুষ্ঠানিকভাবে সুপারিশ করা অমূল্যায়িত অ্যাপের একটি অনিয়ন্ত্রিত ছড়ানো, পরিচালনার অযোগ্য ও অনিরাপদ।

দলের সঙ্গে আলোচনার প্রশ্ন#

1. আমরা যে প্রতিটি AI সরঞ্জাম বিবেচনা করছি বা ইতোমধ্যে ব্যবহার করছি, আমরা কি আসলে জানি এটি একটি নিয়ন্ত্রিত চিকিৎসা যন্ত্র কি না, এবং আমরা কি প্রমাণ দেখাতে পারি? এটি একটি সম্মতি আনুষ্ঠানিকতার মতো শোনায় কিন্তু এটি ভার-বহনকারী প্রশ্ন, কারণ উত্তর নির্ধারণ করে কী বৈধ, কে দায়ী, এবং জনগণের প্রতি আপনার কী আশ্বাস প্রাপ্য। একটি সরঞ্জাম যা "শুধু ট্রায়াজে সাহায্য করে" বা "শুধু নোট সংক্ষেপ করে" তাকে নিরীহ প্রশাসনিক সফটওয়্যার ধরে নেওয়া সহজ যখন এর চিকিৎসা উদ্দেশ্য আসলে একে MHRA সামঞ্জস্য চিহ্ন দাবি করা একটি নিয়ন্ত্রিত যন্ত্র করে। আলোচনা আপনাকে ব্যবহৃত বা পাইপলাইনে থাকা প্রতিটি AI সরঞ্জামের নাম বলতে, এর অভিপ্রেত উদ্দেশ্য সরল ক্লিনিক্যাল ভাষায় বলতে, এবং যন্ত্র-শ্রেণিবিন্যাস সিদ্ধান্ত কে নিয়েছেন ও কোন ভিত্তিতে তা শনাক্ত করতে বাধ্য করবে। এটি অস্বস্তিকর ক্ষেত্র উঠিয়ে আনা উচিত যেখানে একটি সরঞ্জাম কোনো নিয়ন্ত্রক যাচাই ছাড়াই একটি সাধারণ IT পথে কেনা হয়েছিল। সৎ থাকুন আজ একজন নিয়ন্ত্রক বা করোনার জিজ্ঞাসা করলে আপনি সামঞ্জস্য নথি ও যাচাই প্রমাণ দেখাতে পারতেন কি না। আলোচনার মূল্য হলো এটি একটি অস্পষ্ট বোধ যে "কেউ নিশ্চয়ই যাচাই করেছে" কে একটি নথিভুক্ত, মালিকানাধীন অবস্থানে রূপান্তর করে, এবং যেসব সরঞ্জামে কেউ করেনি সেগুলো প্রকাশ করে।

2. আমরা কি সবচেয়ে ক্ষতির সম্ভাবনা সম্পন্ন গোষ্ঠীর জন্য এই মডেল কেমন কাজ করে তা দেখতে দাবি করেছি, নাকি একটি শিরোনাম নির্ভুলতা সংখ্যা গ্রহণ করেছি? গড় নির্ভুলতা সেই সংখ্যা যা দিয়ে সরবরাহকারীরা নেতৃত্ব দেয় এবং সেই সংখ্যা যা অ্যালগরিদমিক পক্ষপাত লুকায়, কারণ একটি মডেল সামগ্রিকভাবে অত্যন্ত নির্ভুল হতে পারে যখন একটি কম-প্রতিনিধিত্বকৃত গোষ্ঠীর জন্য লক্ষণীয়ভাবে খারাপ কাজ করে। স্বাস্থ্য ও পরিচর্যায় এটি একটি পরিসংখ্যানগত কৌতূহল নয়; এটি সেই অসমতা প্রসারিত করার একটি যন্ত্রব্যবস্থা যা কমানোর জন্য আপনি আইনত ও নৈতিকভাবে বাধ্য, নীরবে ও মাপে প্রয়োগ করা। দলের আলোচনা করা উচিত আপনি আসলে কী উপগোষ্ঠী প্রমাণ দেখেছেন, বয়স, লিঙ্গ, জাতিগততা ও বঞ্চনা অনুযায়ী ভাঙা কর্মক্ষমতা, এবং আপনি জানেন কি না প্রশিক্ষণ ডেটায় কারা ছিলেন ও কারা অনুপস্থিত। এখানে অস্বস্তির নাম দেওয়া সার্থক: একজন সরবরাহকারীকে ন্যায্যতা নিয়ে চাপ দেওয়া একটি উত্তেজনাপূর্ণ উদ্ভাবন বাধাগ্রস্ত করার মতো মনে হতে পারে, এবং সৎ প্রশ্ন হলো ন্যায্য কর্মক্ষমতা প্রদর্শন করতে না পারা সরঞ্জামকে না বলতে আপনি ইচ্ছুক কি না। এও বিবেচনা করুন আপনি মোতায়েনের পরে অসম ফলাফল কীভাবে শনাক্ত করবেন, কারণ ক্রয়ের সময় অদৃশ্য থাকা পক্ষপাত প্রোডাকশনে অদৃশ্য থাকবে যদি আপনি তা পর্যবেক্ষণ না করেন। একটি ভালো আলোচনা কোনো ক্লিনিক্যাল AI লাইভ হওয়ার আগে প্রযোজ্য ন্যায্যতার একটি মূর্ত প্রমাণ মান এবং পরে নজর রাখার একটি পরিকল্পনায় শেষ হয়।

3. যখন এই মডেল ভুল হয়, এবং হবে, তখন কে জবাবদিহিকারী, একজন মানুষ কি সত্যিই ধরবে, এবং আমরা আসলে কীভাবে জানব? প্রতিটি মডেল কখনো কখনো ব্যর্থ হয়, এবং শেখা সিস্টেম সময়ের সঙ্গে আরও ঘন ঘন ব্যর্থ হওয়ার দিকে ভেসে যেতে পারে, তাই পরিণত প্রশ্ন ত্রুটি ঘটে কি না নয়, আপনার রক্ষাকবচ প্রকৃত কি না। দলের পরীক্ষা করা উচিত মানুষ-লুপে অর্থবহ নাকি সাজসজ্জা: চিকিৎসকের কি অগ্রাহ্য করার কর্তৃত্ব ও তথ্য আছে, এবং আপনি অগ্রাহ্য হার দেখলে কি খুঁজে পেতেন তারা কখনো আসলে অগ্রাহ্য করে, নাকি অটোমেশন পক্ষপাত গেড়ে বসেছে? আলোচনা করুন AI-র জানানো একটি সিদ্ধান্তের জন্য কে নামধারী জবাবদিহিকারী, চিকিৎসক, প্রতিষ্ঠান, সরবরাহকারী, কারণ "অ্যালগরিদম করেছে" একজন রোগী বা করোনারের কাছে একটি রক্ষণীয় অবস্থান নয়। আপনার পর্যবেক্ষণ সততার সঙ্গে মোকাবেলা করুন: আপনার কি বাজার-পরবর্তী নজরদারি আছে যা কনসেপ্ট ড্রিফট শনাক্ত করবে, মডেল বিরতি বা প্রত্যাহারের সংজ্ঞায়িত সীমা, এবং কোন সংস্করণ লাইভ জানতে ও রোল ব্যাক করতে MLOps যন্ত্রপাতি? জেনারেটিভ সরঞ্জামের জন্য, হ্যালুসিনেশন প্রশ্ন যোগ করুন, কী বানানো বিষয়বস্তুকে ক্লিনিক্যাল রেকর্ডে ঢুকতে আটকায়, এবং আউটপুট বিশ্বাস করার আগে কে যাচাই করে? এই আলোচনার সবচেয়ে দরকারি সংস্করণ "মানব তদারকি"-র আশ্বাসদায়ক চিত্র এবং একটি ব্যস্ত ওয়ার্ডে রাত ৩টায় আসলে কী ঘটত তার মধ্যকার ফাঁক প্রকাশ করে।

4. আমরা যখন এই মডেল প্রশিক্ষণ, ফাইন-টিউন ও চালাই তখন আমাদের রোগীদের ডেটার কী ঘটছে, এবং সরবরাহকারী এটি নিয়ে কী করার অধিকার সংরক্ষিত রেখেছে? AI ডেটা-গভর্ন্যান্স ঝুঁকি কেন্দ্রীভূত করে ঠিক কারণ ডেটাই পণ্য: একটি মডেল কেবল এটি স্পর্শ করা প্রতিটি ডেটাসেটের পেছনের বৈধ ভিত্তি, ন্যূনতমকরণ ও স্বচ্ছতার মতোই বিশ্বস্ত, গো-লাইভের আগে থাকা প্রশিক্ষণ ও মূল্যায়ন ডেটাসহ। দলের প্রতিটি সরঞ্জামের জন্য বলতে পারা উচিত রোগীর ডেটার যেকোনো ব্যবহারের বৈধ ভিত্তি, পরিচয়-মুক্তকরণ নিছক দাবি করা নয়, পর্যাপ্ত কি না, এবং ডেটা আপনার নিয়ন্ত্রণ ছাড়লে শারীরিকভাবে কোথায় প্রবাহিত হয়। একটি পুনরাবৃত্ত ফাঁদ হলো সেই চুক্তি যা নীরবে সরবরাহকারীকে অন্যদের কাছে বিক্রি করা পণ্য উন্নত করতে আপনার ডেটা পুনঃব্যবহার করতে দেয়; আলোচনা করুন আপনার চুক্তি বৈধ ভিত্তি ও আপনার স্পষ্ট সম্মতি ছাড়া তা নিষিদ্ধ করে কি না, এবং কেউ সেই ধারাগুলো আসলে পড়েছেন কি না। এটি সরাসরি আপনার তথ্য গভর্ন্যান্স কাঠামোর সঙ্গে যুক্ত (বিষয় 1.7 দেখুন), এবং এখানেই একটি সক্ষম সরঞ্জামের প্রতি উৎসাহ সবচেয়ে প্রায়ই যথাযথ অধ্যবসায়কে ছাড়িয়ে যায়। একটি সৎ উত্তর DPIA-র মালিক, সরবরাহকারী কী করতে পারে ও পারে না, এবং আপনি বর্তমানে কোথায় উন্মুক্ত তার নাম বলে, ডেমো চিত্তাকর্ষক ছিল বলে কাগজপত্র নিশ্চয়ই ঠিক ধরে নেওয়ার বদলে।

5. আমরা কী গ্রহণ করব না তা কীভাবে ঠিক করি, এবং আমরা কি সবাই যে জিনিস নিয়ে উত্তেজিত তা কেনার চাপ প্রতিরোধ করতে পারি? একটি দ্রুত-চলমান প্রযুক্তির সবচেয়ে কঠিন গভর্ন্যান্স শৃঙ্খলা হলো "এখনো নয়" বা "এটি নয়" বলা, এবং যে দল প্রত্যাখ্যানের মানদণ্ড প্রকাশ করতে পারে না সে প্রমাণের বদলে ভেসে-যাওয়া ও প্রচারে গ্রহণ করবে। আলোচনা করুন একটি অন্যথায় আকর্ষণীয় সরঞ্জাম থেকে কী আপনাকে সরে আসতে বাধ্য করবে, দুর্বল উপগোষ্ঠী প্রমাণ, অস্পষ্ট নিয়ন্ত্রক অবস্থা, ঝুঁকির তুলনায় বাস্তবসম্মত সুবিধা পাতলা এমন একটি ব্যবহার ক্ষেত্র, এবং সেই লাল রেখাগুলো লেখা নাকি নিছক অনুভূত। একটি প্রকৃত উন্নতি মিস করার খরচ এবং জনআস্থা ক্ষতিকারী একটি মাপে-বাড়া ব্যর্থতার খরচের মধ্যে একটি প্রকৃত টানাপোড়েন আছে, এবং যুক্তিসংগত মানুষ সেগুলো ভিন্নভাবে ওজন করবে। রাজনৈতিক বাস্তবতার নাম দেওয়া সার্থক যে গ্রহণের চাপ প্রায়ই একটি বোর্ড, একটি সরবরাহকারী সম্পর্ক বা একটি জাতীয় আদেশ থেকে আসে, ক্লিনিক্যাল প্রয়োজন থেকে নয়। বিষয়ের অবস্থান হলো সুচিন্তিতভাবে দিগন্ত স্ক্যান করা এবং নিয়ন্ত্রিত, প্রত্যাবর্তনযোগ্য মূল্যায়নের মাধ্যমে ধাপে ধাপে চালু করা (বিষয় 8.0 দেখুন), তাই একটি সৎ উত্তর বর্ণনা করে একটি প্রতিশ্রুতিশীল-কিন্তু-অপ্রমাণিত সরঞ্জাম কীভাবে পাইকারি রোলআউটের বদলে একটি ছোট, মাপা, থামানো-যোগ্য পাইলট হিসেবে প্রবেশ করে, এবং কার এটি থামানোর কর্তৃত্ব আছে।

6. আমরা কি এই মডেল কী করে তা যে চিকিৎসকদের এতে বিশ্বাস করতে হবে এবং যে রোগীরা প্রভাবিত তাদের ব্যাখ্যা করতে পারি, এবং আমরা কি এর সীমা সম্পর্কে সৎ থেকেছি? একটি মডেল যা একজন চিকিৎসক জেরা করতে পারেন না এবং একজন রোগী বুঝতে পারেন না তা অবহিত বিচার ও অবহিত সম্মতি ক্ষয় করে যার ওপর ক্লিনিক্যাল পরিচর্যা নির্ভর করে, সামগ্রিকভাবে এটি যতই নির্ভুল হোক। দলের আলোচনা করা উচিত এই নির্দিষ্ট ব্যবহারে আসলে কতটা ব্যাখ্যাযোগ্যতা দরকার: একটি সারি-অগ্রাধিকার সহায়ক একটি রোগনির্ণয় বা চিকিৎসা সিদ্ধান্ত প্রভাবিত করা সরঞ্জামের চেয়ে কম দাবি করে, এবং ঝুঁকির সঙ্গে ব্যাখ্যা মেলানো একটি গভর্ন্যান্স পছন্দ, একটি প্রযুক্তিগত পরে-ভাবা বিষয় নয়। বিবেচনা করুন যে চিকিৎসকদের এটি ব্যবহার করার প্রত্যাশা তাদের আপনি কী বলেন, এর উদ্দেশ্য, এর জানা ব্যর্থতা ধরন, যে গোষ্ঠীর জন্য এটি কম নির্ভরযোগ্য, এবং সেই ব্রিফিং খোলামেলা নাকি একটি বিপণন সারসংক্ষেপ। রোগী-মুখী সততাও গুরুত্বপূর্ণ: মানুষকে কি বলা হয় যখন তাদের পরিচর্যায় AI জড়িত, এবং তারা ব্যবস্থা নিতে পারে এমন ভাষায়? এটি একটি কর্মীবাহিনী প্রশ্নও, কারণ অতি নিম্ন আস্থা মানে একটি দরকারি সরঞ্জাম উপেক্ষিত যখন অতি উচ্চ আস্থা সেই অটোমেশন পক্ষপাত তৈরি করে যা তদারকি ফাঁপা করে। একটি সৎ উত্তর মোকাবেলা করে আপনার প্রশিক্ষণ ও যোগাযোগ ক্রমাঙ্কিত আস্থা গড়ছে নাকি নিছক সরঞ্জাম বিক্রি করছে।

বাস্তবে: স্বাস্থ্য ও পরিচর্যার একটি উদাহরণ#

একটি ইন্টিগ্রেটেড কেয়ার সিস্টেমকে একটি AI সরঞ্জাম দেওয়া হয় যা বুকের X-রে পড়ে এবং রেডিওলজি রিপোর্টিং সারি অগ্রাধিকার দিতে সম্ভাব্য অস্বাভাবিকতা পতাকাঙ্কিত করে। ক্লিনিক্যাল নিরাপত্তা কর্মকর্তা ও মেডিক্যাল পরিচালক এটি দ্রুত কেনার চাপ প্রতিরোধ করেন এবং এর বদলে এটি যথাযথ গভর্ন্যান্সের মধ্য দিয়ে নেন।

প্রথমে, শ্রেণিবিন্যাস: সরঞ্জামের একটি স্পষ্ট চিকিৎসা উদ্দেশ্য আছে, তাই এটি Software as a Medical Device হিসেবে নিশ্চিত হয়, এবং এর MHRA সামঞ্জস্য চিহ্ন ও অভিপ্রেত-ব্যবহার বিবৃতি যাচাই করা হয়, অভিপ্রেত ব্যবহার ট্রায়াজ সহায়তা, স্বায়ত্তশাসিত রোগনির্ণয় নয়, যা পরবর্তী সবকিছু আকার দেয়। এরপর, আশ্বাস: সরঞ্জামটি ভিত্তিরেখা হিসেবে DTAC-র মধ্য দিয়ে নেওয়া হয়, এর ক্লিনিক্যাল দাবি NICE Evidence Standards Framework-এর বিপরীতে যাচাই করা হয়, একটি DCB0160 ক্লিনিক্যাল ঝুঁকি মূল্যায়ন সম্পূর্ণ হয়, এবং একটি DPIA ইমেজিং ডেটা ঢাকে (বিষয় 1.6 ও 1.7 দেখুন)। দল উপগোষ্ঠী কর্মক্ষমতা চায় এবং আবিষ্কার করে যাচাই জনসংখ্যা একটি স্থানীয় জনতাত্ত্বিক গোষ্ঠীকে কম-প্রতিনিধিত্ব করেছে; তারা এগোনোর আগে অতিরিক্ত স্থানীয় যাচাই দাবি করে, সম্ভাব্য পক্ষপাতকে একটি পাদটীকার বদলে একটি স্বাস্থ্য-অসমতা ঝুঁকি হিসেবে দেখে।

মোতায়েনের সময় নকশা একটি মানুষ লুপে রাখে: প্রতিটি ইমেজ এখনো একজন রেডিওলজিস্ট দ্বারা রিপোর্ট হয়, এবং AI কেবল সারি পুনঃক্রম করে, তাই একটি মিস-হওয়া পতাকা নিজে একটি মিস-হওয়া রোগনির্ণয় ঘটাতে পারে না। বাজার-পরবর্তী নজরদারি প্রথম দিন থেকে দাঁড় করানো হয়, শনাক্তকরণ হার, মডেল ও রিপোর্টিং রেডিওলজিস্টদের মধ্যে অসঙ্গতি, এবং স্ক্যানার হার্ডওয়্যার ও কেস-মিশ্রণ বদলালে যেকোনো ড্রিফট পর্যবেক্ষণ করে, সরঞ্জাম বিরতির আগে-সম্মত সীমা এবং সরবরাহকারীর সংস্করণকৃত মোতায়েনের মাধ্যমে একটি রোলব্যাক পথসহ। আলাদাভাবে, যখন একটি ওয়ার্ড ডিসচার্জ সারসংক্ষেপ খসড়া করতে একটি পাবলিক LLM-এ রোগীর ইতিহাস পেস্ট করতে চায়, একই গভর্ন্যান্স ফোরাম সেই অপরিচালিত পথকে না বলে এবং এর বদলে মানব যাচাইসহ একটি অনুমোদিত, সীমিত সরঞ্জাম কমিশন করে। এক বছর পরে, সারি-অগ্রাধিকার সরঞ্জাম রিপোর্টিং ঘুরে-দাঁড়ানো পরিমিতভাবে উন্নত করেছে, এর পর্যবেক্ষণ একটি স্ক্যানার আপগ্রেডের পরে ড্রিফটের একটি ঘটনা ধরেছে, এবং, গুরুত্বপূর্ণভাবে, প্রতিষ্ঠান ঠিক কীভাবে এটি শাসিত তা দেখাতে পারে।

খাতভিত্তিক দৃষ্টিকোণ#

স্টার্ট-আপ#

একটি ডিজিটাল-স্বাস্থ্য স্টার্ট-আপ প্রায়ই নিজেই AI, তাই এর গভর্ন্যান্স পরিপক্বতাই এর বাজার অ্যাক্সেস। প্রতিষ্ঠাতাদের নিয়ন্ত্রক শ্রেণিবিন্যাস, ক্লিনিক্যাল যাচাই ও পক্ষপাত প্রমাণকে মূল পণ্য কাজ হিসেবে দেখা উচিত, বিক্রয়ের আগে জুড়ে-দেওয়া সম্মতি কর হিসেবে নয়, কারণ একজন ক্রেতার ক্লিনিক্যাল নিরাপত্তা কর্মকর্তা ঠিক এগুলোই চাইবে এবং একটি "না" চুক্তি শেষ করে। MHRA-র সঙ্গে আগে সম্পৃক্ত হওয়া, সত্যিই নতুন প্রশ্নের জন্য সম্ভবত AI Airlock-এর মতো যন্ত্রব্যবস্থার মাধ্যমে, এবং শুরু থেকে DTAC ও NICE Evidence Standards Framework-এর জন্য নকশা করা আশ্বাসকে একটি প্রতিযোগিতামূলক সুবিধায় পরিণত করে। বৈশিষ্ট্যসূচক স্টার্ট-আপ ঝুঁকি অতি-দাবি: বিপণন যা প্রমাণকে ছাড়িয়ে যায়, বা গড় নির্ভুলতার একটি ডেমো যা দুর্বল উপগোষ্ঠী কর্মক্ষমতা লুকায়। শৃঙ্খলাবদ্ধ প্রতিষ্ঠাতা পণ্যে আগে পর্যবেক্ষণ ও বাজার-পরবর্তী নজরদারি গড়েন, কারণ একটি রেফারেন্স সাইটে একটি একক মাপে-বাড়া ব্যর্থতা একটি ছোট কোম্পানির জন্য একটি অস্তিত্বগত ঘটনা।

ক্ষুদ্র ব্যবসা#

একটি প্রতিষ্ঠিত ছোট প্রদানকারী, একটি জিপি প্র্যাকটিস, কমিউনিটি ফার্মেসি, কেয়ার হোম, একক-স্থানের ক্লিনিক, সাধারণত AI-র একজন ক্রেতা, নির্মাতা নয়, তবু এটি একটি বড় ট্রাস্টের সমান দায়িত্ব বহন করে সেগুলো পালনের জন্য কোনো নিবেদিত ক্লিনিক্যাল-নিরাপত্তা, IG বা ইনফরমেটিক্স কর্মী ছাড়াই। ব্যবহারিক ঝুঁকি হলো সরবরাহকারীর আশ্বাসে একটি সরঞ্জাম গ্রহণ করা কারণ যন্ত্র শ্রেণিবিন্যাস, উপগোষ্ঠী প্রমাণ বা একটি DPIA দাবি করার কোনো ঘরোয়া সামর্থ্য নেই, এবং একটি মডেল ড্রিফট করলে লক্ষ্য করার কেউ নেই। অন্যরা ইতোমধ্যে যে আশ্বাস করেছে তার ওপর কঠোরভাবে ভর দিন: স্পষ্টভাবে MHRA সামঞ্জস্য চিহ্ন ধরে এবং DTAC পাস করেছে এমন সরঞ্জাম পছন্দ করুন, তাদের প্রমাণ প্রকাশ করা সরবরাহকারীদের কাছ থেকে কিনুন, এবং প্রতিটি নিজে মূল্যায়ন না করে আপনার ICS বা একটি জাতীয় সংস্থা আশ্বাস দিয়েছে এমন একটি বাছাইকৃত লাইব্রেরি থেকেই কেবল স্বাস্থ্য অ্যাপ সুপারিশ করুন। যেখানে আপনি ব্যক্তিগতভাবে একটি সরঞ্জামের নিরাপত্তা যাচাই করতে পারেন না, সেটি যাচাই এড়ানোর নয়, আপনার ব্যবস্থার ভাগ-করা আশ্বাসের ওপর নির্ভর করার কারণ। এমনকি একটি হালকা রেজিস্টার রাখাও, আপনি কোন AI সরঞ্জাম কীসের জন্য ব্যবহার করেন ও কে মালিক, একটি পরিচালনার অযোগ্য দায়িত্বকে আনুপাতিক করে তোলে।

বৃহৎ প্রতিষ্ঠান#

একটি বড় ট্রাস্ট বা ICS-এর AI যথাযথভাবে শাসনের যন্ত্রপাতি এবং এটি ভুল করাকে গুরুতর করা মাপ আছে। এর কাজ হলো বিদ্যমান ক্লিনিক্যাল-নিরাপত্তা, IG ও আশ্বাস ফাংশনকে AI ঢাকতে প্রসারিত করা, একটি মডেল রেজিস্টার, উপগোষ্ঠী-ন্যায্যতা মান, বাজার-পরবর্তী পর্যবেক্ষণ, সংস্করণ ও রোলব্যাকের জন্য MLOps, AI-কে অযাচাইকৃত IT বা গবেষণা পথে আসতে দেওয়ার বদলে। এন্টারপ্রাইজের প্রকৃত বিপদ বিচ্ছিন্নতা: কোনো কেন্দ্রীয় তালিকা, কোনো সামঞ্জস্যপূর্ণ DPIA এবং একটি সরঞ্জাম ড্রিফট করলে কেউ জবাবদিহিকারী না থাকা সহ বহু পাইলট, অ্যাম্বিয়েন্ট-স্ক্রাইব ট্রায়াল ও বিভাগীয় LLM পরীক্ষা বাড়ছে। পরিবর্তন ক্লান্তি ও সরবরাহকারী চাপ দ্রুত গ্রহণের দিকে ঠেলে, তাই নেতৃত্বকে রেখা ধরে রাখতে হবে যে নতুনত্ব একটি হালকা প্রক্রিয়া অর্জন করে না। ভালোভাবে করলে, এন্টারপ্রাইজ ছোট খেলোয়াড়রা পারে না এমন সম্ভাব্য, স্থানীয় যাচাই প্রমাণও তৈরি করতে এবং ব্যবস্থা জুড়ে ভাগ করতে পারে।

সরকার#

জাতীয় ও স্থানীয় সরকারি সংস্থা, MHRA, NHS England, DHSC, NICE, বিকেন্দ্রীকৃত প্রশাসন এবং স্থানীয় কর্তৃপক্ষ, সেই অবস্থা নির্ধারণ করে যার অধীনে অন্য সবাই AI মোতায়েন করে। তাদের যন্ত্র নিয়ন্ত্রণ, মান, আশ্বাস কাঠামো (DTAC, Evidence Standards Framework), AI Airlock-এর মতো নিরাপদ-আশ্রয় যন্ত্রব্যবস্থা, এবং তারা সরাসরি লাইন-ব্যবস্থাপনা করে না এমন একটি ফেডারেটেড ব্যবস্থা জুড়ে নিরাপদ গ্রহণ চালনা করা অর্থায়ন ও নির্দেশিকা। জবাবদিহিতা মন্ত্রী, সংসদ ও জনগণের কাছে যায়, তাই একটি জাতীয় সরঞ্জামে মাপে-বাড়া AI ব্যর্থতা বা প্রদর্শনযোগ্য পক্ষপাত একটি দীর্ঘ ছায়াসহ জনআস্থা ঘটনা। সরকারের সঠিক ভূমিকা হলো নিরাপদ পথকে সহজ পথ করা, স্পষ্ট নিয়ম, পুনর্ব্যবহারযোগ্য আশ্বাস, AI কী পারে ও পারে না সে সম্পর্কে সৎ জনযোগাযোগ, যখন প্রচার-চালিত আদেশ ও প্রতিবর্তী নিষেধাজ্ঞা উভয়ই প্রতিরোধ করে। উভয় দিকে ভারসাম্য ভুল করা বছরের পর বছর আস্থা খরচ করে।

ব্যর্থতার সাধারণ ধরন#

• নিয়ন্ত্রক শ্রেণিবিন্যাস এড়িয়ে যাওয়া। একটি ক্লিনিক্যাল AI সাধারণ সফটওয়্যারের মতো মোতায়েন। এড়ান নিয়ন্ত্রক ইনপুটসহ আগে যন্ত্র অবস্থা ও সামঞ্জস্য চিহ্ন নির্ধারণ করে।
• শিরোনাম-নির্ভুলতা অন্ধত্ব। কম-প্রতিনিধিত্বকৃত গোষ্ঠীর জন্য দুর্বল কর্মক্ষমতা লুকানো একটি গড় সংখ্যা গ্রহণ। এড়ান গো-লাইভের আগে উপগোষ্ঠী প্রমাণ দাবি করে এবং পরে অসমতার জন্য পর্যবেক্ষণ করে।
• একবার যাচাই, চিরকাল ভুলে যাওয়া। মডেল নীরবে ড্রিফট করার সময় গো-লাইভকে আশ্বাসের শেষ হিসেবে দেখা। এড়ান সীমা ও রোলব্যাকসহ বাজার-পরবর্তী নজরদারি দাঁড় করিয়ে।
• সাজসজ্জা মানব তদারকি। অটোমেশন পক্ষপাতের অধীনে রাবার-স্ট্যাম্প করা একজন "মানুষ লুপে"। এড়ান অগ্রাহ্য হার নিরীক্ষা এবং হস্তক্ষেপের প্রকৃত কর্তৃত্ব নকশা করে।
• অশাসিত জেনারেটিভ AI। কর্মীরা পাবলিক LLM-এ রোগীর ডেটা পেস্ট করছেন এবং বানানো আউটপুট বিশ্বাস করছেন। এড়ান স্পষ্ট নীতি এবং মানব যাচাইসহ একটি অনুমোদিত, সীমিত সরঞ্জাম দিয়ে।
• সমান্তরাল হালকা-স্পর্শ প্রক্রিয়া। AI "উদ্ভাবন" বলে ক্লিনিক্যাল-নিরাপত্তা ও IG এড়িয়ে যেতে দেওয়া। এড়ান বিদ্যমান DCB ও DPIA যন্ত্রপাতি AI-তে প্রসারিত করে।
• কোনো তালিকা নেই। কোন মডেল লাইভ, কোন ডেটায়, কার মালিকানায় তা কেউ জানে না। এড়ান একটি মডেল রেজিস্টার রক্ষণাবেক্ষণ করে।

পরিপক্বতা মডেল#

চেকলিস্ট#

• প্রতিটি AI সরঞ্জামের চিকিৎসা-যন্ত্র অবস্থা ও MHRA সামঞ্জস্য চিহ্ন নির্ধারিত ও নথিভুক্ত।
• ক্লিনিক্যাল AI DTAC পাস করেছে, NICE Evidence Standards Framework-এর বিপরীতে যাচাই-করা, এবং একটি DCB ক্লিনিক্যাল ঝুঁকি মূল্যায়ন ও একটি DPIA আছে।
• উপগোষ্ঠী কর্মক্ষমতা (বয়স, লিঙ্গ, জাতিগততা, বঞ্চনা) দেখা হয়েছে এবং একটি সম্মত ন্যায্যতা মান পূরণ করে।
• ক্লিনিক্যাল যাচাই ঝুঁকি স্তরের সঙ্গে মেলে এবং সম্ভাব্য, স্থানীয় প্রমাণ পছন্দ করে।
• অগ্রাহ্য করার কর্তৃত্ব ও তথ্যসহ একটি অর্থবহ মানুষ-লুপে নকশা করা।
• AI-জানানো সিদ্ধান্তের জন্য নামধারী জবাবদিহিতা লিখিত।
• বাজার-পরবর্তী নজরদারি, ড্রিফট সীমা এবং একটি বিরতি/রোলব্যাক পরিকল্পনা গো-লাইভ থেকে লাইভ।
• MLOps মডেল সংস্করণ ও নিরাপদ রোলব্যাক দেয়; লাইভ সংস্করণ সবসময় জানা।
• জেনারেটিভ AI নীতি বাস্তবসম্মত ব্যবহার অনুমোদন করে, অপরিচালিত সেবায় রোগীর ডেটা নিষিদ্ধ করে এবং মানব যাচাই দাবি করে।
• তথ্য গভর্ন্যান্স প্রশিক্ষণ, ফাইন-টিউনিং ও মূল্যায়ন ডেটা ঢাকে, সরবরাহকারীর পুনঃব্যবহারে চুক্তিগত সীমাসহ।
• একটি মানব-পাঠযোগ্য মডেল রেজিস্টার উদ্দেশ্য, উৎস, প্রমাণ, পর্যবেক্ষণ ও মালিক রেকর্ড করে।
• উদীয়মান প্রযুক্তি দিগন্ত-স্ক্যান করা এবং নিয়ন্ত্রিত, প্রত্যাবর্তনযোগ্য মূল্যায়নের মাধ্যমে ধাপে ধাপে চালু করা।

মূল উৎস#

• MHRA, Software and Artificial Intelligence (AI) as a Medical Device এবং AI Airlock নিয়ন্ত্রক স্যান্ডবক্স (gov.uk)।
• NICE, ডিজিটাল স্বাস্থ্য প্রযুক্তির জন্য Evidence Standards Framework (ESF) (nice.org.uk)।
• NHS England, ডিজিটাল স্বাস্থ্য প্রযুক্তির ভিত্তিরেখা আশ্বাসের জন্য Digital Technology Assessment Criteria (DTAC)।
• NHS England / সাবেক NHSX, A Buyer's Guide to AI in Health and Care এবং AI Ethics Initiative।
• DCB0129 ও DCB0160, স্বাস্থ্য IT-র জন্য ক্লিনিক্যাল ঝুঁকি ব্যবস্থাপনা মান (বিষয় 1.6 দেখুন)।
• MHRA / IMDRF, Software as a Medical Device (SaMD) কাঠামো এবং ভালো মেশিন লার্নিং চর্চা।
• The King's Fund ও the Health Foundation, স্বাস্থ্য ও পরিচর্যায় AI, ডেটা ও অসমতার বিশ্লেষণ।
• আরও দেখুন বিষয় 1.3 — প্রমাণ-চালিত সিদ্ধান্ত; বিষয় 1.6 — ক্লিনিক্যাল নিরাপত্তা ও ঝুঁকি ব্যবস্থাপনা; বিষয় 1.7 — তথ্য গভর্ন্যান্স, ডেটা সুরক্ষা ও সাইবার নিরাপত্তা; বিষয় 8.0 — উদ্ভাবন ধাপে ধাপে চালু করা।

তথ্যসূত্র#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics