বিষয় 8.6 — গবেষণা ও বাস্তব-জগৎ মূল্যায়ন

স্বাস্থ্য ও পরিচর্যায় একটি ডিজিটাল উদ্ভাবন ততটাই বিশ্বাসযোগ্য যতটা এটি বাস্তবে কাজ করে তার প্রমাণ, তাই আপনাকে সেই প্রমাণ শুরু থেকেই নকশায় গেঁথে নিতে হবে, ঝুঁকি ও আপনার করা দাবির সমানুপাতিক কঠোরতায়।

স্বাস্থ্য ও পরিচর্যায় কেন এটি গুরুত্বপূর্ণ#

আপনি যে প্রতিটি ডিজিটাল পণ্য মোতায়েন করেন তা একটি অন্তর্নিহিত প্রতিশ্রুতি দেয়: এটি ক্ষতি না করে রোগী, কর্মী বা ব্যবস্থাকে সাহায্য করবে। বেশির ভাগ খাতে একটি অপ্রমাণিত প্রতিশ্রুতি একজন গ্রাহক বা এক ত্রৈমাসিকের রাজস্ব খরচ করে। স্বাস্থ্য ও পরিচর্যায় এটি জীবন খরচ করতে পারে, অসমতা বাড়াতে পারে, বা যে জনআস্থার ওপর পুরো ব্যবস্থা নির্ভর করে তা ক্ষয় করতে পারে। উৎসাহ ও একটি ভালো ডেমো প্রমাণ নয়, এবং একটি বিশ্বাসযোগ্য যন্ত্রব্যবস্থা সুবিধার প্রমাণ নয়।

ডিজিটাল স্বাস্থ্যের ইতিহাস এমন সরঞ্জামে ভরা যা প্রত্যয়জনক দেখাত এবং কেউ কাজ করে দেখানোর আগেই মাপে গৃহীত হয়েছিল, এবং কিছু যা নীরবে ক্ষতি করেছে, রোগনির্ণয় মিস করেছে বা চিকিৎসকদের ওয়ার্করাউন্ডে চালিত করেছে। নিয়ন্ত্রক, কমিশনার ও চিকিৎসকরা মান উঁচু করে সাড়া দিয়েছেন: তাঁরা এখন মোতায়েনের আগে, সময়ে ও পরে বিশ্বাসযোগ্য, সমানুপাতিক প্রমাণ প্রত্যাশা করেন। আপনি যদি প্রদর্শন করতে না পারেন আপনার সেবা আপনার দাবি করা ফলাফল সরবরাহ করে, আপনার প্রত্যাশা করা উচিত এটি চ্যালেঞ্জ, অর্থায়ন-বন্ধ বা প্রত্যাহার হবে, এবং ন্যায্যভাবেই।

প্রমাণ একটি ন্যায্যতা ও নিরাপত্তা বিষয়ও, একটি আমলাতান্ত্রিক বাধা নয়। একটি সরঞ্জাম যা গড় ফলাফল উন্নত করে তবু একটি উপগোষ্ঠীর ক্ষতি করতে পারে, ডিজিটালভাবে বাদ-পড়া, সীমিত ইংরেজির মানুষ, বা আপনার প্রশিক্ষণ ডেটায় কম-প্রতিনিধিত্বকৃত একটি জনসংখ্যা। কেবল সুচিন্তিত মূল্যায়ন এটি প্রকাশ করে। তাই ভালো প্রমাণ তৈরি আপনার যত্নের দায়িত্ব, সরকারি অর্থের স্টুয়ার্ডশিপ এবং যাদের সেবা করেন তাদের কাছে আপনার বিশ্বাসযোগ্যতার অংশ (বিষয় 1.3 — প্রমাণ-চালিত সিদ্ধান্ত এবং বিষয় 1.6 — ক্লিনিক্যাল নিরাপত্তা ও ঝুঁকি ব্যবস্থাপনা দেখুন)।

মূল ধারণা#

একটি পার্থক্য দিয়ে শুরু করুন যা বাকি সবকিছু নিয়ন্ত্রণ করে: গবেষণা, সেবা মূল্যায়ন এবং ক্লিনিক্যাল অডিট-এর মধ্যে পার্থক্য। গবেষণা নতুন, সাধারণীকরণযোগ্য জ্ঞান তৈরি করতে চায়, ফলাফল যা আপনার স্থানীয় পরিবেশের বাইরেও সত্য হওয়ার উদ্দেশ্যে। সেবা মূল্যায়ন জিজ্ঞাসা করে এই সেবা এখানে কতটা ভালো কাজ করছে, সেবা নিজে যে মান গ্রহণ করেছে তা ব্যবহার করে। ক্লিনিক্যাল অডিট বর্তমান চর্চাকে একটি বিদ্যমান, সম্মত মানের সঙ্গে তুলনা করে এবং পরিবর্তনের মাধ্যমে লুপ বন্ধ করে। পার্থক্য একাডেমিক খুঁতখুঁতে নয়: এটি আপনার গভর্ন্যান্স পথ নির্ধারণ করে। National Health Service (NHS) রোগী, কর্মী বা ডেটা জড়িত গবেষণায় প্রায় সবসময় আনুষ্ঠানিক নৈতিকতা অনুমোদন দরকার; বেশির ভাগ সেবা মূল্যায়ন ও অডিটে নয়। অনুমোদন এড়াতে গবেষণাকে মূল্যায়ন হিসেবে ভুল শ্রেণিবদ্ধ করা একটি গুরুতর গভর্ন্যান্স ব্যর্থতা।

ইংল্যান্ডে, গবেষণা গভর্ন্যান্স চলে Health Research Authority (HRA)-এর মাধ্যমে, Department of Health and Social Care-এর একটি আর্ম-লেংথ সংস্থা। HRA অংশগ্রহণকারীদের স্বার্থ রক্ষা ও প্রচার করে এবং অনুমোদন সমন্বয় করে যাতে একটি গবেষণা পুরো দেশের জন্য একবার পর্যালোচিত হয়। নৈতিক পর্যালোচনা একটি Research Ethics Committee (REC) দ্বারা পরিচালিত, একটি প্রাতিষ্ঠানিক পর্যালোচনা বোর্ড-এর যুক্তরাজ্য সমতুল্য, যা বিচার করে একটি গবেষণা নৈতিক, সমানুপাতিক এবং অংশগ্রহণকারীদের জন্য নিরাপদ কি না। আবেদন Integrated Research Application System (IRAS)-এর মাধ্যমে জমা দেওয়া হয়, একটি একক অনলাইন পোর্টাল যা আপনার প্রকল্পকে REC, HRA Approval এবং এর প্রয়োজনীয় অন্যান্য অনুমতিতে পাঠায়। HRA-র অনলাইন সিদ্ধান্ত সরঞ্জাম আপনাকে নির্ধারণ করতে সাহায্য করে আপনার প্রকল্প আদৌ গবেষণা কি না।

অনেক ডিজিটাল-স্বাস্থ্য প্রমাণ এখন বাস্তব-জগৎ ডেটা (RWD) থেকে গড়া, নিয়ন্ত্রিত ট্রায়ালের বাইরে সংগৃহীত তথ্য, যেমন ইলেকট্রনিক স্বাস্থ্য রেকর্ড, ডিভাইস লগ, রেজিস্ট্রি ও দাবি ডেটা, বিশ্লেষিত হয়ে সাধারণ অবস্থায় একটি হস্তক্ষেপ কেমন কাজ করে সে সম্পর্কে বাস্তব-জগৎ প্রমাণ (RWE) তৈরি করে। RWE শক্তিশালী কারণ ডিজিটাল সরঞ্জাম উপজাত হিসেবে সমৃদ্ধ ব্যবহার ডেটা তৈরি করে, এবং কারণ এটি সেই অগোছালো বাস্তবতা প্রতিফলিত করে যা ট্রায়াল প্রায়ই বাদ দেয়। এটি ভঙ্গুরও: পর্যবেক্ষণমূলক ডেটা কনফাউন্ডিং ও পক্ষপাতে ভরা, তাই একটি সরল আগে-ও-পরে তুলনা একটি ঋতুভিত্তিক প্রবণতা বা একই সময়ের পরিবর্তনকে আপনার প্রভাব ভুল করতে পারে।

এ কারণেই মূল্যায়ন নকশা গুরুত্বপূর্ণ। কার্যকারণ দাবির জন্য সবচেয়ে শক্তিশালী নকশা এখনো র‍্যান্ডমাইজড নিয়ন্ত্রিত ট্রায়াল (RCT), যা অংশগ্রহণকারীদের এলোমেলোভাবে বরাদ্দ করে পক্ষপাত কমায়। ডিজিটাল প্রসঙ্গ প্রায়ই ব্যবহারিক রূপভেদ পছন্দ করে, ক্লাস্টার-র‍্যান্ডমাইজড ট্রায়াল, এবং স্টেপড-ওয়েজ ট্রায়াল, যেখানে সাইটগুলো র‍্যান্ডমাইজড তরঙ্গে নিয়ন্ত্রণ থেকে হস্তক্ষেপে সরে, আপনি যে ধাপবদ্ধ রোলআউট আগে থেকেই করতেন তার সঙ্গে খাপ খায়। যেখানে র‍্যান্ডমাইজেশন অব্যবহারিক, আধা-পরীক্ষামূলক নকশা সাহায্য করে: ইন্টারাপ্টেড টাইম সিরিজ (ITS) বিশ্লেষণ স্তর ও প্রবণতার পরিবর্তন শনাক্ত করতে গো-লাইভের আগে ও পরে অনেক বিন্দু জুড়ে একটি ফলাফল ট্র্যাক করে, এবং প্রায়ই একটি ব্যবস্থা-ব্যাপী ডিজিটাল পরিবর্তনের জন্য সেরা সম্ভব নকশা। সরল আগে-ও-পরে তুলনা সবচেয়ে দুর্বল ও বিভ্রান্তিকর, কারণ এটি আপনার প্রভাব এবং বদলে যাওয়া বাকি সবকিছু আলাদা করতে পারে না।

আরও দুটি নোঙর কাজ আকার দেয়। ইংল্যান্ডে ডিজিটাল স্বাস্থ্যের প্রমাণ মান নির্ধারিত হয় National Institute for Health and Care Excellence (NICE) প্রকাশিত Evidence Standards Framework for Digital Health Technologies দ্বারা: এটি সম্ভাব্য ঝুঁকি দিয়ে সরঞ্জাম শ্রেণিবদ্ধ করে এবং প্রতিটি স্তরের জন্য প্রত্যাশিত প্রমাণের শক্তি নির্দিষ্ট করে। এবং সতর্ক থাকার একটি স্থায়ী বিকৃতি হলো প্রকাশনা পক্ষপাত, ইতিবাচক ফলাফল ভাগ করা এবং নেতিবাচকগুলো চাপা দেওয়ার প্রবণতা, যা পুরো ক্ষেত্রকে তোষামোদ করে এবং অকার্যকর সরঞ্জাম ছড়াতে দেয়।

শ্রেষ্ঠ চর্চা#

1. নকশার আগে আপনার প্রকল্প শ্রেণিবদ্ধ করুন। আপনার কাজ গবেষণা, সেবা মূল্যায়ন বা অডিট কি না নির্ধারণ করতে HRA-র সিদ্ধান্ত সরঞ্জাম ব্যবহার করুন, এবং যুক্তি রেকর্ড করুন। এই একক ধাপ আপনার গভর্ন্যান্স পথ, সময়রেখা ও অনুমতি নির্ধারণ করে। আশাবাদী দিকে ভুল করুন এবং আপনি রোগীদের ওপর অননুমোদিত গবেষণা চালানোর ঝুঁকি নেন; সতর্ক দিকে ভুল করুন এবং আপনি একটি সরল মূল্যায়নকে মাসের অনাবশ্যক প্রক্রিয়ায় বোঝাই করেন।

2. মূল্যায়ন শুরু থেকে গড়ুন, জুড়ে-দেওয়া হিসেবে নয়। আবিষ্কারের সময়, প্রোডাকশন কোডের একটি লাইনের আগে, "কাজ করছে" মানে কী এবং আপনি কীভাবে তা মাপবেন তা ঠিক করুন (বিষয় 3.4 — আবিষ্কার পর্যায় দেখুন)। গো-লাইভের আগে একটি ভিত্তিরেখা ধরুন, কারণ আপনি পরে কখনো এটি পুনর্গঠন করতে পারবেন না, এবং আপনার নকশার প্রয়োজনীয় ফলাফল ও ব্যবহার ডেটা নির্গমন করতে পণ্য ইনস্ট্রুমেন্ট করুন। একটি লাইভ সেবায় মূল্যায়ন পুনঃসংযোজন প্রায় সবসময় বেশি খরচে দুর্বলতর প্রমাণ দেয়, এবং প্রায়ই কোনো ব্যবহারযোগ্য ভিত্তিরেখাই নেই।

3. কঠোরতা ঝুঁকি ও দাবির সঙ্গে মেলান। একটি বুকিং সরঞ্জাম যা একটি অপেক্ষা-তালিকা পুনঃক্রম করে তার বুকে ব্যথা ট্রায়াজ করা অ্যালগরিদমের চেয়ে কম প্রমাণ ওজন দরকার। আপনার সরঞ্জামের ঝুঁকি স্তর খুঁজতে NICE Evidence Standards Framework ব্যবহার করুন, এবং আপনার প্রমাণ বহন করতে পারে এমন দাবি করুন: যদি আপনার একটি ইন্টারাপ্টেড টাইম সিরিজ থাকে যা হাজির-না-হওয়া হার হ্রাস দেখায়, তা বলুন, একটি মৃত্যুহার সুবিধা ইঙ্গিত করবেন না। সমানুপাতিকতা রোগীদের অ-প্রমাণিত ঝুঁকি থেকে রক্ষা করে এবং আপনাকে নিম্ন-ঝুঁকির সরঞ্জাম অতি-প্রমাণে প্রচেষ্টা অপচয় থেকে রক্ষা করে।

4. সবচেয়ে শক্তিশালী সম্ভব নকশা বাছুন, এবং এর সীমা নাম দিন। যখন পারেন র‍্যান্ডমাইজেশনের জন্য হাত বাড়ান, এবং যখন একটি ধাপবদ্ধ রোলআউট একটি সমকালীন নিয়ন্ত্রণ গোষ্ঠী অসম্ভব করে তখন একটি স্টেপড-ওয়েজ নকশা বিবেচনা করুন। যখন র‍্যান্ডমাইজেশন সত্যিই অসম্ভব, সরল আগে-ও-পরের বদলে ইন্টারাপ্টেড টাইম সিরিজ পছন্দ করুন, এবং একটি অনুকূল ফলাফলের জন্য মাছ ধরার প্রলোভন প্রতিরোধ করতে আপনার বিশ্লেষণ পূর্ব-নির্দিষ্ট করুন। প্রতিটি নকশার দুর্বলতা আছে; আপনারটি সরলভাবে বলুন যাতে পাঠকরা সৎভাবে প্রমাণ ওজন করতে পারেন।

5. বাস্তব-জগৎ ডেটা সুচিন্তিতভাবে ব্যবহার করুন, এবং কনফাউন্ডিংকে শত্রু হিসেবে দেখুন। ডিজিটাল সেবা প্রচুর RWD তৈরি করে, কিন্তু প্রাচুর্য বৈধতা নয়। কোন ডেটা ব্যবহার করবেন, এর মান ও সম্পূর্ণতা, এবং এটি যে পক্ষপাত বহন করে তা পরিকল্পনা করুন, এবং ঘটনার পরে লগ খুঁড়ে তোলার বদলে একজন বিশ্লেষক বা পদ্ধতিবিদকে আগে জড়ান। সম্ভব হলে আপনার ফলাফল ও বিশ্লেষণ পূর্ব-নিবন্ধন করুন যাতে ডেটাকে নির্যাতন করে আপনি যা শুনতে আশা করেছিলেন তা বলানো না যায়।

6. যারা জীবিকার জন্য প্রমাণ তৈরি করে তাদের সঙ্গে অংশীদার হোন। বিশ্ববিদ্যালয়, National Institute for Health and Care Research (NIHR) এবং আপনার আঞ্চলিক Health Innovation Network, যে সংস্থাগুলো পূর্বে Academic Health Science Networks (AHSN) নামে পরিচিত ছিল, পদ্ধতিগত কঠোরতা, স্বাধীনতা, অর্থায়ন পথ ও বিশ্বাসযোগ্যতা আনে যা আপনি ঘরে তৈরি করতে পারেন না। স্বাধীন মূল্যায়ন একজন সরবরাহকারীর নিজস্ব বিশ্লেষণের চেয়ে কমিশনার ও চিকিৎসকদের কাছে অনেক বেশি ওজন বহন করে। তাদের আগে সম্পৃক্ত করুন, কারণ সর্বোত্তম নকশা মোতায়েনের আগে নির্ধারিত হয়, পরে নয় (বিষয় 9.0 — অংশীদার প্রতিষ্ঠানের সঙ্গে সহযোগিতা দেখুন)।

7. কেবল কার্যকলাপ নয়, ফলাফল ও অর্থনীতি মাপুন। লগইন, ক্লিক-থ্রু ও সন্তুষ্টি স্কোর প্রয়োজনীয় কিন্তু যথেষ্ট নয়; কমিশনার ফলাফল ও মূল্য অর্থায়ন করে। যেখানে পারেন, আপনার মূল্যায়ন ক্লিনিক্যাল ফলাফল, নিরাপত্তা সংকেত, উপগোষ্ঠী জুড়ে ন্যায্যতা এবং খরচ পরিণতির সঙ্গে বাঁধুন, সিদ্ধান্ত-গ্রহণকারীরা যে ভাষা ব্যবহার করে তাতে সুবিধা সাজাতে স্বাস্থ্য অর্থনীতিবিদদের সঙ্গে কাজ করে (বিষয় 6.1 — স্বাস্থ্য অর্থনীতি দেখুন)। সবসময় জনসংখ্যা অনুযায়ী ফলাফল বিভক্ত করুন যাতে একটি সরঞ্জাম যা গড়ে সাহায্য করে কিন্তু একটি উপগোষ্ঠীর ক্ষতি করে তা গড়ের পেছনে লুকাতে না পারে।

8. আপনার ফলাফল প্রকাশ করুন, হতাশাজনকগুলোসহ। একটি প্রতিবেদন, একটি প্রিপ্রিন্ট বা একটি পিয়ার-রিভিউড পেপারের মাধ্যমে ইতিবাচক বা নেতিবাচক ফলাফল ভাগ করতে আগেই প্রতিশ্রুতিবদ্ধ হোন। নেতিবাচক ফলাফল প্রকাশ একটি পেশাগত বাধ্যবাধকতা: এটি অন্য প্রতিষ্ঠানকে আপনার ভুল পুনরাবৃত্তি থেকে বাঁচায় এবং অকার্যকর সরঞ্জাম বাড়তে দেওয়া প্রকাশনা পক্ষপাত প্রতিরোধ করে। যে সংস্কৃতি বলতে পারে "আমরা এটি মূল্যায়ন করেছি এবং এটি কাজ করেনি, তাই আমরা থেমেছি" তা কম নয়, বেশি বিশ্বাসযোগ্য।

9. লুপ বন্ধ করুন এবং যা শেখেন তার ওপর ব্যবস্থা নিন। যে প্রমাণ কোনো সিদ্ধান্ত বদলায় না তা অপচয়। ফলাফল আপনার রোডম্যাপ, আপনার ব্যবসায়িক কেস এবং আপনার ধাপবিন্যাস সিদ্ধান্তে ফিরিয়ে দিন, যা কাজ করে তা মাপে নেওয়া, যা অর্ধ-কাজ করে তা ঠিক করা, এবং যা করে না তা ডিকমিশন করা (বিষয় 8.0 — উদ্ভাবন ধাপে ধাপে চালু করা দেখুন)। তারপর পুনঃমূল্যায়ন করুন, কারণ একটি পরিবেশে পাইলট মাপে কাজ করা একটি ডিজিটাল সরঞ্জাম জাতীয় মাপে বা একটি ভিন্ন জনসংখ্যায় ভিন্নভাবে আচরণ করতে পারে।

দলের সঙ্গে আলোচনার প্রশ্ন#

1. আমরা যা করতে যাচ্ছি তা কি গবেষণা, সেবা মূল্যায়ন বা অডিট, এবং সেই উত্তরে আমরা কতটা আত্মবিশ্বাসী? এটি প্রথম প্রশ্ন কারণ উত্তর আপনার পুরো গভর্ন্যান্স পথ নির্ধারণ করে, এবং এটি ভুল করার গুরুতর পরিণতি আছে। আপনার ডেটা বিষয় কারা, আপনি কিছু র‍্যান্ডমাইজ করছেন কি না, আপনি সাধারণীকরণযোগ্য জ্ঞান তৈরি করতে চান কি না এবং প্রকাশের পরিকল্পনা করছেন কি না নিয়ে আলোচনা করুন, সবই সংকেত যা একটি প্রকল্পকে "গবেষণা"-র দিকে ঠেলে। অনুমোদন পথ দ্রুততর বলে কিছুকে মূল্যায়ন হিসেবে লেবেল করার যেকোনো চাপ প্রতিরোধ করুন; সেই চাপই ঠিক যেখানে গভর্ন্যান্স ব্যর্থতা শুরু হয়। ঘরে একসঙ্গে HRA সিদ্ধান্ত সরঞ্জাম ব্যবহার করুন, এবং আপনার যুক্তি ও কে সম্মত হয়েছে লিখে রাখুন। একটি ভালো উত্তর কেবল একটি লেবেল নয়, একটি নথিভুক্ত, রক্ষণীয় বিচার যা আপনার তথ্য গভর্ন্যান্স ও ক্লিনিক্যাল-নিরাপত্তা সহকর্মীরা দেখেছেন। আপনি যদি সত্যিই নিশ্চিত না হন, সৎ পদক্ষেপ হলো আপনার সময়সূচির সুবিধাজনক দিকে আন্দাজ না করে HRA বা আপনার R&D অফিসকে জিজ্ঞাসা করা।

2. এটি কাজ করে তার বিশ্বাসযোগ্য প্রমাণ বলে কী গণ্য হবে, এবং কার কাছে? ভিন্ন শ্রোতা ভিন্ন প্রমাণ দাবি করে: একজন চিকিৎসক নিরাপত্তা ও ফলাফল ডেটা চান, একজন কমিশনার খরচ ও মূল্য চান, একজন নিয়ন্ত্রক উপযুক্ত NICE স্তর পূরণ হতে দেখতে চান, এবং একজন রোগী জানতে চান এটি তাঁর মতো মানুষের জন্য নিরাপদ ও ন্যায্য। আপনার সরঞ্জামের জন্য "কাজ করে" আসলে কী বোঝায়, এবং কোন ফলাফল আপনাকে থামাবে তা বিতর্ক করুন, কারণ যে দল একটি থামার শর্ত প্রকাশ করতে পারে না সে সত্যিই মূল্যায়ন করছে না। আপনার রোলআউট পরিকল্পনা, ডেটা ও বাজেট বিবেচনায় কোন নকশা সম্ভব তা বিবেচনা করুন, এবং কঠোরতা ও গতির মধ্যকার ট্রেড-অফ সম্পর্কে সৎ থাকুন। আলোচনা করুন বিশ্বাসযোগ্য হতে আপনার স্বাধীন মূল্যায়ন দরকার কি না, এবং হলে কে করা উচিত। একটি ভালো উত্তর সিদ্ধান্ত-গ্রহণকারীদের, যে ফলাফল তাঁদের নাড়াবে, যে নকশা বিশ্বাসযোগ্যভাবে সেই ফলাফল তৈরি করতে পারে, এবং সরঞ্জাম ব্যর্থ হয়েছে বলে আপনি সিদ্ধান্ত নেবেন এমন সীমার নাম বলে।

3. একটি নেতিবাচক বা হতাশাজনক ফলাফল আমরা কীভাবে সামলাব? ফলাফল পাওয়ার আগে এটি জিজ্ঞাসা করুন, কারণ উত্তর আগে অনেক বেশি সৎ। অন্বেষণ করুন মূল্যায়ন কোনো সুবিধা না দেখালে, বা সংখ্যাগরিষ্ঠের সুবিধা কিন্তু একটি বাদ-পড়া উপগোষ্ঠীর ক্ষতি দেখালে আপনি কী করতেন, এবং কাদের শোনা দরকার। প্রকৃত চাপ তুলে ধরুন: ডুবে-যাওয়া খরচ, সরবরাহকারী সম্পর্ক, সুনামের উদ্বেগ, এবং ক্যারিয়ার প্রণোদনা যা মানুষকে ভালো খবর চাওয়ায়। ফলাফল নির্বিশেষে প্রকাশের আপনার পূর্ব প্রতিশ্রুতি, এবং ফলাফল বিব্রতকর হলে সেই প্রতিশ্রুতিতে আপনাকে কোন গভর্ন্যান্স ধরে রাখবে তা আলোচনা করুন। একটি ভালো উত্তর একটি নেতিবাচক ফলাফল তৈরি করা সুচালিত মূল্যায়নকে দলের ব্যর্থতা নয়, প্রক্রিয়ার সাফল্য হিসেবে দেখে, এবং সুন্দরভাবে ডিকমিশন, খোলামেলা যোগাযোগ, এবং সৎ ফলাফল সরবরাহ করা মানুষদের রক্ষার একটি মূর্ত পরিকল্পনা রাখে।

4. গো-লাইভের আগে আমাদের কী ধরতে ও ইনস্ট্রুমেন্ট করতে হবে, এবং আমরা কি আসলে এটি গেঁথে দিয়েছি? একটি মূল্যায়ন কেবল ভিত্তিরেখা এবং এটি যে ডেটা থেকে আঁকতে পারে তার মতোই ভালো, এবং উভয়ই চালুর পরের চেয়ে আগে সুরক্ষিত করা অনেক সস্তা। আপনার কোন "আগে" অবস্থা দরকার তা কাজ করে দেখুন, ভর্তি হার, অপেক্ষার সময়, ত্রুটি হার, বর্তমান পথ খরচ, এবং নিশ্চিত করুন এটি এখন রেকর্ড হচ্ছে, আপনি যে উপগোষ্ঠী নিয়ে যত্নবান সেগুলো অনুযায়ী বিভক্ত, কারণ আপনি যে ভিত্তিরেখা ধরতে ব্যর্থ হয়েছেন তা কখনো পুনর্গঠন করতে পারবেন না। পরীক্ষা করুন পণ্য নিজেই আপনার বাছা নকশার প্রয়োজনীয় ফলাফল ও ব্যবহার ডেটা নির্গমন করবে, নাকি সেই ইনস্ট্রুমেন্টেশন এখনো একটি ব্যাকলগ ইচ্ছা। সময়ের টানাপোড়েন বিতর্ক করুন: সরবরাহের চাপ প্রায়ই একটি তারিখ ছুঁতে পরিমাপ ছেঁটে ফেলে, এবং এমন প্রতিটি কাটা নীরবে সেই প্রমাণ দুর্বল করে যা আপনাকে পরে উৎপাদন করতে বলা হবে। নকশা এখনো নরম থাকাকালীন একজন বিশ্লেষক বা পদ্ধতিবিদকে জড়ান, লগ ইতোমধ্যে প্রবাহিত হওয়ার পরে নয়। একটি ভালো উত্তর কী ধরা হচ্ছে, কখন থেকে, কী সূক্ষ্মতায়, এবং কে নিশ্চিত করেছেন এটি লাইভ তার একটি মূর্ত তালিকা, রোল-আউটের পরে সামলে নেওয়ার একটি অভিপ্রায় নয়।

5. আমরা যে ডেটার ওপর নির্ভর করতে চাই তা কতটা ভালো, এবং আমাদের সিদ্ধান্ত কী কনফাউন্ড করতে পারে? বাস্তব-জগৎ ডেটা প্রচুর কিন্তু কদাচিৎ পরিষ্কার, এবং একটি বিশ্বাসযোগ্য চার্ট ঋতুভিত্তিকতা, একটি সমসাময়িক সেবা পরিবর্তন, গড়ে-প্রত্যাবর্তন, বা আপনার সরঞ্জামের সঙ্গে কোনো সম্পর্কহীন একটি কোডিং পরিবর্তন লুকাতে পারে। আপনি ব্যবহার করার পরিকল্পনা করা প্রতিটি উৎসের উৎপত্তি, সম্পূর্ণতা ও মান জেরা করুন, এবং প্রতিটি যে পক্ষপাত বহন করে তার নাম দিন, ইলেকট্রনিক রেকর্ডে কারা অনুপস্থিত, কোন ক্ষেত্র অনির্ভরযোগ্য, একটি কোড কত সামঞ্জস্যপূর্ণভাবে প্রয়োগ হয়। জিজ্ঞাসা করুন আপনার গো-লাইভের একই সময়ে আর কী বদলেছিল, কারণ সেই ঘটনাগুলো উপেক্ষা করা একটি ইন্টারাপ্টেড টাইম সিরিজ বা আগে-ও-পরে অন্যদের প্রভাব আপনার সরঞ্জামকে আরোপ করবে। কোন তুলনা বা নকশা আপনাকে সবচেয়ে ন্যায্য কাউন্টারফ্যাকচুয়াল দেয় তা আগে থেকে ঠিক করুন, এবং বিশ্লেষণ পূর্ব-নির্দিষ্ট করুন যাতে ফলাফল তোষামোদ করতে ডেটা নীরবে পুনঃআকার দেওয়া না যায়। একটি ভালো উত্তর দেখায় আপনি ডেটার দুর্বলতা সততার সঙ্গে মানচিত্রিত করেছেন এবং এমন একটি নকশা বেছেছেন যা একজন সংশয়ী প্রতিটিতে টান দিলেও টিকে যেতে পারে।

6. এই মূল্যায়ন কার চালানো উচিত, এবং বিশ্বাসযোগ্য হতে এটি কতটা স্বাধীন হতে হবে? নিজের খাতা নিজে পরীক্ষা করা বিশ্বাসযোগ্য ফলাফল খারিজ করানোর দ্রুততম উপায়, তাই আগেভাগে ঠিক করুন একজন সরবরাহকারীর বা ঘরোয়া বিশ্লেষণ আপনার সত্যিই সরাতে প্রয়োজনীয় শ্রোতাদের বোঝাবে কি না। একটি NIHR-সমর্থিত একাডেমিক দল, একটি বিশ্ববিদ্যালয় বা একটি Health Innovation Network জড়ানোর খরচ ও সময় স্বাধীন, প্রকাশযোগ্য প্রমাণের সুনামগত ও বাণিজ্যিক মূল্যের বিপরীতে ওজন করুন। আলোচনা করুন স্বার্থের সংঘাত কোথায় বসে, যারা সরঞ্জাম গড়েছেন বা কিনেছেন তাঁরা কদাচিৎ বিচার করার সঠিক মানুষ এটি কাজ করে কি না, এবং ভালো খবর দেওয়ার চাপ থেকে আপনি মূল্যায়নকে কীভাবে অন্তরিত করবেন। বিবেচনা করুন অংশীদাররা স্বাধীনতার বাইরে কী আনে: পদ্ধতিগত কঠোরতা, অর্থায়ন পথ, এবং কমিশনার ও চিকিৎসকদের কাছে মর্যাদা যা আপনি ঘরে তৈরি করতে পারেন না। একটি ভালো উত্তর স্বাধীনতার মাত্রা ঝুঁকি ও সিদ্ধান্ত-গ্রহণকারীদের সংশয়ের সঙ্গে মেলায়, এবং ফলাফল হতাশ করার পরে নয়, নকশা স্থির হওয়ার আগে সেই অংশীদারিত্ব সুরক্ষিত করে।

বাস্তবে: স্বাস্থ্য ও পরিচর্যার একটি উদাহরণ#

একটি ইন্টিগ্রেটেড কেয়ার সিস্টেম (ICS) দীর্ঘস্থায়ী হৃদযন্ত্র ব্যর্থতাসম্পন্ন রোগীদের জন্য একটি দূরবর্তী-পর্যবেক্ষণ অ্যাপ কমিশন করে, অপরিকল্পিত ভর্তি কমানোর আশায়। সরবরাহকারীর স্লাইড অন্যত্র 30% হ্রাস দেখায়, এবং শীতের আগে বারোটি বরো জুড়ে দ্রুত রোল আউট করার চাপ আছে।

ডিজিটাল সরবরাহ নেতা কাজ শ্রেণিবদ্ধ করতে থামেন। কারণ ICS সাধারণীকরণযোগ্য ফলাফল চায় এবং প্রকাশ করতে চায়, এবং কারণ এটি একটি নতুন উদ্দেশ্যে শনাক্তযোগ্য রোগী ডেটা বিশ্লেষণ করবে, এটি গবেষণা, সেবা মূল্যায়ন নয়, তাই একটি IRAS আবেদন ও REC পর্যালোচনা দরকার। এটিকে বাধা হিসেবে দেখার বদলে, নেতা আঞ্চলিক Health Innovation Network এবং একটি স্থানীয় বিশ্ববিদ্যালয়ের NIHR-সমর্থিত গবেষণা দলের কাছে যান, যারা গবেষণা নকশা ও আবেদন সহ-লিখতে সাহায্য করে। সবকিছু একসঙ্গে চালু করার বদলে, তারা একটি স্টেপড-ওয়েজ নকশা গ্রহণ করে: বারোটি বরো নয় মাস জুড়ে র‍্যান্ডমাইজড তরঙ্গে লাইভ হয়, তাই প্রতিটি বরো শেষ পর্যন্ত অ্যাপ পায় যখন পর্যায়ক্রমিক শুরু একটি ন্যায্য তুলনা দেয়। বঞ্চনা ও জাতিগততা অনুযায়ী বিভক্ত ভর্তি হারের একটি ভিত্তিরেখা প্রথম তরঙ্গের আগে ধরা হয়।

NICE Evidence Standards Framework ব্যবহার করে, দল সরঞ্জামটিকে একটি স্তরে রাখে যা ক্লিনিক্যাল ঝুঁকি বহন করে এবং সেই অনুযায়ী প্রমাণ প্রত্যাশা নির্ধারণ করে, ফলাফল হিসেবে ভর্তি হার, নিরাপত্তা সংকেত হিসেবে মৃত্যুহার এবং এড়ানো প্রতি ভর্তির খরচ পূর্ব-নিবন্ধন করে। নয় মাস পরে, অন্তর্বর্তী বিশ্লেষণ গম্ভীর: সামগ্রিক ভর্তি পরিমিতভাবে কমে, কিন্তু সবচেয়ে বঞ্চিত কোহর্টে, যারা অ্যাপ সবচেয়ে কম ব্যবহার করে, কোনো সুবিধা নেই এবং দেরিতে উপস্থিতির একটি উদ্বেগজনক বৃদ্ধি। দল এটি চাপা দেয় না। তারা এটি ICS বোর্ডে প্রতিবেদন করে, সেই কোহর্টে রোলআউট থামায়, অনবোর্ডিং পুনঃনকশা করে এবং ডিজিটালভাবে বাদ-পড়া রোগীদের জন্য টেলিফোন সহায়তা যোগ করে, এবং ঘাটতি ও পুনঃনকশা উভয়ই প্রকাশ করে। ফল হলো একটি সেবা যা সত্যিই সাহায্য করে এবং একটি সিদ্ধান্ত-গ্রহণকারী বোর্ড যা প্রমাণে আস্থা রাখে কারণ এটি দলকে ব্যথা পেলেও সত্য বলতে দেখেছে।

খাতভিত্তিক দৃষ্টিকোণ#

স্টার্ট-আপ#

একটি ছোট ডিজিটাল-স্বাস্থ্য কোম্পানি প্রমাণের ওপর টিকে থাকে বা মরে, কিন্তু কদাচিৎ একা এটি তৈরি করার অর্থ বা ঘরোয়া পদ্ধতি থাকে। আপনার দ্রুততম বিশ্বাসযোগ্য পথ অংশীদারিত্ব: একটি NIHR-অর্থায়িত একাডেমিক সহযোগী বা একটি Health Innovation Network বাস্তব-জগৎ মূল্যায়ন আপনাকে স্বাধীন ফলাফল দেয় যা বিনিয়োগকারী ও NHS ক্রেতারা আসলে বিশ্বাস করে, একটি স্ব-প্রকাশিত হোয়াইট পেপারের চেয়ে অনেক বেশি। সমানুপাতিক দাবিতে শৃঙ্খলাবদ্ধ থাকুন, একটি পাইলট জিততে অতি-দাবি একটি পরবর্তী মূল্যায়নে ব্যর্থ হওয়া এবং আপনার সুনাম হারানোর দ্রুততম উপায়। প্রথম দিন থেকে ডেটা সংগ্রহ আপনার পণ্য স্থাপত্যে গড়ুন, কারণ আপনার সিড রাউন্ডের পরে এটি পুনঃসংযোজন ব্যয়বহুল এবং একটি দুর্বলতর প্রমাণ ভিত্তি দেয়।

ক্ষুদ্র ব্যবসা#

একটি প্রতিষ্ঠিত ছোট প্রদানকারী, একটি জিপি প্র্যাকটিস, কমিউনিটি ফার্মেসি, কেয়ার হোম বা একটি ডিজিটাল সরঞ্জাম গ্রহণ করা একক-স্থানের ক্লিনিক, যা মোতায়েন করে তা মূল্যায়ন করার প্রত্যাশা, তবু কোনো R&D অফিস, কোনো পদ্ধতিবিদ এবং সামান্যই বাড়তি হাত নেই। আপনার বাস্তবসম্মত পদক্ষেপ একটি ট্রায়াল চালানো নয়, একটি শৃঙ্খলাবদ্ধ সেবা মূল্যায়ন চালানো: চালু করার আগে একটি সরল ভিত্তিরেখা ধরুন, মুষ্টিমেয় সৎ ফলাফল পরিমাপে সম্মত হন, এবং আপনার রোগীদের জন্য আসলে কী বদলায় তা রেকর্ড করুন। আপনার গড়তে হয় না এমন ভাগ-করা অবকাঠামোর ওপর কঠোরভাবে ভর দিন, আপনার Health Innovation Network, একটি স্থানীয় বিশ্ববিদ্যালয়, বা একটি ফেডারেশন বা প্রাইমারি কেয়ার নেটওয়ার্ক যা কয়েকটি ছোট সাইট জুড়ে ডেটা ও দক্ষতা পুল করতে পারে। আপনি স্বাধীনভাবে যাচাই করতে না পারলে একজন সরবরাহকারীর শিরোনাম দাবি মূল্যমানে গ্রহণ করা নিয়ে বিশেষভাবে সতর্ক থাকুন, এবং স্পষ্ট থাকুন যে শ্রেণিবিন্যাস দায়িত্ব এমনকি ছোট মাপেও আপনার জন্য প্রযোজ্য। সমানুপাতিক, ভালো-নথিভুক্ত স্থানীয় প্রমাণ অর্জনযোগ্য এবং সরঞ্জাম চালিয়ে যেতে, অভিযোজিত করতে বা ছেড়ে দিতে যথেষ্ট।

বৃহৎ প্রতিষ্ঠান#

একটি বড় NHS ট্রাস্ট বা ICS-এর একটি R&D অফিস, তথ্য-গভর্ন্যান্স যন্ত্রপাতি এবং বিদ্যমান একাডেমিক সম্পর্ক আছে, সম্পদ যা একটি স্টার্ট-আপ ঈর্ষা করত, কিন্তু মূল্যায়নের আগে ট্রাস্ট-ব্যাপী সরঞ্জাম মোতায়েন করার জড়তাও। আপনার চ্যালেঞ্জ "মাপে নেওয়ার আগে মূল্যায়ন করুন"-কে ডিফল্ট করা, এবং প্রাথমিক প্রমাণ দুর্বল হলে একটি স্বাক্ষরিত এন্টারপ্রাইজ চুক্তির গতিবেগ প্রতিরোধ করা। আপনার মাপ একটি পদ্ধতিগত সুবিধা হিসেবে ব্যবহার করুন: একাধিক সাইট স্টেপড-ওয়েজ ও ক্লাস্টার-র‍্যান্ডমাইজড নকশা এমনভাবে সম্ভব করে যা একটি একক ক্লিনিক পারে না। নেতিবাচক ফলাফলের অভ্যন্তরীণ রাজনীতি থেকে সতর্ক থাকুন, যেখানে একটি বড় বিনিয়োগ নির্বিশেষে সাফল্য ঘোষণা করার শক্তিশালী প্রণোদনা তৈরি করে।

সরকার#

একটি জাতীয় সংস্থা, NHS England, Department of Health and Social Care, বা একটি বিকেন্দ্রীকৃত সরকার, অন্য সবাই যে নিয়ম অনুসরণ করে তা নির্ধারণ করে, তাই এর প্রমাণ মান পুরো বাজারকে আকার দেয়। এর কাজ কাঠামো (HRA গভর্ন্যান্স ব্যবস্থা, NICE Evidence Standards Framework, DTAC)-র স্টুয়ার্ডশিপ করা এবং অবকাঠামো, NIHR, Health Innovation Network, বিশ্বস্ত গবেষণা পরিবেশ, অর্থায়ন করা যা সবাইকে ভালো প্রমাণ তৈরি করতে দেয়। যখন সরকার জাতীয় মাপে ক্রয় করে, প্রমাণগত ঝুঁকি বিপুল: একটি দুর্বলভাবে-প্রমাণিত রোলআউট লক্ষ লক্ষ নাগরিক জুড়ে ক্ষতি পাকা করতে পারে এবং রাজনৈতিকভাবে প্রত্যাবর্তন প্রায় অসম্ভব। তাই এটির নিজেকে সেই সর্বোচ্চ মানে ধরে রাখা উচিত যা এটি অন্যদের কাছে চায়, এবং জনআস্থা রাখতে নিজস্ব মূল্যায়ন, ব্যর্থতাসহ, প্রকাশ করা।

ব্যর্থতার সাধারণ ধরন#

• পরে-ভাবা হিসেবে প্রমাণ। আগে মোতায়েন করা এবং পরে "এটি কি কাজ করেছে?" জিজ্ঞাসা করা, কোনো ভিত্তিরেখা ধরা হয়নি, আপনাকে কোনো বিশ্বাসযোগ্য কার্যকারণ দাবি করতে অক্ষম রেখে।
• গবেষণাকে মূল্যায়ন হিসেবে ভুল শ্রেণিবদ্ধ করা। HRA ও REC অনুমোদন এড়াতে "মূল্যায়ন" লেবেল বাছা, রোগীদের অননুমোদিত গবেষণায় এবং আপনার প্রতিষ্ঠানকে গুরুতর গভর্ন্যান্স লঙ্ঘনের মুখে ফেলে।
• সরল আগে-ও-পরে। দুটি স্ন্যাপশট তুলনা করা এবং সব পরিবর্তন আপনার সরঞ্জামকে আরোপ করা, ঋতুভিত্তিকতা, সমসাময়িক উদ্যোগ ও গড়ে-প্রত্যাবর্তন উপেক্ষা করে।
• অসার মেট্রিক। লগইন, ডাউনলোড ও সন্তুষ্টি প্রতিবেদন করা যখন ক্লিনিক্যাল ফলাফল, নিরাপত্তা, ন্যায্যতা ও খরচ সম্পর্কে নীরব।
• গড় যা ক্ষতি লুকায়। জনসংখ্যা অনুযায়ী বিভক্ত না করে একটি শিরোনাম গড় উন্নতি উপস্থাপন, একটি উপগোষ্ঠী যাদের সরঞ্জাম ব্যর্থ করে বা ক্ষতি করে তা লুকিয়ে।
• নিজের খাতা নিজে পরীক্ষা। কোনো স্বাধীন মূল্যায়ন ছাড়া কেবল সরবরাহকারী-উৎপাদিত প্রমাণের ওপর নির্ভর, তাই কোনো সংশয়ী শ্রোতা বিশ্বাস করে না।
• খারাপ খবর চাপা দেওয়া। কেবল ইতিবাচক ফলাফল প্রকাশ, প্রকাশনা পক্ষপাত খাওয়ানো এবং অকার্যকর সরঞ্জাম ব্যবস্থা জুড়ে ছড়াতে দেওয়া।
• অতি-দাবি। একটি পরিমিত, দুর্বল-নকশার ফলাফলকে এমন একটি শক্তিশালী ক্লিনিক্যাল দাবিতে প্রসারিত করা যা প্রমাণ সমর্থন করতে পারে না।

পরিপক্বতা মডেল#

চেকলিস্ট#

• HRA সিদ্ধান্ত সরঞ্জাম ব্যবহার করে প্রকল্পকে গবেষণা, সেবা মূল্যায়ন বা অডিট হিসেবে শ্রেণিবদ্ধ করুন, এবং যুক্তি নথিভুক্ত করুন।
• এটি গবেষণা হলে, IRAS আবেদন ও Research Ethics Committee পর্যালোচনা আগে পরিকল্পনা করুন।
• আবিষ্কারের সময় "কাজ করছে" মানে কী এবং যে ফলাফল তা প্রমাণ করবে সংজ্ঞায়িত করুন।
• গো-লাইভের আগে একটি ভিত্তিরেখা ধরুন, প্রাসঙ্গিক উপগোষ্ঠী অনুযায়ী বিভক্ত।
• NICE Evidence Standards Framework-এ সরঞ্জামের ঝুঁকি স্তর খুঁজুন এবং কঠোরতা তার সঙ্গে মেলান।
• সবচেয়ে শক্তিশালী সম্ভব নকশা (RCT, স্টেপড-ওয়েজ বা ইন্টারাপ্টেড টাইম সিরিজ) বাছুন এবং এর সীমা রেকর্ড করুন।
• আপনার বাস্তব-জগৎ ডেটা উৎস, মান ও পক্ষপাত পরিকল্পনা করুন; বিশ্লেষণ পূর্ব-নির্দিষ্ট করুন।
• যেখানে বিশ্বাসযোগ্যতা বা অর্থায়ন দাবি করে সেখানে একজন স্বাধীন অংশীদার (NIHR, বিশ্ববিদ্যালয়, Health Innovation Network) জড়ান।
• কেবল কার্যকলাপ মেট্রিক নয়, ক্লিনিক্যাল ফলাফল, নিরাপত্তা সংকেত, ন্যায্যতা ও খরচ অন্তর্ভুক্ত করুন।
• নেতিবাচকগুলোসহ ফলাফল প্রকাশে আগে থেকে প্রতিশ্রুতিবদ্ধ হোন, এবং কোথায় তা বলুন।
• শুরুর আগে একটি থামার শর্ত এবং একটি সুন্দর ডিকমিশনিং পরিকল্পনা সংজ্ঞায়িত করুন।
• ফলাফল রোডম্যাপ, ব্যবসায়িক কেস ও ধাপবিন্যাস সিদ্ধান্তে ফিরিয়ে দিন।

মূল উৎস#

• NICE, Evidence Standards Framework for Digital Health Technologies (ESF)।
• Health Research Authority, "Is my study research?" সিদ্ধান্ত সরঞ্জাম, HRA Approval এবং গবেষণা নৈতিকতা নির্দেশিকা।
• Integrated Research Application System (IRAS), যুক্তরাজ্য স্বাস্থ্য ও সামাজিক পরিচর্যা গবেষণা আবেদনের একক পোর্টাল।
• National Institute for Health and Care Research (NIHR), অর্থায়ন, মূল্যায়ন সহায়তা এবং গবেষণা অবকাঠামো।
• Health Innovation Network (পূর্বে Academic Health Science Networks), বাস্তব-জগৎ মূল্যায়ন ও গ্রহণ সহায়তা।
• Medicines and Healthcare products Regulatory Agency (MHRA), বাস্তব-জগৎ ডেটা নির্দেশিকা এবং চিকিৎসা যন্ত্র হিসেবে সফটওয়্যার/AI।
• NHS England, Digital Technology Assessment Criteria (DTAC)।
• MRC/NIHR, Developing and evaluating complex interventions (কাঠামো নির্দেশিকা)।
• EQUATOR Network, স্বচ্ছ গবেষণা প্রতিবেদনের জন্য প্রতিবেদন নির্দেশিকা (CONSORT, STROBE, TRIPOD)।

তথ্যসূত্র#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/