विषय 8.6 — अनुसंधान और वास्तविक-विश्व मूल्यांकन

स्वास्थ्य और देखभाल में, एक डिजिटल नवाचार केवल उतना ही विश्वसनीय है जितना यह साक्ष्य कि यह व्यवहार में वास्तव में काम करता है — इसलिए आपको उस साक्ष्य को शुरुआत से डिज़ाइन करना चाहिए, जोखिम और आपके द्वारा किए गए दावों के अनुपात में कठोरता के साथ।

यह स्वास्थ्य और देखभाल में क्यों महत्वपूर्ण है#

आपके द्वारा तैनात हर डिजिटल उत्पाद एक अंतर्निहित वादा करता है: यह नुकसान पहुंचाए बिना रोगियों, स्टाफ, या सिस्टम की मदद करेगा। अधिकांश क्षेत्रों में एक अप्रमाणित वादा एक ग्राहक या राजस्व की एक तिमाही की कीमत चुकाता है। स्वास्थ्य और देखभाल में यह जीवन की कीमत चुका सकता है, असमानता बढ़ा सकता है, या उस सार्वजनिक विश्वास को नष्ट कर सकता है जिस पर पूरा सिस्टम निर्भर करता है। उत्साह और एक अच्छा डेमो साक्ष्य नहीं हैं, और एक विश्वसनीय तंत्र लाभ का प्रमाण नहीं है।

डिजिटल स्वास्थ्य का इतिहास ऐसे उपकरणों से भरा है जो आश्वस्त करने वाले लगते थे और किसी के यह दिखाने से पहले ही पैमाने पर अपनाए गए कि वे काम करते हैं — और कुछ ऐसे जिन्होंने चुपचाप नुकसान पहुंचाया, निदान चूक गए, या चिकित्सकों को वर्कअराउंड की ओर धकेला। नियामकों, कमीशनरों, और चिकित्सकों ने बार बढ़ाकर प्रतिक्रिया दी है: वे अब तैनाती से पहले, दौरान, और बाद में विश्वसनीय, आनुपातिक साक्ष्य की अपेक्षा करते हैं। यदि आप यह प्रदर्शित नहीं कर सकते कि आपकी सेवा उन परिणामों को देती है जिनका आप दावा करते हैं, तो आपको इसे चुनौती दिए जाने, वित्तपोषण रोके जाने, या वापस लिए जाने की अपेक्षा करनी चाहिए — और सही रूप से भी।

साक्ष्य एक समानता और सुरक्षा मुद्दा भी है, एक नौकरशाही बाधा नहीं। एक उपकरण जो औसत परिणामों में सुधार करता है फिर भी एक उपसमूह को नुकसान पहुंचा सकता है — डिजिटल रूप से बहिष्कृत, सीमित अंग्रेजी वाले लोग, या एक जनसंख्या जो आपके प्रशिक्षण डेटा में कम-प्रतिनिधित्व वाली है। केवल जानबूझकर मूल्यांकन यह प्रकट करता है। अच्छा साक्ष्य उत्पन्न करना इसलिए आपके देखभाल कर्तव्य, सार्वजनिक धन के आपके प्रबंधन, और आप जिन लोगों की सेवा करते हैं उनके साथ आपकी विश्वसनीयता का हिस्सा है (विषय 1.3 — साक्ष्य-संचालित निर्णय, और विषय 1.6 — क्लिनिकल सुरक्षा और जोखिम प्रबंधन देखें)।

मुख्य अवधारणाएं#

एक अंतर से शुरू करें जो बाकी सब कुछ शासित करता है: अनुसंधान, सेवा मूल्यांकन, और क्लिनिकल ऑडिट के बीच का अंतर। अनुसंधान का लक्ष्य नया, सामान्यीकरण योग्य ज्ञान उत्पन्न करना है — निष्कर्ष जो आपकी स्थानीय सेटिंग से परे सत्य होने के लिए अभिप्रेत हैं। सेवा मूल्यांकन पूछता है कि यह सेवा यहां कितनी अच्छी तरह काम कर रही है, उन मानकों का उपयोग करते हुए जो सेवा ने स्वयं अपनाए हैं। क्लिनिकल ऑडिट वर्तमान प्रथा की तुलना एक मौजूदा, सहमत मानक से करता है और परिवर्तन के साथ लूप बंद करता है। यह अंतर अकादमिक पांडित्य नहीं है: यह आपके प्रशासन मार्ग को निर्धारित करता है। National Health Service (NHS) के रोगियों, स्टाफ, या डेटा को शामिल करने वाले अनुसंधान को लगभग हमेशा औपचारिक नैतिकता अनुमोदन की आवश्यकता होती है; अधिकांश सेवा मूल्यांकन और ऑडिट को नहीं। अनुमोदनों से बचने के लिए अनुसंधान को मूल्यांकन के रूप में गलत वर्गीकृत करना एक गंभीर प्रशासन विफलता है।

इंग्लैंड में, अनुसंधान प्रशासन Health Research Authority (HRA) के माध्यम से चलता है, Department of Health and Social Care का एक आर्म्स-लेंथ निकाय। HRA प्रतिभागियों के हितों की रक्षा और प्रचार करता है और अनुमोदनों का समन्वय करता है ताकि एक अध्ययन की पूरे देश के लिए एक बार समीक्षा की जाए। नैतिक समीक्षा एक Research Ethics Committee (REC) द्वारा की जाती है — एक institutional review board का UK समकक्ष — जो न्याय करता है कि क्या एक अध्ययन प्रतिभागियों के लिए नैतिक, आनुपातिक, और सुरक्षित है। आवेदन Integrated Research Application System (IRAS) के माध्यम से जमा किए जाते हैं, एक एकल ऑनलाइन पोर्टल जो आपके प्रोजेक्ट को RECs, HRA Approval, और आवश्यक अन्य अनुमतियों तक रूट करता है। HRA के ऑनलाइन निर्णय उपकरण आपको यह निर्धारित करने में मदद करते हैं कि क्या आपका प्रोजेक्ट बिल्कुल अनुसंधान गिना जाता है।

अधिकांश डिजिटल-स्वास्थ्य साक्ष्य अब वास्तविक-विश्व डेटा (RWD) से बनाया जाता है — नियंत्रित परीक्षणों के बाहर एकत्रित जानकारी, जैसे इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड, उपकरण लॉग, रजिस्ट्री, और दावा डेटा — इस बारे में वास्तविक-विश्व साक्ष्य (RWE) उत्पन्न करने के लिए विश्लेषित कि सामान्य परिस्थितियों में एक हस्तक्षेप कैसा प्रदर्शन करता है। RWE शक्तिशाली है क्योंकि डिजिटल उपकरण एक उप-उत्पाद के रूप में समृद्ध उपयोग डेटा उत्पन्न करते हैं, और क्योंकि यह उस अव्यवस्थित वास्तविकता को दर्शाता है जिसे परीक्षण अक्सर बाहर करते हैं। यह नाज़ुक भी है: अवलोकन डेटा भ्रमकारक और पूर्वाग्रह से भरे होते हैं, इसलिए एक भोली पहले-और-बाद की तुलना एक मौसमी रुझान या एक सह-होने वाले परिवर्तन को आपके प्रभाव के लिए गलत समझ सकती है।

इसलिए मूल्यांकन डिज़ाइन मायने रखता है। कारणात्मक दावों के लिए सबसे मज़बूत डिज़ाइन यादृच्छिक नियंत्रित परीक्षण (RCT) बना हुआ है, जो प्रतिभागियों को यादृच्छिक रूप से आवंटित करके पूर्वाग्रह को कम करता है। डिजिटल संदर्भ अक्सर व्यावहारिक रूपों को प्राथमिकता देते हैं — क्लस्टर-यादृच्छिक परीक्षण, और स्टेप्ड-वेज ट्रायल, जिसमें साइटें यादृच्छिक लहरों में नियंत्रण से हस्तक्षेप तक क्रॉस ओवर करती हैं, एक चरणबद्ध रोल-आउट के अनुरूप जो आप वैसे भी करने वाले थे। जहां यादृच्छिकरण अव्यावहारिक है, अर्ध-प्रायोगिक डिज़ाइन मदद करते हैं: बाधित समय श्रृंखला (ITS) विश्लेषण गो-लाइव से पहले और बाद में कई बिंदुओं पर एक परिणाम को ट्रैक करता है ताकि स्तर और रुझान में परिवर्तनों का पता लगाया जा सके, और अक्सर एक सिस्टम-व्यापी डिजिटल परिवर्तन के लिए सबसे अच्छा संभव डिज़ाइन है। सरल पहले-और-बाद की तुलना सबसे कमज़ोर और सबसे भ्रामक है, क्योंकि यह आपके प्रभाव को बाकी हर उस चीज़ से अलग नहीं कर सकती जो बदल गई।

दो और एंकर काम को आकार देते हैं। इंग्लैंड में डिजिटल स्वास्थ्य के लिए साक्ष्य बार National Institute for Health and Care Excellence (NICE) द्वारा प्रकाशित Evidence Standards Framework for Digital Health Technologies द्वारा निर्धारित किया जाता है: यह उपकरणों को संभावित जोखिम द्वारा श्रेणीबद्ध करता है और प्रत्येक स्तर के लिए अपेक्षित साक्ष्य की ताकत निर्दिष्ट करता है। और रक्षा के लिए एक लगातार विकृति प्रकाशन पूर्वाग्रह है — सकारात्मक परिणामों को साझा करने और नकारात्मक को दबाने की प्रवृत्ति, जो पूरे क्षेत्र की चापलूसी करती है और अप्रभावी उपकरणों को फैलने देती है।

सर्वोत्तम प्रथाएं#

1. इसे डिज़ाइन करने से पहले अपने प्रोजेक्ट को वर्गीकृत करें। यह निर्धारित करने के लिए HRA के निर्णय उपकरणों का उपयोग करें कि क्या आपका काम अनुसंधान, सेवा मूल्यांकन, या ऑडिट है, और तर्क को रिकॉर्ड करें। यह एकल कदम आपके प्रशासन मार्ग, आपकी समय-सीमा, और आपकी अनुमतियों को निर्धारित करता है। इसे आशावादी दिशा में गलत करें और आप रोगियों पर अस्वीकृत अनुसंधान चलाने का जोखिम उठाते हैं; इसे सतर्क दिशा में गलत करें और आप एक सरल मूल्यांकन को महीनों की अनावश्यक प्रक्रिया से बोझिल करते हैं।

2. शुरुआत से मूल्यांकन बनाएं, एक जोड़ के रूप में नहीं। खोज के दौरान — उत्पादन कोड की एक पंक्ति से पहले (विषय 3.4 — खोज चरण देखें) — तय करें कि "काम करना" का क्या अर्थ है, और आप इसे कैसे मापेंगे। गो-लाइव से पहले एक बेसलाइन कैप्चर करें, क्योंकि आप इसे बाद में कभी पुनर्निर्माण नहीं कर सकते, और उत्पाद को उस परिणाम और उपयोग डेटा को उत्सर्जित करने के लिए उपकरणित करें जिसकी आपके डिज़ाइन को आवश्यकता है। एक लाइव सेवा पर मूल्यांकन को रेट्रोफिट करना लगभग हमेशा उच्च लागत पर कमज़ोर साक्ष्य उत्पन्न करता है, और अक्सर कोई उपयोग करने योग्य बेसलाइन बिल्कुल नहीं।

3. जोखिम और दावे से कठोरता मिलाएं। एक बुकिंग उपकरण जो एक प्रतीक्षा सूची को फिर से क्रमबद्ध करता है उसे छाती दर्द को ट्राइएज करने वाले एक एल्गोरिदम की तुलना में कम साक्ष्यात्मक वज़न की आवश्यकता है। अपने उपकरण के जोखिम स्तर का पता लगाने के लिए NICE Evidence Standards Framework का उपयोग करें, और ऐसे दावे करें जिन्हें आपका साक्ष्य वहन कर सके: यदि आपके पास एक बाधित समय श्रृंखला है जो कम अनुपस्थिति दरें दिखाती है, तो वह कहें — मृत्यु दर लाभ का सुझाव न दें। आनुपातिकता रोगियों को कम-साक्ष्यीकृत जोखिम से बचाती है और आपको कम-दांव वाले उपकरणों को अति-प्रमाणित करने में प्रयास बर्बाद करने से बचाती है।

4. सबसे मज़बूत डिज़ाइन चुनें जो व्यवहार्य हो, और इसकी सीमाओं को नाम दें। जब आप कर सकते हैं तो यादृच्छिकरण के लिए पहुंचें, और एक स्टेप्ड-वेज डिज़ाइन पर विचार करें जब एक चरणबद्ध रोल-आउट एक साथ नियंत्रण समूह को असंभव बना देता है। जब यादृच्छिकरण वास्तव में अव्यावहारिक है, तो भोली पहले-और-बाद की तुलना पर बाधित समय श्रृंखला को प्राथमिकता दें, और एक अनुकूल परिणाम के लिए मछली पकड़ने के प्रलोभन का विरोध करने के लिए अपने विश्लेषण को पूर्व-निर्दिष्ट करें। हर डिज़ाइन में कमज़ोरियां हैं; अपनी सादगी से बताएं ताकि पाठक ईमानदारी से साक्ष्य को तौल सकें।

5. जानबूझकर वास्तविक-विश्व डेटा का उपयोग करें, और भ्रमकारक को दुश्मन मानें। डिजिटल सेवाएं प्रचुर RWD उत्पन्न करती हैं, लेकिन प्रचुरता वैधता नहीं है। योजना बनाएं कि आप किस डेटा का उपयोग करेंगे, इसकी गुणवत्ता और पूर्णता, और यह जो पूर्वाग्रह वहन करता है, और बाद में लॉग खनन करने के बजाय जल्दी एक विश्लेषक या पद्धतिविद को शामिल करें। जहां संभव हो अपने परिणामों और विश्लेषण को पूर्व-पंजीकृत करें ताकि डेटा को यह बताने के लिए यातना न दी जा सके कि आप क्या सुनना चाहते थे।

6. उन लोगों के साथ साझेदारी करें जो जीवनयापन के लिए साक्ष्य उत्पन्न करते हैं। विश्वविद्यालय, National Institute for Health and Care Research (NIHR), और आपका क्षेत्रीय Health Innovation Network — पूर्व में Academic Health Science Networks (AHSNs) के रूप में जाने जाने वाले निकाय — पद्धतिगत कठोरता, स्वतंत्रता, वित्तपोषण मार्ग, और विश्वसनीयता लाते हैं जिन्हें आप इन-हाउस निर्मित नहीं कर सकते। स्वतंत्र मूल्यांकन कमीशनरों और चिकित्सकों के साथ एक आपूर्तिकर्ता के अपने विश्लेषण से कहीं अधिक वज़न रखता है। उन्हें जल्दी शामिल करें, क्योंकि सबसे अच्छे डिज़ाइन तैनाती से पहले निर्धारित किए जाते हैं, बाद में नहीं (विषय 9.0 — साझेदार संगठनों के साथ सहयोग देखें)।

7. परिणाम और अर्थशास्त्र मापें, केवल गतिविधि नहीं। लॉगिन, क्लिक-थ्रू, और संतुष्टि स्कोर आवश्यक हैं लेकिन पर्याप्त नहीं; कमीशनर परिणामों और मूल्य को वित्तपोषित करते हैं। जहां भी आप कर सकते हैं, अपने मूल्यांकन को क्लिनिकल परिणामों, सुरक्षा संकेतों, उपसमूहों में समानता, और लागत परिणामों से जोड़ें, निर्णय-निर्माताओं द्वारा उपयोग किए जाने वाले शब्दों में लाभ को फ्रेम करने के लिए स्वास्थ्य अर्थशास्त्रियों के साथ काम करते हुए (विषय 6.1 — स्वास्थ्य अर्थशास्त्र देखें)। हमेशा जनसंख्या द्वारा परिणामों को अलग करें ताकि एक उपकरण जो औसतन मदद करता है लेकिन एक उपसमूह को नुकसान पहुंचाता है औसत के पीछे न छुप सके।

8. अपने परिणाम प्रकाशित करें — निराशाजनक सहित। निष्कर्षों को साझा करने के लिए, सकारात्मक या नकारात्मक, एक रिपोर्ट, एक प्रीप्रिंट, या एक सहकर्मी-समीक्षित पेपर के माध्यम से अग्रिम में प्रतिबद्ध हों। नकारात्मक परिणाम प्रकाशित करना एक पेशेवर दायित्व है: यह अन्य संगठनों को आपकी गलतियों को दोहराने से बचाता है और प्रकाशन पूर्वाग्रह का मुकाबला करता है जो अप्रभावी उपकरणों को फैलने देता है। एक संस्कृति जो कह सकती है "हमने इसका मूल्यांकन किया और यह काम नहीं किया, इसलिए हमने रोक दिया" कम नहीं, अधिक विश्वसनीय है।

9. लूप बंद करें और आप जो सीखते हैं उस पर कार्य करें। साक्ष्य जो कोई निर्णय नहीं बदलता वह बर्बादी है। निष्कर्षों को अपने रोडमैप, अपने व्यवसाय मामले, और अपने चरणबद्धता निर्णयों में वापस फ़ीड करें — जो काम करता है उसे स्केल करें, जो आधा-काम करता है उसे ठीक करें, और जो नहीं करता उसे डिकमीशन करें (विषय 8.0 — नवाचार को चरणबद्ध करना देखें)। फिर फिर से मूल्यांकन करें, क्योंकि एक डिजिटल उपकरण जो एक सेटिंग में पायलट पैमाने पर काम करता था वह राष्ट्रीय पैमाने पर या एक अलग जनसंख्या में अलग तरीके से व्यवहार कर सकता है।

आपकी टीम के साथ चर्चा करने के लिए प्रश्न#

1. हम जो करने वाले हैं वह अनुसंधान, सेवा मूल्यांकन, या ऑडिट है — और हम उस उत्तर में कितने आश्वस्त हैं? यह पहला प्रश्न है क्योंकि उत्तर आपका पूरा प्रशासन मार्ग निर्धारित करता है, और इसे गलत करने के गंभीर परिणाम होते हैं। इस बारे में बात करें कि आपके डेटा विषय कौन हैं, क्या आप कुछ भी यादृच्छिक कर रहे हैं, क्या आप सामान्यीकरण योग्य ज्ञान उत्पन्न करने का इरादा रखते हैं, और क्या आप प्रकाशित करने की योजना बना रहे हैं — सभी संकेत जो एक प्रोजेक्ट को "अनुसंधान" की ओर धकेलते हैं। किसी भी दबाव का विरोध करें कि कुछ को केवल इसलिए मूल्यांकन के रूप में लेबल करें क्योंकि अनुमोदन मार्ग तेज़ है; वह दबाव ठीक-ठीक वह जगह है जहां प्रशासन विफलताएं शुरू होती हैं। कमरे में एक साथ HRA निर्णय उपकरण का उपयोग करें, और अपने तर्क और किसने इसे सहमति दी लिख लें। एक अच्छा उत्तर केवल एक लेबल नहीं बल्कि एक दस्तावेज़ीकृत, रक्षणीय निर्णय है जिसे आपके सूचना प्रशासन और क्लिनिकल-सुरक्षा सहकर्मियों ने देखा है। यदि आप वास्तव में अनिश्चित हैं, तो ईमानदार कदम अपनी समय-सीमा के अनुकूल दिशा में अनुमान लगाने के बजाय HRA या अपने R&D कार्यालय से पूछना है।

2. इस बात के लिए विश्वसनीय साक्ष्य के रूप में क्या गिना जाएगा कि यह काम करता है — और किसके लिए? अलग-अलग दर्शक अलग-अलग साक्ष्य की मांग करते हैं: एक चिकित्सक सुरक्षा और परिणाम डेटा चाहता है, एक कमीशनर लागत और मूल्य चाहता है, एक नियामक उपयुक्त NICE स्तर पूरा होते देखना चाहता है, और एक रोगी यह जानना चाहता है कि यह उसके जैसे लोगों के लिए सुरक्षित और निष्पक्ष है। बहस करें कि आपके उपकरण के लिए "काम करता है" का वास्तव में क्या अर्थ है, और कौन सा परिणाम आपको रोकने पर मजबूर करेगा — क्योंकि एक टीम जो एक रोकने की स्थिति स्पष्ट नहीं कर सकती वह वास्तव में मूल्यांकन नहीं कर रही है। विचार करें कि आपकी रोल-आउट योजना, आपके डेटा, और आपके बजट को देखते हुए कौन सा डिज़ाइन व्यवहार्य है, और कठोरता और गति के बीच व्यापार-बंद के बारे में ईमानदार रहें। चर्चा करें कि क्या आपको विश्वसनीय बनने के लिए स्वतंत्र मूल्यांकन की आवश्यकता है, और यदि हां, तो इसे कौन करना चाहिए। एक अच्छा उत्तर निर्णय-निर्माताओं, उन परिणामों को नाम देता है जो उन्हें प्रभावित करेंगे, वह डिज़ाइन जो विश्वसनीय रूप से उन परिणामों को उत्पन्न कर सकता है, और वह सीमा जिस पर आप निष्कर्ष निकालेंगे कि उपकरण विफल हो गया है।

3. हम एक नकारात्मक या निराशाजनक परिणाम को कैसे संभालेंगे? परिणाम आने से पहले यह पूछें, क्योंकि उत्तर अग्रिम में कहीं अधिक ईमानदार है। इसका अन्वेषण करें कि यदि मूल्यांकन कोई लाभ नहीं दिखाता, या बहुमत के लिए लाभ लेकिन एक बहिष्कृत उपसमूह के लिए नुकसान दिखाता है, तो आप क्या करेंगे, और इसे किसे सुनने की आवश्यकता होगी। वास्तविक दबावों को सतह पर लाएं: डूबी हुई लागत, आपूर्तिकर्ता संबंध, प्रतिष्ठा की चिंता, और करियर प्रोत्साहन जो लोगों को अच्छी खबर चाहते हैं। परिणाम की परवाह किए बिना प्रकाशित करने के लिए अपनी पूर्व प्रतिबद्धता पर चर्चा करें, और जब परिणाम शर्मनाक हो तो कौन सा प्रशासन आपको उस वादे पर बनाए रखेगा। एक अच्छा उत्तर एक अच्छी तरह से चलाए गए मूल्यांकन को मानता है जो एक नकारात्मक परिणाम उत्पन्न करता है प्रक्रिया की सफलता के रूप में, टीम की विफलता के रूप में नहीं — और सुंदर ढंग से डिकमीशनिंग, स्पष्ट रूप से संवाद करने, और ईमानदार खोज देने वाले लोगों की रक्षा करने के लिए एक ठोस योजना है।

4. हमें गो-लाइव से पहले क्या कैप्चर और उपकरणित करना चाहिए — और क्या हमने वास्तव में इसे बनाया है? एक मूल्यांकन केवल उतना ही अच्छा है जितना बेसलाइन और डेटा जिस पर यह निर्भर कर सकता है, और दोनों लॉन्च से बाद की तुलना में पहले सुरक्षित करना कहीं अधिक सस्ता है। इसके माध्यम से काम करें कि आपको किस "पहले" स्थिति की आवश्यकता है — प्रवेश दरें, प्रतीक्षा समय, त्रुटि दरें, वर्तमान मार्ग लागत — और पुष्टि करें कि इसे अब रिकॉर्ड किया जा रहा है, उन उपसमूहों द्वारा अलग किया गया जिनकी आप परवाह करते हैं, क्योंकि आप कभी एक बेसलाइन का पुनर्निर्माण नहीं कर सकते जिसे कैप्चर करने में आप विफल रहे। जांचें कि क्या उत्पाद स्वयं आपके चुने हुए डिज़ाइन को आवश्यक परिणाम और उपयोग डेटा उत्सर्जित करेगा, या क्या वह उपकरणीकरण अभी भी एक बैकलॉग की इच्छा है। समयबद्धता तनाव पर बहस करें: शिप करने का दबाव अक्सर एक तारीख को पूरा करने के लिए माप को हटा देता है, और हर ऐसी कटौती चुपचाप उस साक्ष्य को कमज़ोर करती है जिसे बाद में उत्पन्न करने के लिए आपसे कहा जाएगा। एक विश्लेषक या पद्धतिविद को शामिल करें जबकि डिज़ाइन अभी भी नरम है, लॉग पहले से बहने के बाद नहीं। एक अच्छा उत्तर वह क्या कैप्चर किया जाता है, कब से, किस विस्तार पर, और किसने पुष्टि की है कि यह लाइव है इसकी एक ठोस सूची है — रोल-आउट के बाद इसे सुलझाने का इरादा नहीं।

5. हम जिस डेटा पर निर्भर होने का इरादा रखते हैं वह कितना अच्छा है, और क्या हमारे निष्कर्ष को भ्रमित कर सकता है? वास्तविक-विश्व डेटा प्रचुर है लेकिन शायद ही कभी साफ़ है, और एक विश्वसनीय चार्ट मौसमीता, एक समवर्ती सेवा परिवर्तन, माध्य की ओर प्रतिगमन, या एक कोडिंग बदलाव छुपा सकता है जिसका आपके उपकरण से कोई लेना-देना नहीं है। हर उस स्रोत के उद्गम, पूर्णता, और गुणवत्ता की जांच करें जिसका आप उपयोग करने की योजना बना रहे हैं, और हर एक के वहन किए गए पूर्वाग्रहों को नाम दें — इलेक्ट्रॉनिक रिकॉर्ड से कौन गायब है, कौन से फ़ील्ड अविश्वसनीय हैं, कितनी लगातार एक कोड लागू किया जाता है। पूछें कि आपके गो-लाइव के समान विंडो में और क्या बदला, क्योंकि एक बाधित समय श्रृंखला या पहले-और-बाद जो उन घटनाओं को नज़रअंदाज़ करती है वह आपके उपकरण को दूसरे लोगों के प्रभावों का श्रेय देगी। पहले से तय करें कि कौन सी तुलना या डिज़ाइन आपको सबसे निष्पक्ष प्रति-तथ्यात्मक देती है, और विश्लेषण को पूर्व-निर्दिष्ट करें ताकि डेटा को चुपचाप परिणाम की चापलूसी करने के लिए फिर से आकार न दिया जा सके। एक अच्छा उत्तर दिखाता है कि आपने डेटा की कमज़ोरियों को ईमानदारी से मैप किया है और एक ऐसा डिज़ाइन चुना है जो प्रत्येक पर खींचने वाले एक संशयवादी से बच सकता है।

6. इस मूल्यांकन को कौन चलाना चाहिए, और विश्वसनीय होने के लिए इसे कितना स्वतंत्र होने की आवश्यकता है? अपना खुद का होमवर्क चिह्नित करना विश्वसनीय निष्कर्षों को खारिज करवाने का सबसे तेज़ तरीका है, इसलिए जल्दी तय करें कि क्या एक आपूर्तिकर्ता का या इन-हाउस विश्लेषण उस दर्शक को समझाएगा जिसे आपको वास्तव में हिलाने की आवश्यकता है। एक NIHR-समर्थित अकादमिक टीम, एक विश्वविद्यालय, या एक Health Innovation Network को शामिल करने की लागत और समय को स्वतंत्र, प्रकाशन योग्य साक्ष्य के प्रतिष्ठा और वाणिज्यिक मूल्य के विरुद्ध तौलें। इस बारे में चर्चा करें कि हितों के टकराव कहां बैठते हैं — जिन लोगों ने उपकरण बनाया या खरीदा वे शायद ही कभी यह निर्णय लेने के लिए सही लोग हैं कि क्या यह काम करता है — और आप मूल्यांकन को अच्छी खबर उत्पन्न करने के दबाव से कैसे अलग-थलग रखेंगे। विचार करें कि भागीदार स्वतंत्रता से परे क्या लाते हैं: पद्धतिगत कठोरता, वित्तपोषण मार्ग, और कमीशनरों और चिकित्सकों के साथ स्थिति जिसे आप इन-हाउस निर्मित नहीं कर सकते। एक अच्छा उत्तर स्वतंत्रता की डिग्री को दांव और निर्णय-निर्माताओं के संशय से मिलाता है, और डिज़ाइन तय होने से पहले उस साझेदारी को सुरक्षित करता है, परिणामों के निराश होने के बाद नहीं।

व्यवहार में: एक स्वास्थ्य और देखभाल उदाहरण#

एक integrated care system (ICS) क्रोनिक हृदय विफलता वाले रोगियों के लिए एक दूरस्थ-मॉनिटरिंग ऐप को कमीशन करता है, अनियोजित प्रवेशों को कम करने की उम्मीद में। आपूर्तिकर्ता की स्लाइडें कहीं और 30% कमी दिखाती हैं, और सर्दी से पहले सभी बारह बरो में तेज़ी से रोल आउट करने का दबाव है।

डिजिटल डिलीवरी नेता काम को वर्गीकृत करने के लिए रुकता है। क्योंकि ICS सामान्यीकरण योग्य निष्कर्ष चाहता है और प्रकाशित करने का इरादा रखता है, और क्योंकि यह एक नए उद्देश्य के लिए पहचान योग्य रोगी डेटा का विश्लेषण करेगा, यह अनुसंधान है, सेवा मूल्यांकन नहीं — इसलिए एक IRAS आवेदन और REC समीक्षा की आवश्यकता है। इसे एक बाधा के रूप में मानने के बजाय, नेता क्षेत्रीय Health Innovation Network और एक स्थानीय विश्वविद्यालय की NIHR-समर्थित अनुसंधान टीम से संपर्क करता है, जो अध्ययन को डिज़ाइन करने और आवेदन को सह-लिखने में मदद करते हैं। सब कुछ एक साथ चालू करने के बजाय, वे एक स्टेप्ड-वेज डिज़ाइन अपनाते हैं: बारह बरो नौ महीनों में यादृच्छिक लहरों में लाइव होते हैं, ताकि हर बरो अंततः ऐप प्राप्त करे जबकि विलंबित शुरुआत एक निष्पक्ष तुलना प्रदान करती है। पहली लहर से पहले वंचन और जातीयता द्वारा अलग किए गए प्रवेश दरों का एक बेसलाइन कैप्चर किया जाता है।

NICE Evidence Standards Framework का उपयोग करते हुए, टीम उपकरण को एक ऐसे स्तर में रखती है जो क्लिनिकल जोखिम वहन करता है और तदनुसार साक्ष्य अपेक्षा निर्धारित करती है, परिणामों के रूप में प्रवेश दरों, एक सुरक्षा संकेत के रूप में मृत्यु दर, और बचे हुए प्रति प्रवेश लागत को पूर्व-पंजीकृत करते हुए। नौ महीने बाद, अंतरिम विश्लेषण गंभीर है: समग्र प्रवेश मामूली रूप से गिरता है, लेकिन सबसे वंचित समूह के बीच — जो ऐप का सबसे कम उपयोग करता है — कोई लाभ नहीं है और देर से प्रस्तुति में एक चिंताजनक वृद्धि है। टीम इसे नहीं दबाती। वे इसे ICS बोर्ड को रिपोर्ट करते हैं, उन समूहों में रोल-आउट रोकते हैं, ऑनबोर्डिंग को फिर से डिज़ाइन करते हैं और डिजिटल रूप से बहिष्कृत रोगियों के लिए टेलीफोन समर्थन जोड़ते हैं, और कमी और पुनर्डिज़ाइन दोनों प्रकाशित करते हैं। परिणाम एक ऐसी सेवा है जो वास्तव में मदद करती है और एक निर्णय-निर्माण बोर्ड जो साक्ष्य पर भरोसा करता है क्योंकि इसने टीम को यह सच बताते हुए देखा है जब यह दुख देता है।

क्षेत्र दृष्टिकोण#

स्टार्टअप#

एक छोटी डिजिटल-स्वास्थ्य कंपनी साक्ष्य से जीती या मरती है, लेकिन शायद ही कभी इसे अकेले उत्पन्न करने के लिए पैसा या इन-हाउस पद्धति है। आपका सबसे तेज़ विश्वसनीय मार्ग साझेदारी है: एक NIHR-वित्तपोषित अकादमिक सहयोगी या एक Health Innovation Network वास्तविक-विश्व मूल्यांकन आपको स्वतंत्र निष्कर्ष देता है जिन पर निवेशक और NHS खरीदार वास्तव में विश्वास करते हैं, एक स्व-प्रकाशित श्वेत पत्र की तुलना में कहीं अधिक। आनुपातिक दावों के बारे में अनुशासित रहें — एक पायलट जीतने के लिए अति-दावा करना बाद के मूल्यांकन में विफल होने और अपनी प्रतिष्ठा खोने का सबसे तेज़ तरीका है। पहले दिन से अपने उत्पाद आर्किटेक्चर में डेटा कैप्चर बनाएं, क्योंकि अपने सीड राउंड के बाद इसे रेट्रोफिट करना महंगा है और एक कमज़ोर साक्ष्य आधार उत्पन्न करता है।

छोटा व्यवसाय#

एक स्थापित छोटा प्रदाता — एक GP प्रैक्टिस, एक सामुदायिक फार्मेसी, एक केयर होम, या एक डिजिटल उपकरण अपनाने वाला एक एकल-साइट क्लिनिक — से जो वह तैनात करता है उसका मूल्यांकन करने की अपेक्षा की जाती है, फिर भी इसके पास कोई R&D कार्यालय नहीं, कोई पद्धतिविद नहीं, और शायद ही कोई अतिरिक्त हाथ है। आपका यथार्थवादी कदम एक परीक्षण चलाना नहीं बल्कि एक अनुशासित सेवा मूल्यांकन चलाना है: चालू करने से पहले एक सरल बेसलाइन कैप्चर करें, मुट्ठी भर ईमानदार परिणाम उपायों पर सहमत हों, और रिकॉर्ड करें कि आपके रोगियों के लिए वास्तव में क्या बदलता है। साझा बुनियादी ढांचे पर भारी निर्भर रहें जिसे आपको बनाना नहीं है — आपका Health Innovation Network, एक स्थानीय विश्वविद्यालय, या एक फेडरेशन या प्राथमिक देखभाल नेटवर्क जो कई छोटी साइटों में डेटा और विशेषज्ञता को पूल कर सकता है। एक आपूर्तिकर्ता के हेडलाइन दावे को अंकित मूल्य पर स्वीकार करने के बारे में विशेष रूप से सतर्क रहें जब आप इसे स्वतंत्र रूप से जांच नहीं सकते, और स्पष्ट रहें कि वर्गीकरण कर्तव्य छोटे पैमाने पर भी आप पर लागू होते हैं। आनुपातिक, अच्छी तरह से दस्तावेज़ीकृत स्थानीय साक्ष्य उपकरण को जारी रखने, अनुकूलित करने, या छोड़ने को न्यायोचित ठहराने के लिए प्राप्त करने योग्य और पर्याप्त दोनों है।

बड़ा संगठन#

एक बड़े NHS ट्रस्ट या ICS के पास एक R&D कार्यालय, सूचना-प्रशासन मशीनरी, और मौजूदा अकादमिक संबंध हैं — संपत्तियां जिनसे एक स्टार्टअप ईर्ष्या करेगा — लेकिन उन्हें मूल्यांकित करने से पहले ट्रस्ट-व्यापी उपकरणों को तैनात करने की जड़ता भी। आपकी चुनौती "स्केल करने से पहले मूल्यांकित करें" को डिफ़ॉल्ट बनाना है, और जब शुरुआती साक्ष्य कमज़ोर हो तो एक हस्ताक्षरित उद्यम अनुबंध की गति का विरोध करना है। अपने पैमाने को एक पद्धतिगत लाभ के रूप में उपयोग करें: कई साइटें स्टेप्ड-वेज और क्लस्टर-यादृच्छिक डिज़ाइन को उन तरीकों से व्यवहार्य बनाती हैं जो एक एकल क्लिनिक प्रबंधित नहीं कर सकता। नकारात्मक परिणामों की आंतरिक राजनीति से सावधान रहें, जहां एक बड़ा निवेश परवाह किए बिना सफलता घोषित करने के लिए शक्तिशाली प्रोत्साहन बनाता है।

सरकार#

NHS England, Department of Health and Social Care, या एक विकेंद्रीकृत सरकार जैसा एक राष्ट्रीय निकाय उन नियमों को निर्धारित करता है जिनका बाकी सभी पालन करते हैं, इसलिए इसके साक्ष्य मानक पूरे बाज़ार को आकार देते हैं। इसका काम फ्रेमवर्क (HRA प्रशासन प्रणाली, NICE Evidence Standards Framework, DTAC) का प्रबंधन करना और उस बुनियादी ढांचे को वित्तपोषित करना है — NIHR, Health Innovation Networks, विश्वसनीय अनुसंधान वातावरण — जो सभी को अच्छा साक्ष्य उत्पन्न करने देता है। जब सरकार राष्ट्रीय पैमाने पर खरीद करती है, तो साक्ष्यात्मक दांव बहुत बड़े हैं: एक खराब साक्ष्यीकृत रोल-आउट लाखों नागरिकों में नुकसान स्थापित कर सकता है और राजनीतिक रूप से उलटना लगभग असंभव है। इसलिए इसे खुद को उस उच्चतम बार पर रखना चाहिए जो यह दूसरों से मांगता है, और सार्वजनिक विश्वास बनाए रखने के लिए अपने खुद के मूल्यांकन प्रकाशित करने चाहिए, विफलताओं सहित।

सामान्य विफलता मोड#

• बाद की सोच के रूप में साक्ष्य। पहले तैनात करना और बाद में "क्या यह काम किया?" पूछना, बिना किसी बेसलाइन कैप्चर के — आपको कोई विश्वसनीय कारणात्मक दावा करने में असमर्थ छोड़ते हुए।
• अनुसंधान को मूल्यांकन के रूप में गलत वर्गीकृत करना। HRA और REC अनुमोदनों से बचने के लिए "मूल्यांकन" लेबल चुनना, रोगियों को अस्वीकृत अनुसंधान और आपके संगठन को गंभीर प्रशासन उल्लंघन में उजागर करना।
• भोली पहले-और-बाद। दो स्नैपशॉट की तुलना करना और सभी परिवर्तन को अपने उपकरण के लिए जिम्मेदार ठहराना, मौसमीता, समवर्ती पहलों, और माध्य की ओर प्रतिगमन को नज़रअंदाज़ करना।
• वैनिटी मेट्रिक्स। क्लिनिकल परिणामों, सुरक्षा, समानता, और लागत पर चुप रहते हुए लॉगिन, डाउनलोड, और संतुष्टि रिपोर्ट करना।
• औसत जो नुकसान छुपाते हैं। जनसंख्या द्वारा अलग किए बिना एक हेडलाइन औसत सुधार प्रस्तुत करना, एक उपसमूह को छुपाना जिसे उपकरण विफल करता है या नुकसान पहुंचाता है।
• अपना खुद का होमवर्क चिह्नित करना। बिना किसी स्वतंत्र मूल्यांकन के केवल आपूर्तिकर्ता-उत्पन्न साक्ष्य पर निर्भर रहना, इसलिए कोई संशयवादी दर्शक इस पर विश्वास नहीं करता।
• बुरी खबर दबाना। केवल सकारात्मक निष्कर्ष प्रकाशित करना, प्रकाशन पूर्वाग्रह को खिलाना और अप्रभावी उपकरणों को सिस्टम में फैलने देना।
• अति-दावा। एक मामूली, कमज़ोर-डिज़ाइन परिणाम को एक मज़बूत क्लिनिकल दावे में खींचना जिसे साक्ष्य समर्थन नहीं कर सकता।

परिपक्वता मॉडल#

जांच-सूची#

• HRA निर्णय उपकरणों का उपयोग करते हुए प्रोजेक्ट को अनुसंधान, सेवा मूल्यांकन, या ऑडिट के रूप में वर्गीकृत करें, और तर्क को दस्तावेज़ीकृत करें।
• यदि यह अनुसंधान है, तो IRAS आवेदन और Research Ethics Committee समीक्षा की जल्दी योजना बनाएं।
• खोज के दौरान परिभाषित करें कि "काम करना" का क्या अर्थ है, और वे परिणाम जो इसे साबित करेंगे।
• गो-लाइव से पहले एक बेसलाइन कैप्चर करें — प्रासंगिक उपसमूहों द्वारा अलग किया गया।
• NICE Evidence Standards Framework में उपकरण के जोखिम स्तर का पता लगाएं और इसके अनुरूप कठोरता मिलाएं।
• सबसे मज़बूत व्यवहार्य डिज़ाइन (RCT, स्टेप्ड-वेज, या बाधित समय श्रृंखला) चुनें और इसकी सीमाएं रिकॉर्ड करें।
• अपने वास्तविक-विश्व डेटा स्रोतों, गुणवत्ता, और पूर्वाग्रहों की योजना बनाएं; विश्लेषण को पूर्व-निर्दिष्ट करें।
• जहां विश्वसनीयता या वित्तपोषण की आवश्यकता हो वहां एक स्वतंत्र भागीदार (NIHR, विश्वविद्यालय, Health Innovation Network) को शामिल करें।
• केवल गतिविधि मेट्रिक्स नहीं बल्कि क्लिनिकल परिणाम, सुरक्षा संकेत, समानता, और लागत शामिल करें।
• नकारात्मक सहित परिणाम प्रकाशित करने के लिए अग्रिम में प्रतिबद्ध हों, और कहां नाम दें।
• शुरू करने से पहले एक रोकने की स्थिति और एक सुंदर डिकमीशनिंग योजना परिभाषित करें।
• निष्कर्षों को रोडमैप, व्यवसाय मामले, और चरणबद्धता निर्णयों में वापस फ़ीड करें।

मुख्य स्रोत#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF)।
• Health Research Authority — "Is my study research?" निर्णय उपकरण, HRA Approval, और अनुसंधान नैतिकता मार्गदर्शन।
• Integrated Research Application System (IRAS) — UK स्वास्थ्य और सामाजिक देखभाल अनुसंधान आवेदनों के लिए एकल पोर्टल।
• National Institute for Health and Care Research (NIHR) — वित्तपोषण, मूल्यांकन समर्थन, और अनुसंधान बुनियादी ढांचा।
• Health Innovation Network (पूर्व में Academic Health Science Networks) — वास्तविक-विश्व मूल्यांकन और गोद लेने का समर्थन।
• Medicines and Healthcare products Regulatory Agency (MHRA) — वास्तविक-विश्व डेटा मार्गदर्शन और चिकित्सा उपकरण के रूप में सॉफ़्टवेयर/AI।
• NHS England — Digital Technology Assessment Criteria (DTAC)।
• MRC/NIHR — जटिल हस्तक्षेपों का विकास और मूल्यांकन (फ्रेमवर्क मार्गदर्शन)।
• EQUATOR Network — पारदर्शी अनुसंधान रिपोर्टिंग के लिए रिपोर्टिंग दिशानिर्देश (CONSORT, STROBE, TRIPOD)।

संदर्भ#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/