Topik 8.6 — Riset & Evaluasi Dunia Nyata

Dalam kesehatan dan perawatan, inovasi digital hanya sepercaya bukti bahwa ia benar-benar berfungsi dalam praktik — jadi Anda harus merancang bukti itu sejak awal, dengan ketelitian yang sepadan dengan risiko dan klaim yang Anda buat.

Mengapa ini penting dalam kesehatan dan perawatan#

Setiap produk digital yang Anda terapkan membuat janji implisit: ini akan membantu pasien, staf, atau sistem tanpa menimbulkan bahaya. Di kebanyakan sektor janji yang tak terbukti berbiaya seorang pelanggan atau satu triwulan pendapatan. Dalam kesehatan dan perawatan ia dapat berbiaya nyawa, memperlebar ketidakadilan, atau mengikis kepercayaan publik yang menjadi sandaran seluruh sistem. Antusiasme dan demo yang bagus bukan bukti, dan mekanisme yang masuk akal bukan bukti manfaat.

Sejarah kesehatan digital penuh perkakas yang tampak meyakinkan dan diadopsi pada skala sebelum ada yang menunjukkan bahwa mereka berfungsi — dan sebagian diam-diam menyebabkan bahaya, diagnosis terlewat, atau mendorong klinisi ke solusi akal-akalan. Regulator, komisioner, dan klinisi telah merespons dengan menaikkan standar: mereka kini mengharapkan bukti kredibel dan proporsional sebelum, selama, dan sesudah penerapan. Jika Anda tak dapat menunjukkan bahwa layanan Anda menyampaikan hasil yang Anda klaim, harapkan ia ditantang, didanai ulang, atau ditarik — dan memang semestinya.

Bukti juga soal ekuitas dan keselamatan, bukan rintangan birokratis. Perkakas yang memperbaiki hasil rata-rata tetap dapat merugikan subkelompok — yang terpinggirkan secara digital, orang dengan bahasa Inggris terbatas, atau populasi yang kurang terwakili dalam data pelatihan Anda. Hanya evaluasi yang disengaja yang mengungkapnya. Menghasilkan bukti yang baik karenanya bagian kewajiban kehati-hatian Anda, pengelolaan uang publik Anda, dan kredibilitas Anda di mata orang yang Anda layani (lihat Topik 1.3 — Keputusan Berbasis Bukti, dan Topik 1.6 — Keselamatan Klinis & Manajemen Risiko).

Konsep inti#

Mulailah dengan pembedaan yang mengatur segalanya: beda antara riset, evaluasi layanan, dan audit klinis. Riset bertujuan menghasilkan pengetahuan baru yang dapat digeneralisasi — temuan yang dimaksudkan benar di luar lingkungan lokal Anda. Evaluasi layanan bertanya seberapa baik layanan ini berfungsi di sini, memakai standar yang diadopsi layanan itu sendiri. Audit klinis membandingkan praktik saat ini dengan standar yang ada dan disepakati serta menutup lingkar dengan perubahan. Pembedaan ini bukan kepedantan akademis: ia menentukan jalur tata kelola Anda. Riset yang melibatkan pasien, staf, atau data National Health Service (NHS) hampir selalu membutuhkan persetujuan etik formal; kebanyakan evaluasi layanan dan audit tidak. Salah mengklasifikasi riset sebagai evaluasi untuk menghindari persetujuan adalah kegagalan tata kelola serius.

Di Inggris, tata kelola riset berjalan melalui Health Research Authority (HRA), badan independen dari Department of Health and Social Care. HRA melindungi dan memajukan kepentingan peserta dan mengoordinasikan persetujuan agar studi ditinjau sekali untuk seluruh negeri. Tinjauan etik dilakukan Research Ethics Committee (REC) — padanan Inggris dari dewan tinjauan institusional — yang menilai apakah studi etis, proporsional, dan aman bagi peserta. Permohonan diajukan melalui Integrated Research Application System (IRAS), portal daring tunggal yang mengarahkan proyek Anda ke REC, HRA Approval, dan izin lain yang dibutuhkannya. Perkakas keputusan daring HRA membantu Anda menentukan apakah proyek Anda dihitung sebagai riset sama sekali.

Banyak bukti kesehatan digital kini dibangun dari data dunia nyata (RWD) — informasi yang dikumpulkan di luar uji terkontrol, seperti rekam kesehatan elektronik, log perangkat, registri, dan data klaim — dianalisis untuk menghasilkan bukti dunia nyata (RWE) tentang bagaimana intervensi berkinerja dalam kondisi biasa. RWE kuat karena perkakas digital menghasilkan data pemakaian kaya sebagai produk sampingan, dan karena ia mencerminkan realitas berantakan yang sering dikecualikan uji. Ia juga rapuh: data observasional penuh pengacau dan bias, sehingga perbandingan sebelum-sesudah yang naif dapat menyalahartikan tren musiman atau perubahan bersamaan sebagai efek Anda.

Itulah mengapa desain evaluasi penting. Desain terkuat untuk klaim kausal tetap uji terkontrol acak (RCT), yang mengurangi bias dengan mengalokasikan peserta secara acak. Konteks digital sering menyukai varian pragmatis — uji acak klaster, dan uji stepped-wedge, di mana lokasi beralih dari kontrol ke intervensi dalam gelombang acak, cocok dengan peluncuran bertahap yang memang akan Anda lakukan. Di mana pengacakan tak praktis, desain kuasi-eksperimental membantu: analisis deret waktu terinterupsi (ITS) melacak hasil di banyak titik sebelum dan sesudah go-live untuk mendeteksi perubahan tingkat dan tren, dan sering desain terbaik yang layak untuk perubahan digital seluruh sistem. Perbandingan sebelum-sesudah sederhana adalah yang terlemah dan paling menyesatkan, karena tak dapat memisahkan efek Anda dari segala hal lain yang berubah.

Dua jangkar lagi membentuk kerja ini. Standar bukti kesehatan digital di Inggris ditetapkan Evidence Standards Framework for Digital Health Technologies, diterbitkan National Institute for Health and Care Excellence (NICE): ia menggolongkan perkakas menurut potensi risiko dan menetapkan kekuatan bukti yang diharapkan untuk tiap tingkat. Dan distorsi menetap yang perlu dijaga adalah bias publikasi — kecenderungan membagikan hasil positif dan mengubur yang negatif, yang menyanjung seluruh bidang dan membiarkan perkakas tak efektif menyebar.

Praktik terbaik#

1. Klasifikasikan proyek Anda sebelum merancangnya. Pakai perkakas keputusan HRA untuk menentukan apakah kerja Anda riset, evaluasi layanan, atau audit, dan catat penalarannya. Langkah tunggal ini menetapkan jalur tata kelola, garis waktu, dan izin Anda. Keliru ke arah optimistis dan Anda berisiko menjalankan riset tak disetujui pada pasien; keliru ke arah hati-hati dan Anda membebani evaluasi sederhana dengan berbulan-bulan proses tak perlu.

2. Bangun evaluasi sejak awal, bukan tempelan. Putuskan apa arti "berfungsi", dan bagaimana Anda akan mengukurnya, selama penemuan — sebelum satu baris kode produksi (lihat Topik 3.4 — Fase Penemuan (Discovery)). Tangkap garis dasar sebelum go-live, karena Anda tak pernah dapat merekonstruksinya sesudahnya, dan instrumentasikan produk untuk memancarkan data hasil dan pemakaian yang dibutuhkan desain Anda. Memasang evaluasi pada layanan hidup hampir selalu menghasilkan bukti lebih lemah dengan biaya lebih tinggi, dan sering tanpa garis dasar yang dapat dipakai sama sekali.

3. Cocokkan ketelitian dengan risiko dan klaim. Perkakas pemesanan yang menyusun ulang daftar tunggu membutuhkan bobot bukti lebih sedikit daripada algoritma yang mentriase nyeri dada. Pakai NICE Evidence Standards Framework untuk menemukan tingkat risiko perkakas Anda, dan buat klaim yang dapat dipikul bukti Anda: jika Anda punya deret waktu terinterupsi yang menunjukkan tingkat tidak hadir berkurang, katakan itu — jangan menyiratkan manfaat kematian. Proporsionalitas melindungi pasien dari risiko kurang berbukti dan melindungi Anda dari membuang upaya membuktikan berlebihan perkakas berisiko rendah.

4. Pilih desain terkuat yang layak, dan namai batasnya. Raihlah pengacakan bila bisa, dan pertimbangkan desain stepped-wedge ketika peluncuran bertahap membuat kelompok kontrol serentak mustahil. Ketika pengacakan benar-benar tak layak, pilih deret waktu terinterupsi daripada sebelum-sesudah naif, dan spesifikasikan analisis Anda sebelumnya untuk menahan godaan memancing hasil yang menguntungkan. Setiap desain punya kelemahan; nyatakan milik Anda terus terang agar pembaca dapat menimbang bukti dengan jujur.

5. Pakai data dunia nyata dengan sengaja, dan perlakukan pengacau sebagai musuh. Layanan digital menghasilkan RWD melimpah, tetapi kelimpahan bukan validitas. Rencanakan data mana yang akan Anda pakai, mutu dan kelengkapannya, serta bias yang dibawanya, dan libatkan analis atau metodolog sejak dini alih-alih menambang log setelah kejadian. Pra-daftarkan hasil dan analisis Anda di mana mungkin agar data tak dapat disiksa untuk mengatakan apa yang Anda harapkan.

6. Bermitralah dengan orang yang menghasilkan bukti sebagai pekerjaan. Universitas, National Institute for Health and Care Research (NIHR), dan Health Innovation Network regional Anda — badan yang dahulu dikenal sebagai Academic Health Science Networks (AHSN) — membawa ketelitian metodologis, independensi, jalur pendanaan, dan kredibilitas yang tak dapat Anda ciptakan di dalam. Evaluasi independen jauh lebih berbobot bagi komisioner dan klinisi daripada analisis pemasok sendiri. Libatkan mereka sejak dini, karena desain terbaik ditetapkan sebelum penerapan, bukan sesudah (lihat Topik 9.0 — Berkolaborasi dengan Organisasi Mitra).

7. Ukur hasil dan ekonomi, bukan hanya aktivitas. Login, klik-tembus, dan skor kepuasan perlu tetapi tak cukup; komisioner mendanai hasil dan nilai. Di mana pun Anda bisa, ikat evaluasi Anda pada hasil klinis, sinyal keselamatan, ekuitas lintas subkelompok, dan konsekuensi biaya, bekerja dengan ekonom kesehatan untuk membingkai manfaat dalam istilah yang dipakai pengambil keputusan (lihat Topik 6.1 — Ekonomi Kesehatan). Selalu pilah hasil menurut populasi agar perkakas yang membantu rata-rata tetapi merugikan subkelompok tak dapat bersembunyi di balik rata-rata.

8. Terbitkan hasil Anda — termasuk yang mengecewakan. Berkomitmenlah di muka berbagi temuan, positif atau negatif, melalui laporan, pracetak, atau makalah yang ditelaah sejawat. Menerbitkan hasil negatif adalah kewajiban profesional: ia menyelamatkan organisasi lain dari mengulang kesalahan Anda dan melawan bias publikasi yang membiarkan perkakas tak efektif berbiak. Budaya yang dapat berkata "kami mengevaluasi ini dan tidak berhasil, jadi kami menghentikannya" lebih tepercaya, bukan kurang.

9. Tutup lingkar dan bertindaklah atas apa yang Anda pelajari. Bukti yang tak mengubah keputusan apa pun adalah pemborosan. Umpanbalikkan temuan ke peta jalan, kasus bisnis, dan keputusan penahapan Anda — menskalakan apa yang berhasil, memperbaiki apa yang setengah berhasil, dan menonaktifkan apa yang tidak (lihat Topik 8.0 — Penerapan Inovasi secara Bertahap). Lalu evaluasi ulang, karena perkakas digital yang berhasil pada skala pilot di satu lingkungan dapat berperilaku berbeda pada skala nasional atau dalam populasi berbeda.

Pertanyaan untuk didiskusikan dengan tim Anda#

1. Apakah yang akan kami lakukan ini riset, evaluasi layanan, atau audit — dan seberapa yakin kami pada jawaban itu? Ini pertanyaan pertama karena jawabannya menetapkan seluruh jalur tata kelola Anda, dan keliru berkonsekuensi serius. Bicarakan siapa subjek data Anda, apakah Anda mengacak sesuatu, apakah Anda bermaksud menghasilkan pengetahuan yang dapat digeneralisasi, dan apakah Anda berencana menerbitkan — semuanya sinyal yang mendorong proyek ke arah "riset". Tahan tekanan apa pun untuk melabeli sesuatu sebagai evaluasi hanya karena jalur persetujuannya lebih cepat; tekanan itu persis di mana kegagalan tata kelola bermula. Pakai perkakas keputusan HRA bersama, di ruangan, dan tuliskan penalaran Anda dan siapa yang menyetujuinya. Jawaban baik bukan sekadar label tetapi penilaian terdokumentasi dan dapat dibela yang telah dilihat rekan tata kelola informasi dan keselamatan klinis Anda. Jika Anda benar-benar tak yakin, langkah jujurnya adalah bertanya kepada HRA atau kantor R&D Anda alih-alih menebak ke arah yang cocok dengan garis waktu Anda.

2. Apa yang akan dihitung sebagai bukti meyakinkan bahwa ini berfungsi — dan bagi siapa? Audiens berbeda menuntut bukti berbeda: klinisi menginginkan data keselamatan dan hasil, komisioner menginginkan biaya dan nilai, regulator ingin melihat tingkat NICE yang sesuai terpenuhi, dan pasien ingin tahu itu aman dan adil bagi orang seperti mereka. Perdebatkan apa arti "berfungsi" sebenarnya bagi perkakas Anda, dan hasil apa yang akan membuat Anda berhenti — karena tim yang tak dapat mengartikulasikan kondisi berhenti sebenarnya tidak mengevaluasi. Pertimbangkan desain mana yang layak mengingat rencana peluncuran, data, dan anggaran Anda, dan jujurlah tentang trade-off antara ketelitian dan kecepatan. Diskusikan apakah Anda butuh evaluasi independen agar dipercaya, dan jika ya, siapa yang harus melakukannya. Jawaban baik menamai pengambil keputusan, hasil yang akan menggerakkan mereka, desain yang dapat secara kredibel menghasilkan hasil itu, dan ambang di mana Anda akan menyimpulkan perkakas telah gagal.

3. Bagaimana kami akan menangani hasil negatif atau mengecewakan? Tanyakan ini sebelum Anda punya hasilnya, karena jawabannya jauh lebih jujur di muka. Telusuri apa yang akan Anda lakukan jika evaluasi menunjukkan tak ada manfaat, atau manfaat bagi mayoritas tetapi bahaya bagi subkelompok yang terkecualikan, dan siapa yang perlu mendengarnya. Munculkan tekanan nyata: biaya hangus, hubungan pemasok, kekhawatiran reputasi, dan insentif karier yang membuat orang menginginkan kabar baik. Diskusikan komitmen awal Anda untuk menerbitkan apa pun hasilnya, dan tata kelola apa yang akan memegang Anda pada janji itu ketika hasilnya memalukan. Jawaban baik memperlakukan evaluasi yang dijalankan baik dan menghasilkan hasil negatif sebagai keberhasilan proses, bukan kegagalan tim — dan punya rencana konkret menonaktifkan dengan anggun, berkomunikasi terus terang, dan melindungi orang yang menyampaikan temuan jujur.

4. Apa yang harus kami tangkap dan instrumentasikan sebelum go-live — dan sudahkah kami benar-benar membangunnya? Evaluasi hanya sebaik garis dasar dan data yang dapat diambilnya, dan keduanya jauh lebih murah diamankan sebelum peluncuran daripada sesudah. Telusuri keadaan "sebelum" apa yang Anda butuhkan — tingkat rawat inap, waktu tunggu, tingkat kesalahan, biaya jalur saat ini — dan pastikan itu dicatat sekarang, dipilah menurut subkelompok yang Anda pedulikan, karena Anda tak pernah dapat merekonstruksi garis dasar yang gagal Anda tangkap. Periksa apakah produk sendiri akan memancarkan data hasil dan pemakaian yang dibutuhkan desain pilihan Anda, atau instrumentasi itu masih keinginan backlog. Perdebatkan ketegangan waktu: tekanan mengirim sering menyingkirkan pengukuran demi memenuhi tanggal, dan setiap pemotongan semacam itu diam-diam melemahkan bukti yang kelak diminta Anda hasilkan. Libatkan analis atau metodolog selagi desain masih lunak, bukan setelah log sudah mengalir. Jawaban baik adalah daftar konkret apa yang ditangkap, sejak kapan, pada granularitas apa, dan siapa yang telah mengonfirmasi ia hidup — bukan niat untuk membereskannya setelah peluncuran.

5. Seberapa baik data yang kami niatkan diandalkan, dan apa yang dapat mengacaukan kesimpulan kami? Data dunia nyata melimpah tetapi jarang bersih, dan grafik yang masuk akal dapat menyembunyikan musiman, perubahan layanan bersamaan, regresi ke rata-rata, atau pergeseran pengkodean yang tak ada hubungannya dengan perkakas Anda. Interogasi asal-usul, kelengkapan, dan mutu setiap sumber yang Anda rencanakan pakai, dan namai bias yang dibawa masing-masing — siapa yang hilang dari rekam elektronik, kolom mana yang tak andal, seberapa konsisten kode diterapkan. Tanyakan apa lagi yang berubah di jendela yang sama dengan go-live Anda, karena deret waktu terinterupsi atau sebelum-sesudah yang mengabaikan peristiwa itu akan mengkredit perkakas Anda atas efek orang lain. Putuskan di muka perbandingan atau desain mana yang memberi kontrafaktual paling adil, dan spesifikasikan analisis sebelumnya agar data tak dapat diam-diam dibentuk ulang untuk menyanjung hasil. Jawaban baik menunjukkan Anda telah memetakan kelemahan data dengan jujur dan memilih desain yang dapat bertahan dari skeptis yang menarik tiap-tiapnya.

6. Siapa yang harus menjalankan evaluasi ini, dan seberapa independen ia harus agar dipercaya? Menilai pekerjaan rumah sendiri adalah cara tercepat membuat temuan kredibel ditepis, jadi putuskan sejak dini apakah analisis pemasok atau internal akan meyakinkan audiens yang benar-benar perlu Anda gerakkan. Timbang biaya dan waktu melibatkan tim akademik yang didukung NIHR, universitas, atau Health Innovation Network terhadap nilai reputasi dan komersial bukti independen yang dapat diterbitkan. Diskusikan di mana konflik kepentingan berada — orang yang membangun atau membeli perkakas jarang orang yang tepat untuk menilai apakah ia berfungsi — dan bagaimana Anda akan menyekat evaluasi dari tekanan menghasilkan kabar baik. Pertimbangkan apa yang dibawa mitra melampaui independensi: ketelitian metodologis, jalur pendanaan, dan kedudukan di mata komisioner dan klinisi yang tak dapat Anda ciptakan di dalam. Jawaban baik mencocokkan tingkat independensi dengan taruhan dan skeptisisme pengambil keputusan, dan mengamankan kemitraan itu sebelum desain ditetapkan alih-alih setelah hasil mengecewakan.

Dalam praktik: contoh kesehatan & perawatan#

Sebuah sistem perawatan terpadu (ICS) mengomisikan aplikasi pemantauan jarak jauh untuk pasien gagal jantung kronis, berharap memangkas rawat inap tak terencana. Slide pemasok menunjukkan pengurangan 30% di tempat lain, dan ada tekanan meluncurkan cepat di seluruh dua belas borough sebelum musim dingin.

Pimpinan penyampaian digital berhenti untuk mengklasifikasikan kerja ini. Karena ICS menginginkan temuan yang dapat digeneralisasi dan bermaksud menerbitkan, dan karena akan menganalisis data pasien yang dapat diidentifikasi untuk tujuan baru, ini riset, bukan evaluasi layanan — sehingga permohonan IRAS dan tinjauan REC dibutuhkan. Alih-alih memperlakukannya sebagai penghalang, pimpinan mendekati Health Innovation Network regional dan tim riset universitas lokal yang didukung NIHR, yang membantu merancang studi dan menulis bersama permohonan. Alih-alih menyalakan semuanya sekaligus, mereka mengadopsi desain stepped-wedge: dua belas borough live dalam gelombang acak selama sembilan bulan, sehingga setiap borough akhirnya mendapat aplikasi sementara awal bertahap menyediakan pembanding yang adil. Garis dasar tingkat rawat inap, dipilah menurut kemiskinan dan etnisitas, ditangkap sebelum gelombang pertama.

Memakai NICE Evidence Standards Framework, tim menempatkan perkakas pada tingkat yang membawa risiko klinis dan menetapkan ekspektasi bukti yang sesuai, mendaftarkan sebelumnya tingkat rawat inap, kematian sebagai sinyal keselamatan, dan biaya per rawat inap yang dihindari sebagai hasil. Sembilan bulan kemudian, analisis sela menyadarkan: rawat inap keseluruhan turun sedikit, tetapi di kohort paling miskin — yang paling sedikit memakai aplikasi — tak ada manfaat dan ada kenaikan mengkhawatirkan dalam kedatangan terlambat. Tim tidak mengubur ini. Mereka melaporkannya ke dewan ICS, menjeda peluncuran ke kohort itu, mendesain ulang onboarding dan menambah dukungan telepon bagi pasien yang terpinggirkan secara digital, serta menerbitkan baik kekurangan maupun desain ulangnya. Hasilnya layanan yang benar-benar membantu dan dewan pengambil keputusan yang memercayai bukti karena telah melihat tim mengatakan yang sebenarnya ketika menyakitkan.

Lensa sektor#

Startup#

Perusahaan kesehatan digital kecil hidup-matinya bergantung pada bukti, tetapi jarang punya uang atau metodologi internal untuk menghasilkannya sendirian. Jalur kredibel tercepat Anda adalah kemitraan: kolaborator akademik yang didanai NIHR atau evaluasi dunia nyata Health Innovation Network memberi temuan independen yang benar-benar dipercaya investor dan pembeli NHS, jauh lebih daripada white paper terbitan sendiri. Disiplinlah dalam klaim proporsional — klaim berlebihan untuk memenangkan pilot adalah cara tercepat gagal dalam evaluasi berikutnya dan kehilangan reputasi. Bangun pengambilan data ke arsitektur produk sejak hari pertama, karena memasangnya setelah putaran seed mahal dan menghasilkan basis bukti lebih buruk.

Usaha kecil#

Penyedia kecil yang mapan — praktik dokter umum, apotek komunitas, panti jompo, atau klinik satu lokasi yang mengadopsi perkakas digital — diharapkan mengevaluasi apa yang diterapkannya, namun tak punya kantor R&D, tak punya metodolog, dan nyaris tak punya tangan cadangan. Langkah realistis Anda bukan menjalankan uji melainkan menjalankan evaluasi layanan yang disiplin: tangkap garis dasar sederhana sebelum Anda menyalakan, sepakati segelintir ukuran hasil yang jujur, dan catat apa yang benar-benar berubah bagi pasien Anda. Bersandarlah keras pada infrastruktur bersama yang tak perlu Anda bangun — Health Innovation Network Anda, universitas lokal, atau federasi atau jaringan perawatan primer yang dapat menyatukan data dan keahlian lintas beberapa lokasi kecil. Berhati-hatilah khususnya menerima klaim utama pemasok apa adanya ketika Anda tak dapat memeriksanya secara independen, dan jelas bahwa kewajiban klasifikasi tetap berlaku bagi Anda bahkan pada skala kecil. Bukti lokal yang proporsional dan terdokumentasi baik dapat dicapai dan cukup untuk membenarkan melanjutkan, menyesuaikan, atau meninggalkan perkakas.

Perusahaan besar#

Trust NHS besar atau ICS punya kantor R&D, mesin tata kelola informasi, dan ikatan akademik yang ada — aset yang akan diirikan startup — tetapi juga inersia menerapkan perkakas seluruh trust sebelum mengevaluasinya. Tantangan Anda menjadikan "evaluasi sebelum menskalakan" bawaan, dan menahan momentum kontrak perusahaan yang ditandatangani ketika bukti awal lemah. Pakai skala Anda sebagai keunggulan metodologis: banyak lokasi membuat desain stepped-wedge dan uji acak klaster layak dengan cara yang tak dapat dilakukan satu klinik. Waspadai politik internal hasil negatif, di mana investasi besar menciptakan insentif kuat menyatakan keberhasilan apa pun yang terjadi.

Pemerintah#

Badan nasional — NHS England, Department of Health and Social Care, atau pemerintah terdevolusi — menetapkan aturan yang diikuti pihak lain, sehingga standar buktinya membentuk seluruh pasar. Tugasnya mengelola kerangka (sistem tata kelola HRA, NICE Evidence Standards Framework, DTAC) dan mendanai infrastruktur — NIHR, Health Innovation Network, lingkungan riset tepercaya — yang memungkinkan semua orang menghasilkan bukti baik. Ketika pemerintah mengadakan pada skala nasional, taruhan bukti sangat besar: peluncuran yang buruk buktinya dapat mengukuhkan bahaya pada jutaan warga dan nyaris mustahil dibalik secara politis. Karenanya ia harus memegang dirinya pada standar tertinggi yang diminta dari pihak lain, dan menerbitkan evaluasinya sendiri, termasuk kegagalan, untuk menjaga kepercayaan publik.

Mode kegagalan umum#

• Bukti sebagai renungan belakangan. Menerapkan dulu dan bertanya "apakah berhasil?" kemudian, tanpa garis dasar tertangkap — membuat Anda tak mampu membuat klaim kausal yang kredibel.
• Salah mengklasifikasi riset sebagai evaluasi. Memilih label "evaluasi" untuk menghindari persetujuan HRA dan REC, memapar pasien pada riset tak disetujui dan organisasi Anda pada pelanggaran tata kelola serius.
• Sebelum-sesudah naif. Membandingkan dua potret dan mengatribusikan semua perubahan pada perkakas Anda, mengabaikan musiman, inisiatif bersamaan, dan regresi ke rata-rata.
• Metrik kesombongan. Melaporkan login, unduhan, dan kepuasan sambil diam tentang hasil klinis, keselamatan, ekuitas, dan biaya.
• Rata-rata yang menyembunyikan bahaya. Menyajikan perbaikan rata-rata utama tanpa memilah menurut populasi, menyembunyikan subkelompok yang digagalkan atau dirugikan perkakas.
• Menilai pekerjaan rumah sendiri. Mengandalkan semata bukti buatan pemasok tanpa evaluasi independen, sehingga tak ada audiens skeptis yang memercayainya.
• Mengubur kabar buruk. Menerbitkan hanya temuan positif, memberi makan bias publikasi dan membiarkan perkakas tak efektif menyebar di seluruh sistem.
• Klaim berlebihan. Meregangkan hasil sederhana berdesain lemah menjadi klaim klinis kuat yang tak dapat didukung bukti.

Model kematangan#

Daftar periksa#

• Klasifikasikan proyek sebagai riset, evaluasi layanan, atau audit memakai perkakas keputusan HRA, dan dokumentasikan penalarannya.
• Jika riset, rencanakan permohonan IRAS dan tinjauan Research Ethics Committee sejak dini.
• Definisikan apa arti "berfungsi", dan hasil yang akan membuktikannya, selama penemuan.
• Tangkap garis dasar — dipilah menurut subkelompok relevan — sebelum go-live.
• Temukan tingkat risiko perkakas dalam NICE Evidence Standards Framework dan cocokkan ketelitian dengannya.
• Pilih desain terkuat yang layak (RCT, stepped-wedge, atau deret waktu terinterupsi) dan catat batasnya.
• Rencanakan sumber data dunia nyata, mutu, dan bias Anda; spesifikasikan analisis sebelumnya.
• Libatkan mitra independen (NIHR, universitas, Health Innovation Network) di mana kredibilitas atau pendanaan mensyaratkan.
• Sertakan hasil klinis, sinyal keselamatan, ekuitas, dan biaya — bukan hanya metrik aktivitas.
• Berkomitmen di muka menerbitkan hasil, termasuk yang negatif, dan namai di mana.
• Definisikan kondisi berhenti dan rencana penonaktifan yang anggun sebelum Anda mulai.
• Umpanbalikkan temuan ke peta jalan, kasus bisnis, dan keputusan penahapan.

Sumber utama#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — perkakas keputusan "Is my study research?", HRA Approval, dan panduan etika riset.
• Integrated Research Application System (IRAS) — portal tunggal untuk permohonan riset kesehatan dan perawatan sosial Inggris.
• National Institute for Health and Care Research (NIHR) — pendanaan, dukungan evaluasi, dan infrastruktur riset.
• Health Innovation Network (dahulu Academic Health Science Networks) — dukungan evaluasi dunia nyata dan adopsi.
• Medicines and Healthcare products Regulatory Agency (MHRA) — panduan data dunia nyata dan perangkat lunak/AI sebagai alat kesehatan.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (panduan kerangka).
• EQUATOR Network — pedoman pelaporan (CONSORT, STROBE, TRIPOD) untuk pelaporan riset yang transparan.

Referensi#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/