Chủ đề 8.6 — Nghiên cứu và đánh giá thực tế

Trong y tế và chăm sóc, một đổi mới số chỉ đáng tin bằng bằng chứng cho thấy nó thực sự hiệu quả trong thực hành — nên bạn phải thiết kế bằng chứng đó ngay từ đầu, ở mức nghiêm ngặt tương xứng với rủi ro và các tuyên bố bạn đưa ra.

Vì sao điều này quan trọng trong y tế và chăm sóc#

Mọi sản phẩm số bạn triển khai đều đưa ra một lời hứa ngầm: điều này sẽ giúp bệnh nhân, nhân viên hoặc hệ thống mà không gây hại. Ở hầu hết các lĩnh vực, một lời hứa chưa được chứng minh tốn một khách hàng hay một quý doanh thu. Trong y tế và chăm sóc nó có thể tốn mạng sống, nới rộng bất công bằng, hoặc làm xói mòn niềm tin công chúng mà cả hệ thống dựa vào. Sự hào hứng và một bản demo hay không phải bằng chứng, và một cơ chế hợp lý không phải chứng cứ về lợi ích.

Lịch sử y tế số đầy những công cụ trông thuyết phục và được áp dụng ở quy mô lớn trước khi ai đó cho thấy chúng hiệu quả — và một số lặng lẽ gây hại, bỏ sót chẩn đoán, hoặc đẩy bác sĩ vào cách lách. Các cơ quan quản lý, đơn vị đặt hàng và bác sĩ đã đáp lại bằng cách nâng chuẩn: họ nay kỳ vọng bằng chứng đáng tin, tương xứng trước, trong và sau triển khai. Nếu bạn không chứng minh được dịch vụ của mình mang lại kết quả bạn tuyên bố, hãy kỳ vọng nó bị thách thức, cắt kinh phí hoặc rút — và là đúng.

Bằng chứng cũng là vấn đề công bằng và an toàn, không phải rào cản hành chính. Một công cụ cải thiện kết quả trung bình vẫn có thể gây hại một nhóm con — những người bị loại trừ về số, người hạn chế tiếng Anh, hoặc một quần thể ít được đại diện trong dữ liệu huấn luyện của bạn. Chỉ đánh giá có chủ đích mới lộ ra điều này. Do đó tạo ra bằng chứng tốt là một phần nghĩa vụ chăm sóc của bạn, sự quản lý tiền công, và uy tín của bạn với những người bạn phục vụ (xem Chủ đề 1.3 — Quyết định dựa trên bằng chứng, và Chủ đề 1.6 — An toàn lâm sàng và quản lý rủi ro).

Các khái niệm cốt lõi#

Bắt đầu với một sự phân biệt chi phối mọi thứ khác: khác biệt giữa nghiên cứu, đánh giá dịch vụ và kiểm toán lâm sàng. Nghiên cứu nhằm tạo ra tri thức mới, khái quát hóa được — những phát hiện nhằm đúng vượt ra ngoài bối cảnh địa phương của bạn. Đánh giá dịch vụ hỏi dịch vụ này hoạt động tốt thế nào ở đây, dùng các chuẩn mà chính dịch vụ đã áp dụng. Kiểm toán lâm sàng so sánh thực hành hiện tại với một chuẩn hiện có, đã thỏa thuận và khép vòng bằng thay đổi. Sự phân biệt này không phải sự câu nệ hàn lâm: nó xác định lộ trình quản trị của bạn. Nghiên cứu liên quan bệnh nhân, nhân viên hay dữ liệu của Dịch vụ Y tế Quốc gia (NHS) hầu như luôn cần phê duyệt đạo đức chính thức; hầu hết đánh giá dịch vụ và kiểm toán thì không. Phân loại sai nghiên cứu thành đánh giá để né phê duyệt là một thất bại quản trị nghiêm trọng.

Ở Anh, quản trị nghiên cứu chạy qua Cơ quan Nghiên cứu Y tế (HRA), một cơ quan độc lập tương đối của Bộ Y tế và Chăm sóc Xã hội. HRA bảo vệ và thúc đẩy lợi ích của người tham gia và điều phối phê duyệt để một nghiên cứu được xem xét một lần cho cả nước. Rà soát đạo đức do Ủy ban Đạo đức Nghiên cứu (REC) thực hiện — tương đương Vương quốc Anh của hội đồng đạo đức nghiên cứu — xét một nghiên cứu có đạo đức, tương xứng và an toàn cho người tham gia hay không. Hồ sơ được nộp qua Hệ thống Đơn Nghiên cứu Tích hợp (IRAS), một cổng trực tuyến duy nhất định tuyến dự án của bạn tới các REC, Phê duyệt HRA và các cho phép khác nó cần. Các công cụ quyết định trực tuyến của HRA giúp bạn xác định dự án của mình có được coi là nghiên cứu hay không.

Nhiều bằng chứng y tế số nay được xây từ dữ liệu thế giới thực (RWD) — thông tin thu thập ngoài các thử nghiệm có kiểm soát, như hồ sơ sức khỏe điện tử, nhật ký thiết bị, sổ đăng ký và dữ liệu yêu cầu thanh toán — được phân tích để tạo ra bằng chứng thế giới thực (RWE) về cách một can thiệp hoạt động trong điều kiện thông thường. RWE mạnh vì công cụ số tạo ra dữ liệu sử dụng phong phú như sản phẩm phụ, và vì nó phản ánh thực tế lộn xộn mà thử nghiệm thường loại trừ. Nó cũng mong manh: dữ liệu quan sát đầy nhiễu loạn và thiên kiến, nên một so sánh trước-sau ngây thơ có thể nhầm một xu hướng theo mùa hay một thay đổi đồng thời với hiệu ứng của bạn.

Đó là lý do thiết kế đánh giá quan trọng. Thiết kế mạnh nhất cho các tuyên bố nhân quả vẫn là thử nghiệm ngẫu nhiên có đối chứng (RCT), giảm thiên kiến bằng cách phân bổ người tham gia ngẫu nhiên. Bối cảnh số thường ưu tiên các biến thể thực dụng — thử nghiệm ngẫu nhiên theo cụm, và thử nghiệm bậc thang, trong đó các cơ sở chuyển từ đối chứng sang can thiệp theo các đợt ngẫu nhiên, khớp với một triển khai theo giai đoạn bạn vốn định làm. Nơi ngẫu nhiên hóa không khả thi, thiết kế bán thực nghiệm giúp ích: phân tích chuỗi thời gian gián đoạn (ITS) theo dõi một kết quả qua nhiều điểm trước và sau vận hành để phát hiện thay đổi về mức và xu hướng, và thường là thiết kế khả thi tốt nhất cho một thay đổi số toàn hệ thống. So sánh trước-sau đơn giản là yếu nhất và gây hiểu nhầm nhất, vì nó không tách được hiệu ứng của bạn khỏi mọi thứ khác đã thay đổi.

Hai điểm neo nữa định hình công việc. Ngưỡng bằng chứng cho y tế số ở Anh do Khung Tiêu chuẩn Bằng chứng cho Công nghệ Y tế Số đặt ra, do Viện Quốc gia về Chất lượng Y tế và Chăm sóc (NICE) công bố: nó xếp hạng công cụ theo rủi ro tiềm tàng và quy định độ mạnh bằng chứng kỳ vọng cho từng bậc. Và một méo mó dai dẳng cần đề phòng là thiên kiến công bố — xu hướng chia sẻ kết quả dương tính và chôn kết quả âm tính, làm đẹp cả lĩnh vực và để công cụ không hiệu quả lan rộng.

Thực hành tốt nhất#

1. Phân loại dự án của bạn trước khi thiết kế nó. Dùng các công cụ quyết định của HRA để xác định công việc của bạn là nghiên cứu, đánh giá dịch vụ hay kiểm toán, và ghi lại lập luận. Bước duy nhất này đặt lộ trình quản trị, tiến độ và cho phép của bạn. Sai theo hướng lạc quan và bạn có nguy cơ chạy nghiên cứu chưa được phê duyệt trên bệnh nhân; sai theo hướng thận trọng và bạn đè một đánh giá đơn giản bằng nhiều tháng quy trình không cần thiết.

2. Xây đánh giá vào từ đầu, không gắn thêm sau. Quyết định "hiệu quả" nghĩa là gì, và bạn sẽ đo nó thế nào, trong giai đoạn khám phá — trước một dòng mã sản xuất (xem Chủ đề 3.4 — Giai đoạn khám phá). Thu đường cơ sở trước khi vận hành, vì bạn không bao giờ dựng lại được nó sau đó, và gắn công cụ đo cho sản phẩm để phát ra dữ liệu kết quả và sử dụng mà thiết kế của bạn cần. Cải tạo đánh giá lên một dịch vụ đang chạy hầu như luôn cho bằng chứng yếu hơn với chi phí cao hơn, và thường không có đường cơ sở dùng được.

3. Khớp độ nghiêm ngặt với rủi ro và tuyên bố. Một công cụ đặt lịch sắp xếp lại danh sách chờ cần ít trọng lượng bằng chứng hơn một thuật toán phân loại đau ngực. Dùng Khung Tiêu chuẩn Bằng chứng NICE để xác định bậc rủi ro của công cụ, và đưa ra tuyên bố mà bằng chứng của bạn chống đỡ được: nếu bạn có một chuỗi thời gian gián đoạn cho thấy giảm tỷ lệ không đến khám, hãy nói đúng thế — đừng ngụ ý lợi ích tử vong. Tính tương xứng bảo vệ bệnh nhân khỏi rủi ro thiếu bằng chứng và bảo vệ bạn khỏi lãng phí công sức chứng minh quá mức các công cụ rủi ro thấp.

4. Chọn thiết kế mạnh nhất khả thi, và nêu giới hạn của nó. Dùng ngẫu nhiên hóa khi có thể, và cân nhắc thiết kế bậc thang khi triển khai theo giai đoạn làm nhóm đối chứng đồng thời không thể. Khi ngẫu nhiên hóa thực sự không khả thi, ưu tiên chuỗi thời gian gián đoạn hơn trước-sau ngây thơ, và định trước phân tích để chống cám dỗ câu tìm kết quả thuận lợi. Mọi thiết kế có điểm yếu; hãy nói rõ điểm yếu của bạn để người đọc cân nhắc bằng chứng một cách trung thực.

5. Dùng dữ liệu thế giới thực có chủ đích, và xem nhiễu loạn là kẻ thù. Dịch vụ số tạo ra RWD dồi dào, nhưng dồi dào không phải hợp lệ. Lập kế hoạch dữ liệu nào bạn sẽ dùng, chất lượng và độ đầy đủ của nó, và các thiên kiến nó mang, và đưa một nhà phân tích hay nhà phương pháp luận vào sớm thay vì đào nhật ký sau sự việc. Đăng ký trước kết quả và phân tích của bạn nơi có thể để dữ liệu không thể bị tra tấn cho nói điều bạn hy vọng nghe.

6. Hợp tác với những người tạo bằng chứng làm nghề. Các trường đại học, Viện Quốc gia về Nghiên cứu Y tế và Chăm sóc (NIHR), và Mạng lưới Đổi mới Y tế khu vực của bạn — các tổ chức trước đây gọi là Mạng lưới Khoa học Y tế Học thuật (AHSN) — mang đến sự nghiêm ngặt phương pháp, tính độc lập, đường dẫn kinh phí và uy tín bạn không thể sản xuất nội bộ. Đánh giá độc lập có sức nặng lớn hơn nhiều với đơn vị đặt hàng và bác sĩ so với phân tích của chính nhà cung cấp. Thu hút họ sớm, vì thiết kế tốt nhất được đặt trước triển khai, không phải sau (xem Chủ đề 9.0 — Hợp tác với các tổ chức đối tác).

7. Đo kết quả và kinh tế, không chỉ hoạt động. Lượt đăng nhập, lượt nhấp và điểm hài lòng cần nhưng chưa đủ; đơn vị đặt hàng tài trợ kết quả và giá trị. Bất cứ khi nào có thể, gắn đánh giá của bạn với kết quả lâm sàng, tín hiệu an toàn, công bằng qua các nhóm con và hệ quả chi phí, làm việc với các nhà kinh tế y tế để trình bày lợi ích bằng thuật ngữ người ra quyết định dùng (xem Chủ đề 6.1 — Kinh tế học y tế). Luôn phân tách kết quả theo quần thể để một công cụ giúp ích trung bình nhưng gây hại một nhóm con không thể nấp sau giá trị trung bình.

8. Công bố kết quả của bạn — kể cả những kết quả đáng thất vọng. Cam kết trước việc chia sẻ phát hiện, dương hay âm, qua báo cáo, bản in trước, hay bài báo bình duyệt. Công bố kết quả âm tính là nghĩa vụ nghề nghiệp: nó tránh cho các tổ chức khác lặp lại sai lầm của bạn và chống thiên kiến công bố khiến công cụ không hiệu quả sinh sôi. Một văn hóa có thể nói "chúng tôi đã đánh giá cái này và nó không hiệu quả, nên chúng tôi dừng" thì đáng tin hơn, không kém đi.

9. Khép vòng và hành động theo điều bạn học được. Bằng chứng không đổi quyết định nào là lãng phí. Đưa phát hiện trở lại lộ trình, lập luận kinh doanh và quyết định giai đoạn của bạn — mở rộng cái hiệu quả, sửa cái hiệu quả một nửa, và ngừng cái không (xem Chủ đề 8.0 — Triển khai đổi mới theo giai đoạn). Rồi đánh giá lại, vì một công cụ số hiệu quả ở quy mô thí điểm trong một bối cảnh có thể hành xử khác ở quy mô quốc gia hay trong một quần thể khác.

Câu hỏi để thảo luận với nhóm của bạn#

1. Điều chúng ta sắp làm là nghiên cứu, đánh giá dịch vụ hay kiểm toán — và chúng ta tự tin đến đâu vào câu trả lời đó? Đây là câu hỏi đầu tiên vì câu trả lời đặt toàn bộ lộ trình quản trị của bạn, và làm sai có hậu quả nghiêm trọng. Hãy trao đổi các chủ thể dữ liệu của bạn là ai, bạn có ngẫu nhiên hóa gì không, bạn có định tạo tri thức khái quát hóa được không, và bạn có kế hoạch công bố không — tất cả là tín hiệu đẩy một dự án về phía "nghiên cứu". Chống mọi áp lực gắn nhãn một việc là đánh giá chỉ vì lộ trình phê duyệt nhanh hơn; áp lực đó chính là nơi thất bại quản trị bắt đầu. Dùng công cụ quyết định của HRA cùng nhau, ngay trong phòng, và ghi lại lập luận của bạn và ai đã đồng ý. Một câu trả lời tốt không chỉ là một cái nhãn mà là một phán đoán có tài liệu, bảo vệ được mà các đồng nghiệp quản trị thông tin và an toàn lâm sàng của bạn đã thấy. Nếu bạn thực sự không chắc, bước đi trung thực là hỏi HRA hoặc văn phòng R&D của bạn thay vì đoán theo hướng hợp với tiến độ của bạn.

2. Điều gì được coi là bằng chứng thuyết phục rằng cái này hiệu quả — và với ai? Các đối tượng khác nhau đòi bằng chứng khác nhau: bác sĩ muốn dữ liệu an toàn và kết quả, đơn vị đặt hàng muốn chi phí và giá trị, cơ quan quản lý muốn thấy bậc NICE phù hợp được đáp ứng, và bệnh nhân muốn biết nó an toàn và công bằng cho những người như họ. Tranh luận "hiệu quả" thực sự nghĩa là gì với công cụ của bạn, và kết quả nào sẽ khiến bạn dừng — vì một nhóm không nêu được điều kiện dừng thực ra không đang đánh giá. Cân nhắc thiết kế nào khả thi với kế hoạch triển khai, dữ liệu và ngân sách của bạn, và hãy trung thực về sự đánh đổi giữa nghiêm ngặt và tốc độ. Thảo luận bạn có cần đánh giá độc lập để được tin không, và nếu vậy ai nên làm. Một câu trả lời tốt gọi tên người ra quyết định, các kết quả sẽ làm họ chuyển, thiết kế có thể tạo ra các kết quả đó một cách đáng tin, và ngưỡng ở đó bạn sẽ kết luận công cụ đã thất bại.

3. Chúng ta sẽ xử lý một kết quả âm tính hay đáng thất vọng thế nào? Hãy hỏi điều này trước khi bạn có kết quả, vì câu trả lời trung thực hơn nhiều khi ở trước. Khám phá bạn sẽ làm gì nếu đánh giá cho thấy không có lợi ích, hoặc lợi ích cho đa số nhưng hại cho một nhóm con bị loại trừ, và ai cần nghe điều đó. Làm lộ những áp lực thật: chi phí chìm, quan hệ nhà cung cấp, lo ngại danh tiếng, và các khuyến khích sự nghiệp khiến người ta muốn tin tốt. Thảo luận cam kết trước của bạn về việc công bố bất kể kết quả, và quản trị nào sẽ giữ bạn với lời hứa đó khi kết quả gây xấu hổ. Một câu trả lời tốt xem một đánh giá được thực hiện tốt cho kết quả âm tính là thành công của quy trình, không phải thất bại của nhóm — và có kế hoạch cụ thể để ngừng sử dụng một cách tử tế, truyền thông thẳng thắn và bảo vệ những người đã đưa ra phát hiện trung thực.

4. Chúng ta phải thu thập và gắn công cụ đo gì trước khi vận hành — và chúng ta đã thực sự xây nó vào chưa? Một đánh giá chỉ tốt bằng đường cơ sở và dữ liệu nó rút được, và cả hai rẻ hơn nhiều khi bảo đảm trước khi ra mắt hơn sau. Làm việc qua trạng thái "trước" bạn cần — tỷ lệ nhập viện, thời gian chờ, tỷ lệ sai sót, chi phí lộ trình hiện tại — và xác nhận nó đang được ghi ngay bây giờ, phân tách theo các nhóm con bạn quan tâm, vì bạn không bao giờ dựng lại được đường cơ sở đã không thu. Kiểm tra liệu chính sản phẩm có phát ra dữ liệu kết quả và sử dụng mà thiết kế bạn chọn cần, hay việc gắn công cụ đo đó vẫn là điều ước trong backlog. Tranh luận căng thẳng về thời điểm: áp lực ra mắt thường tước bỏ đo lường để kịp ngày, và mỗi lần cắt như vậy lặng lẽ làm yếu bằng chứng bạn sau này sẽ bị đòi. Mời một nhà phân tích hay nhà phương pháp luận khi thiết kế còn mềm, không phải khi nhật ký đã chảy. Một câu trả lời tốt là danh sách cụ thể về cái gì được thu, từ khi nào, ở độ chi tiết nào, và ai đã xác nhận nó đang chạy — không phải ý định sẽ giải quyết sau triển khai.

5. Dữ liệu chúng ta định dựa vào tốt đến đâu, và điều gì có thể gây nhiễu kết luận của chúng ta? Dữ liệu thế giới thực dồi dào nhưng hiếm khi sạch, và một biểu đồ hợp lý có thể che giấu tính mùa vụ, một thay đổi dịch vụ đồng thời, hồi quy về trung bình, hay một dịch chuyển mã hóa chẳng liên quan gì đến công cụ của bạn. Chất vấn nguồn gốc, độ đầy đủ và chất lượng của mọi nguồn bạn định dùng, và gọi tên thiên kiến mỗi nguồn mang — ai thiếu trong hồ sơ điện tử, trường nào không đáng tin, một mã được áp dụng nhất quán đến đâu. Hỏi điều gì khác đã thay đổi trong cùng khoảng thời gian với vận hành của bạn, vì một chuỗi thời gian gián đoạn hay trước-sau bỏ qua những sự kiện đó sẽ ghi công công cụ của bạn cho hiệu ứng của người khác. Quyết định trước so sánh hay thiết kế nào cho phản thực công bằng nhất, và định trước phân tích để dữ liệu không thể bị lặng lẽ nắn lại để làm đẹp kết quả. Một câu trả lời tốt cho thấy bạn đã vạch trung thực điểm yếu của dữ liệu và chọn một thiết kế có thể sống sót khi người hoài nghi kéo từng cái.

6. Ai nên chạy đánh giá này, và nó cần độc lập đến đâu để được tin? Tự chấm bài mình là cách nhanh nhất để phát hiện đáng tin bị gạt bỏ, nên hãy quyết định sớm liệu phân tích của nhà cung cấp hay nội bộ có thuyết phục được đối tượng bạn thực sự cần chuyển hay không. Cân nhắc chi phí và thời gian thu hút một nhóm học thuật được NIHR hỗ trợ, một trường đại học, hay một Mạng lưới Đổi mới Y tế so với giá trị danh tiếng và thương mại của bằng chứng độc lập, có thể công bố. Thảo luận xung đột lợi ích nằm ở đâu — người xây hay mua công cụ hiếm khi là người đúng để đánh giá nó có hiệu quả không — và bạn sẽ cách ly đánh giá khỏi áp lực tạo tin tốt thế nào. Cân nhắc đối tác mang gì ngoài tính độc lập: sự nghiêm ngặt phương pháp, đường dẫn kinh phí và vị thế với đơn vị đặt hàng và bác sĩ mà bạn không thể sản xuất nội bộ. Một câu trả lời tốt khớp mức độc lập với rủi ro và sự hoài nghi của người ra quyết định, và bảo đảm quan hệ đối tác đó trước khi thiết kế được cố định thay vì sau khi kết quả gây thất vọng.

Trong thực tế: một ví dụ về y tế và chăm sóc#

Một hệ thống chăm sóc tích hợp (ICS) đặt hàng một ứng dụng theo dõi từ xa cho bệnh nhân suy tim mạn tính, hy vọng cắt giảm nhập viện ngoài kế hoạch. Slide của nhà cung cấp cho thấy giảm 30% ở nơi khác, và có áp lực triển khai nhanh khắp mười hai quận trước mùa đông.

Trưởng bộ phận triển khai số dừng lại để phân loại công việc. Vì ICS muốn phát hiện khái quát hóa được và định công bố, và vì nó sẽ phân tích dữ liệu bệnh nhân nhận dạng được cho một mục đích mới, đây là nghiên cứu, không phải đánh giá dịch vụ — nên cần một đơn IRAS và rà soát REC. Thay vì xem đó là chướng ngại, trưởng nhóm tiếp cận Mạng lưới Đổi mới Y tế khu vực và nhóm nghiên cứu được NIHR hỗ trợ của một trường đại học địa phương, những người giúp thiết kế nghiên cứu và cùng viết đơn. Thay vì bật mọi thứ cùng lúc, họ áp dụng thiết kế bậc thang: mười hai quận vận hành theo các đợt ngẫu nhiên trong chín tháng, để mọi quận cuối cùng đều có ứng dụng trong khi khởi đầu so le cung cấp một so sánh công bằng. Một đường cơ sở về tỷ lệ nhập viện, phân tách theo mức độ thiếu thốn và sắc tộc, được thu trước đợt đầu tiên.

Dùng Khung Tiêu chuẩn Bằng chứng NICE, nhóm xếp công cụ vào một bậc mang rủi ro lâm sàng và đặt kỳ vọng bằng chứng tương ứng, đăng ký trước tỷ lệ nhập viện, tử vong như tín hiệu an toàn, và chi phí mỗi ca nhập viện tránh được làm kết quả. Chín tháng sau, phân tích giữa kỳ là tỉnh táo: nhập viện tổng thể giảm khiêm tốn, nhưng ở đoàn hệ thiếu thốn nhất — những người dùng ứng dụng ít nhất — không có lợi ích và có sự gia tăng đáng lo về trình diện muộn. Nhóm không chôn điều này. Họ báo cáo với hội đồng ICS, tạm dừng triển khai cho các đoàn hệ đó, thiết kế lại phần tiếp nhận và thêm hỗ trợ qua điện thoại cho bệnh nhân bị loại trừ về số, và công bố cả thiếu hụt lẫn thiết kế lại. Kết quả là một dịch vụ thực sự giúp ích và một hội đồng ra quyết định tin bằng chứng vì đã thấy nhóm nói sự thật khi nó đau.

Góc nhìn theo khu vực#

Công ty khởi nghiệp#

Một công ty y tế số nhỏ sống hay chết nhờ bằng chứng, nhưng hiếm khi có tiền hay phương pháp luận nội bộ để tự tạo ra. Con đường đáng tin nhanh nhất của bạn là hợp tác: một cộng tác viên học thuật do NIHR tài trợ hoặc một đánh giá thế giới thực của Mạng lưới Đổi mới Y tế cho bạn phát hiện độc lập mà nhà đầu tư và người mua NHS thực sự tin, hơn nhiều một sách trắng tự công bố. Hãy kỷ luật về tuyên bố tương xứng — tuyên bố quá mức để giành một thí điểm là cách nhanh nhất để trượt một đánh giá sau và mất danh tiếng. Xây thu thập dữ liệu vào kiến trúc sản phẩm từ ngày đầu, vì cải tạo nó sau vòng hạt giống đắt và cho cơ sở bằng chứng nghèo hơn.

Doanh nghiệp nhỏ#

Một nhà cung cấp nhỏ đã thành lập — một phòng khám bác sĩ gia đình, một hiệu thuốc cộng đồng, một nhà dưỡng lão, hay một phòng khám đơn lẻ áp dụng công cụ số — được kỳ vọng đánh giá điều nó triển khai, nhưng không có văn phòng R&D, không có nhà phương pháp luận, và hầu như không có tay rảnh. Bước đi thực tế của bạn không phải chạy một thử nghiệm mà chạy một đánh giá dịch vụ có kỷ luật: thu một đường cơ sở đơn giản trước khi bật, thỏa thuận một nhúm thước đo kết quả trung thực, và ghi lại điều thực sự thay đổi cho bệnh nhân của bạn. Dựa mạnh vào hạ tầng chung bạn không phải xây — Mạng lưới Đổi mới Y tế, một trường đại học địa phương, hoặc một liên đoàn hay mạng lưới chăm sóc ban đầu có thể gộp dữ liệu và chuyên môn qua nhiều cơ sở nhỏ. Đặc biệt thận trọng khi chấp nhận tuyên bố nổi bật của nhà cung cấp theo giá trị bề mặt khi bạn không thể kiểm tra độc lập, và rõ ràng rằng nghĩa vụ phân loại vẫn áp dụng cho bạn ngay cả ở quy mô nhỏ. Bằng chứng địa phương tương xứng, được ghi chép tốt vừa khả thi vừa đủ để biện minh tiếp tục, điều chỉnh hay bỏ công cụ.

Doanh nghiệp lớn#

Một quỹ NHS lớn hay ICS có văn phòng R&D, bộ máy quản trị thông tin và quan hệ học thuật sẵn có — tài sản mà một công ty khởi nghiệp sẽ thèm — nhưng cũng có quán tính triển khai công cụ toàn quỹ trước khi đánh giá. Thách thức của bạn là biến "đánh giá trước khi mở rộng" thành mặc định, và chống đà của một hợp đồng doanh nghiệp đã ký khi bằng chứng sớm yếu. Dùng quy mô của bạn như lợi thế phương pháp: nhiều cơ sở làm các thiết kế bậc thang và ngẫu nhiên theo cụm khả thi theo cách một phòng khám đơn lẻ không làm được. Đề phòng chính trị nội bộ của kết quả âm tính, nơi một khoản đầu tư lớn tạo khuyến khích mạnh để tuyên bố thành công bất kể.

Chính phủ#

Một cơ quan quốc gia — NHS England, Bộ Y tế và Chăm sóc Xã hội, hay một chính phủ được phân quyền — đặt quy tắc người khác theo, nên chuẩn bằng chứng của nó định hình cả thị trường. Công việc của nó là quản lý các khung (hệ thống quản trị HRA, Khung Tiêu chuẩn Bằng chứng NICE, DTAC) và tài trợ hạ tầng — NIHR, Mạng lưới Đổi mới Y tế, môi trường nghiên cứu đáng tin — cho phép mọi người tạo bằng chứng tốt. Khi chính phủ mua sắm ở quy mô quốc gia, mức cược bằng chứng là to lớn: một triển khai thiếu bằng chứng có thể củng cố tác hại qua hàng triệu công dân và gần như không thể đảo ngược về chính trị. Do đó nó nên tự giữ mình ở ngưỡng cao nhất nó đòi người khác, và công bố các đánh giá của chính mình, gồm cả thất bại, để giữ niềm tin công chúng.

Các kiểu thất bại thường gặp#

• Bằng chứng như nghĩ sau. Triển khai trước rồi hỏi "nó có hiệu quả không?" sau, không thu đường cơ sở — khiến bạn không thể đưa ra bất kỳ tuyên bố nhân quả đáng tin nào.
• Phân loại sai nghiên cứu thành đánh giá. Chọn nhãn "đánh giá" để tránh phê duyệt HRA và REC, phơi bệnh nhân với nghiên cứu chưa phê duyệt và tổ chức của bạn với vi phạm quản trị nghiêm trọng.
• Trước-sau ngây thơ. So sánh hai ảnh chụp và quy mọi thay đổi cho công cụ của bạn, bỏ qua tính mùa vụ, sáng kiến đồng thời và hồi quy về trung bình.
• Chỉ số phù phiếm. Báo cáo đăng nhập, tải xuống và hài lòng trong khi im lặng về kết quả lâm sàng, an toàn, công bằng và chi phí.
• Trung bình che giấu tác hại. Trình bày cải thiện trung bình nổi bật mà không phân tách theo quần thể, che giấu một nhóm con công cụ thất bại hay gây hại.
• Tự chấm bài mình. Chỉ dựa vào bằng chứng do nhà cung cấp tạo ra mà không có đánh giá độc lập, nên không đối tượng hoài nghi nào tin.
• Chôn tin xấu. Chỉ công bố phát hiện dương tính, nuôi thiên kiến công bố và để công cụ không hiệu quả lan khắp hệ thống.
• Tuyên bố quá mức. Kéo một kết quả khiêm tốn, thiết kế yếu thành một tuyên bố lâm sàng mạnh mà bằng chứng không chống đỡ được.

Mô hình trưởng thành#

Danh sách kiểm tra#

• Phân loại dự án là nghiên cứu, đánh giá dịch vụ hay kiểm toán bằng công cụ quyết định HRA, và ghi lại lập luận.
• Nếu là nghiên cứu, lập kế hoạch sớm cho đơn IRAS và rà soát của Ủy ban Đạo đức Nghiên cứu.
• Xác định "hiệu quả" nghĩa là gì, và các kết quả sẽ chứng minh nó, trong giai đoạn khám phá.
• Thu một đường cơ sở — phân tách theo các nhóm con liên quan — trước khi vận hành.
• Xác định bậc rủi ro của công cụ trong Khung Tiêu chuẩn Bằng chứng NICE và khớp độ nghiêm ngặt với nó.
• Chọn thiết kế mạnh nhất khả thi (RCT, bậc thang, hoặc chuỗi thời gian gián đoạn) và ghi lại giới hạn của nó.
• Lập kế hoạch nguồn dữ liệu thế giới thực, chất lượng và thiên kiến; định trước phân tích.
• Thu hút một đối tác độc lập (NIHR, đại học, Mạng lưới Đổi mới Y tế) nơi uy tín hoặc kinh phí đòi hỏi.
• Bao gồm kết quả lâm sàng, tín hiệu an toàn, công bằng và chi phí — không chỉ chỉ số hoạt động.
• Cam kết trước việc công bố kết quả, kể cả âm tính, và nêu nơi công bố.
• Xác định điều kiện dừng và kế hoạch ngừng sử dụng tử tế trước khi bạn bắt đầu.
• Đưa phát hiện trở lại lộ trình, lập luận kinh doanh và quyết định giai đoạn.

Nguồn chính#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — công cụ quyết định "Is my study research?", HRA Approval và hướng dẫn đạo đức nghiên cứu.
• Integrated Research Application System (IRAS) — cổng duy nhất cho đơn nghiên cứu y tế và chăm sóc xã hội của Vương quốc Anh.
• National Institute for Health and Care Research (NIHR) — kinh phí, hỗ trợ đánh giá và hạ tầng nghiên cứu.
• Health Innovation Network (trước đây là Academic Health Science Networks) — hỗ trợ đánh giá thế giới thực và áp dụng.
• Medicines and Healthcare products Regulatory Agency (MHRA) — hướng dẫn dữ liệu thế giới thực và phần mềm/AI như một thiết bị y tế.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (hướng dẫn khung).
• EQUATOR Network — hướng dẫn báo cáo (CONSORT, STROBE, TRIPOD) cho báo cáo nghiên cứu minh bạch.

Tài liệu tham khảo#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/