Chủ đề 1.3 — Quyết định dựa trên bằng chứng

Tóm lại trong một câu: Ra quyết định dựa trên bằng chứng nghĩa là quyết định xây dựng, mua và mở rộng cái gì dựa trên sức mạnh của bằng chứng tốt nhất hiện có — lâm sàng và triển khai — tương xứng với rủi ro, và ghi lại lập luận để nó tồn tại lâu hơn những người đã đưa ra quyết định.

Vì sao điều này quan trọng trong y tế và chăm sóc#

Ở hầu hết các lĩnh vực, một quyết định sản phẩm tồi làm tốn tiền. Trong y tế và chăm sóc, nó có thể làm tốn an toàn, công bằng và niềm tin — và nó được đưa ra bằng công quỹ theo nghĩa vụ luật định. Quyết định triển khai một công cụ chẩn đoán số chưa từng được đánh giá không phải là một canh bạc thương mại; đó là một rủi ro lâm sàng. Điều này nâng yêu cầu về bằng chứng lên rất xa so với "bản demo trông ổn".

Lĩnh vực này cũng đặc thù ở chỗ nó đòi hỏi hai loại bằng chứng cùng lúc. Bằng chứng lâm sàng trả lời "công nghệ này có hiệu quả không, và nó có an toàn và hiệu quả cho bệnh nhân không?" Bằng chứng triển khai trả lời "chúng ta có đang xây đúng thứ và xây tốt không, và nó có được chấp nhận và sử dụng không?" Một dịch vụ có thể vững về mặt lâm sàng nhưng thất bại về triển khai (không ai dùng), hoặc thành công về triển khai nhưng chưa được chứng minh về lâm sàng (dùng rộng rãi, chưa từng được thẩm định). Các lãnh đạo cấp cao phải đòi hỏi cả hai và không bao giờ để cái này đội lốt cái kia. Và vì các quyết định y tế thu hút sự soi xét — từ cơ quan quản lý, công chúng và bác sĩ — nên hồ sơ về lý do bạn quyết định cũng quan trọng không kém chính quyết định.

Các khái niệm cốt lõi#

Tháp bằng chứng. Y học dựa trên bằng chứng xếp hạng các thiết kế nghiên cứu theo mức độ chúng kiểm soát thiên lệch: ở đỉnh là các tổng quan hệ thống và phân tích gộp của các thử nghiệm ngẫu nhiên có đối chứng (RCT); rồi đến các RCT riêng lẻ; rồi các nghiên cứu thuần tập và bệnh-chứng; rồi các loạt ca bệnh; và ở nền là ý kiến chuyên gia và giai thoại. Tháp này là một chỉ dẫn, không phải một chiếc áo bó — nhưng nó rèn cho bạn thói quen nhận ra khi một tuyên bố dựa trên giai thoại được khoác áo bằng chứng.

Khung Tiêu chuẩn Bằng chứng (ESF) của NICE cho công nghệ y tế số. NICE, cùng NHS England và các đối tác, đã tạo ra ESF để nêu rõ mức bằng chứng mà một công nghệ y tế số (DHT) cần, tương xứng với chức năng và rủi ro nó mang. Khung phân tầng DHT theo rủi ro tiềm tàng — từ các dịch vụ hệ thống đơn giản, qua các công cụ cung cấp thông tin hoặc dẫn dắt chăm sóc, đến những công cụ trực tiếp chẩn đoán hoặc điều trị — và chỉ rõ bằng chứng về hiệu quả lâm sàng và kinh tế được kỳ vọng ở mỗi tầng. Rủi ro lâm sàng càng cao, bằng chứng yêu cầu càng mạnh. ESF là điểm tham chiếu cho các bên đặt hàng và nhà phát triển khi quyết định một DHT đã sẵn sàng hay chưa.

Dữ liệu thực tế và bằng chứng thực tế. Dữ liệu thực tế (RWD) đến từ chăm sóc thường quy — hồ sơ sức khỏe điện tử, sổ đăng ký, kết quả do bệnh nhân báo cáo, dữ liệu từ xa của thiết bị — chứ không phải từ các thử nghiệm có kiểm soát. Được phân tích tốt (qua các nghiên cứu quan sát triển vọng, thử nghiệm thực dụng, hoặc phân tích cẩn thận hồ sơ sức khỏe điện tử), nó trở thành bằng chứng thực tế (RWE) về cách một công nghệ hoạt động trong thực hành. RWE thiết yếu cho các công nghệ có khả năng học hoặc thay đổi (AI, thiết bị đeo), nơi một thử nghiệm một lần không thể nắm bắt hành vi liên tục, nhưng nó mang rủi ro nhiễu cần được xử lý trung thực.

Bằng chứng lâm sàng so với bằng chứng triển khai. Hãy giữ chúng trên các trục riêng. Bằng chứng lâm sàng dùng tháp bằng chứng ở trên và ESF: hiệu lực, an toàn, hiệu quả. Bằng chứng triển khai dùng phân tích sản phẩm và dịch vụ: dịch vụ có dễ dùng không, có được chấp nhận không, có giúp người dùng hoàn thành nhiệm vụ không, có giảm nhu cầu thất bại không? Cần cả hai; gộp chúng lại là một sai lầm kinh điển (một con số sử dụng cao không phải là bằng chứng lâm sàng).

Các thiết kế đánh giá. Một mô hình logic (hay lý thuyết về sự thay đổi) làm rõ cách các đầu vào và hoạt động được kỳ vọng tạo ra đầu ra và kết quả — đó là bản đồ mà mọi đánh giá kiểm nghiệm. Một RCT cho câu trả lời nhân quả mạnh nhất nhưng chậm, tốn kém, và đôi khi không thực tế hoặc phi đạo đức đối với một dịch vụ thay đổi nhanh. Đánh giá thực dụng — thử nghiệm thực dụng, chuỗi thời gian gián đoạn, trước/sau có đối chứng, đánh giá dịch vụ phương pháp hỗn hợp — đánh đổi một phần độ chắc chắn lấy tốc độ và sự phù hợp với thực tế. Hãy chọn thiết kế tương xứng với rủi ro và quyết định đang bàn.

Thử nghiệm A/B và phân tích. Với các câu hỏi rủi ro thấp hơn về phía triển khai (cách diễn đạt nào làm tăng tỷ lệ đến khám? luồng nào giảm tỷ lệ bỏ dở?), các thử nghiệm trực tuyến có kiểm soát (A/B) cho bằng chứng triển khai nhân quả, nhanh. Chúng mạnh trong tối ưu hóa nhưng không bao giờ được dùng để thực hiện các thay đổi lâm sàng chưa được đánh giá, và phải tôn trọng ranh giới đồng ý và quản trị thông tin.

Các quyết định HiPPO. "HiPPO" — Ý kiến của Người được trả lương cao nhất (Highest-Paid Person's Opinion) — gọi tên kiểu thất bại trong đó thâm niên lấn át bằng chứng. Các nền văn hóa dựa trên bằng chứng làm cho việc hỏi bất kỳ ai trong phòng "dữ liệu cho thấy gì?" trở nên an toàn và bình thường, và xem linh cảm của cấp cao là một giả thuyết cần kiểm chứng, không phải một kết luận.

Hồ sơ quyết định. Một hồ sơ quyết định (hay nhật ký quyết định / bản ghi quyết định kiến trúc) ghi lại ngắn gọn: quyết định, các phương án đã cân nhắc, bằng chứng đã xem xét, ai quyết định và khi nào. Nó làm cho lập luận có thể kiểm toán, tồn tại qua sự thay đổi nhân sự, và ngăn cùng một cuộc tranh luận bị chạy lại mỗi quý.

Thực hành tốt nhất#

1. Điều chỉnh sức mạnh của bằng chứng theo mức độ rủi ro. Dùng các tầng ESF của NICE làm thước đo: một công cụ hệ thống rủi ro thấp cần bằng chứng nhẹ; một công cụ chẩn đoán hoặc dẫn dắt điều trị cần bằng chứng hiệu quả lâm sàng chất lượng cao. Sự tương xứng cho phép bạn đi nhanh với cái an toàn và chậm với cái nguy hiểm, thay vì áp dụng một chuẩn cho mọi thứ.

2. Đòi hỏi bằng chứng lâm sàng và triển khai, và không bao giờ nhầm lẫn chúng. Với mọi khoản đầu tư đáng kể, hãy đặt hai câu hỏi riêng — "nó có hiệu quả và an toàn về lâm sàng không?" và "nó có dễ dùng và được chấp nhận không?" — và yêu cầu bằng chứng cho từng câu. Số liệu chấp nhận không thay thế cho thẩm định lâm sàng, và một thử nghiệm dương tính không bảo đảm việc sử dụng trong thực tế.

3. Bắt đầu mọi sáng kiến bằng một mô hình logic. Trước khi xây dựng, hãy viết ra bạn tin can thiệp sẽ tạo ra kết quả mong muốn như thế nào. Điều này phơi bày sớm các giả định chưa kiểm chứng, xác định các thước đo quan trọng, và cho đánh giá sau này của bạn một thứ cụ thể để kiểm nghiệm.

4. Dùng bằng chứng thực tế cho các công nghệ học hoặc tồn tại lâu dài. Với AI, thuật toán và các dịch vụ tồn tại lâu, hãy bổ sung hoặc nối tiếp các thử nghiệm ban đầu bằng việc giám sát có cấu trúc dữ liệu thường quy — thiết kế quan sát triển vọng, đánh giá thực dụng — để bạn biết hiệu suất giữ vững ra sao trong thực hành và có thể phát hiện sự trôi dạt.

5. Thử nghiệm với các câu hỏi triển khai; đánh giá các câu hỏi lâm sàng. Dùng thử nghiệm A/B và phân tích thoải mái cho tối ưu hóa triển khai (cách diễn đạt, luồng, lời nhắc), trong giới hạn quản trị thông tin và sự đồng ý. Dành đánh giá chính thức (thử nghiệm, nghiên cứu thực dụng) cho các câu hỏi về tác dụng lâm sàng. Đưa mỗi câu hỏi đến đúng phương pháp.

6. Loại bỏ các quyết định HiPPO bằng văn hóa, không chỉ bằng quy trình. Làm cho việc yêu cầu bất kỳ người ra quyết định nào cung cấp bằng chứng trở nên được chấp nhận một cách rõ ràng, định khung quan điểm của cấp cao như các giả thuyết, và cam kết trước bằng chứng nào sẽ khiến bạn đổi ý. Một nhóm có thể an toàn thách thức thâm niên sẽ ra quyết định tốt hơn.

7. Ghi lại các quyết định và bằng chứng của chúng. Giữ một nhật ký quyết định gọn nhẹ cho mọi lựa chọn đáng kể — cái gì, vì sao, bằng chứng nào, ai, khi nào. Điều này tạo khả năng kiểm toán cho cơ quan quản lý và công chúng, ngăn việc tranh cãi lại vô tận, và bảo tồn trí nhớ tổ chức qua sự xáo trộn nhân sự.

8. Chú ý đến đạo đức dữ liệu. Công việc bằng chứng sử dụng dữ liệu bệnh nhân; hãy xem tính hợp pháp, sự đồng ý, tính tương xứng và sự công bằng là các ràng buộc thiết kế. Đề phòng các bộ dữ liệu thiên lệch củng cố bất bình đẳng, tôn trọng nghĩa vụ bảo mật, và bảo đảm các thực hành bằng chứng của bạn tự chúng vượt qua được sự soi xét của công chúng.

Câu hỏi để thảo luận với nhóm của bạn#

1. Với quyết định quan trọng nhất gần đây của chúng ta, chúng ta có thể chỉ ra cả bằng chứng lâm sàng lẫn bằng chứng triển khai — được giữ riêng biệt — hay một trong hai đã lặng lẽ thay thế cho cái kia? Câu hỏi này kiểm tra sự khẳng định của chủ đề rằng bằng chứng lâm sàng ("nó có hiệu quả và an toàn không?") và bằng chứng triển khai ("nó có dễ dùng và được chấp nhận không?") nằm trên các trục riêng và việc gộp chúng là một sai lầm kinh điển, nguy hiểm. Nó quan trọng vì một dịch vụ có thể vững về lâm sàng nhưng không được dùng, hoặc được dùng nhiều nhưng chưa được thẩm định lâm sàng, và trong y tế và chăm sóc, nhầm một con số sử dụng cao với bằng chứng lâm sàng có thể đặt bệnh nhân vào rủi ro trong khi trông như thành công. Căng thẳng cần nêu ra là bằng chứng triển khai thì nhanh, rẻ và dễ chiều lòng — các bảng điều khiển phân tích đầy lên nhanh chóng — trong khi bằng chứng lâm sàng thì chậm, tốn kém và thường không kết luận được, nên luôn có áp lực để các số liệu chấp nhận gánh vác lập luận. Hãy lấy một bài trình hội đồng hoặc hồ sơ đầu tư thực và kiểm toán nó: hai loại bằng chứng có được tách riêng không, mỗi loại có thực sự hiện diện không, và tuyên bố lâm sàng có dựa vào thứ gì cao hơn bản demo của nhà cung cấp hay một nghiên cứu một địa điểm không? Một câu trả lời tốt, trung thực xác định một quyết định cụ thể, thừa nhận chỗ một loại bằng chứng còn mỏng hoặc vắng mặt, và cam kết đòi hỏi rõ ràng và riêng biệt cả hai trong các lựa chọn đáng kể sau này thay vì để một con số sử dụng mạnh trấn an mọi người.

2. Ngưỡng bằng chứng của chúng ta thực sự tương xứng đến đâu — chúng ta có đang đòi các thử nghiệm tiêu chuẩn vàng cho những thay đổi rủi ro thấp trong khi cho qua các công cụ rủi ro cao hơn với bằng chứng mỏng không? Chủ đề định khung sự tương xứng qua các tầng ESF của NICE: bằng chứng nhẹ cho một công cụ hệ thống rủi ro thấp, bằng chứng hiệu quả lâm sàng chất lượng cao cho một công cụ chẩn đoán hoặc dẫn dắt điều trị, nên câu hỏi này kiểm tra liệu tổ chức của bạn có thực sự hiệu chỉnh ngưỡng theo rủi ro hay áp dụng một chuẩn cứng nhắc. Nó quan trọng vì cả hai chiều thất bại đều tốn kém — tê liệt phân tích làm đình trệ một thay đổi nội dung rủi ro thấp hữu ích sau một RCT không cần thiết, trong khi một công cụ AI hỗ trợ quyết định lâm sàng bị soi xét thiếu lọt qua nhờ một bản demo thuyết phục — và mỗi chiều làm xói mòn niềm tin vào văn hóa bằng chứng. Sự đánh đổi cần tranh luận là sự tương xứng đòi hỏi phán đoán và sự tự tin để bảo vệ, khó hơn một quy tắc đồng nhất; một câu "mọi thứ đều cần thử nghiệm" hay "nếu là số thì cứ thí điểm" dễ quản lý hơn nhưng sai. Hãy cùng xem xét hai hoặc ba công nghệ hiện tại hoặc gần đây, đặt mỗi cái vào tầng ESF của nó, và kiểm tra xem bằng chứng bạn đòi hỏi có khớp với tầng đó hay bị chi phối bởi ai đang ủng hộ nó. Một câu trả lời trung thực cho thấy nhóm có thể xác định tầng rủi ro của một công nghệ, thừa nhận chỗ ngưỡng đã bị đặt sai theo cả hai hướng, và xem sự tương xứng là một chuẩn rõ ràng, bảo vệ được chứ không phải bản năng.

3. Về mặt văn hóa, hỏi người cấp cao nhất trong phòng "bằng chứng đâu?" an toàn đến mức nào — và lần gần nhất chúng ta xem linh cảm của một lãnh đạo là giả thuyết cần kiểm chứng thay vì một quyết định là khi nào? Câu hỏi này đối đầu trực tiếp với kiểu thất bại HiPPO, nơi ý kiến của người được trả lương cao nhất lấn át bằng chứng, và kiểm tra liệu cam kết đã tuyên bố của bạn với bằng chứng có sống sót qua va chạm với thứ bậc và bản demo của nhà cung cấp đã gây ấn tượng với một giám đốc được kính trọng hay không. Nó quan trọng vì trong y tế và chăm sóc, một quyết định dựa trên demo để triển khai một công cụ chưa được đánh giá không phải là canh bạc thương mại mà là rủi ro an toàn lâm sàng và tiền công, và khoảnh khắc sự thách thức trở nên không an toàn là khoảnh khắc bằng chứng ngừng chi phối các quyết định. Căng thẳng thực sự là an toàn tâm lý không thể bị bắt buộc bằng chính sách; nó được xây dựng khi các lãnh đạo cấp cao công khai mời gọi sự thách thức, định khung quan điểm của chính họ như giả thuyết, và cam kết trước bằng chứng nào sẽ khiến họ đổi ý — những hành vi gây cảm giác phơi bày và dễ bị bỏ qua dưới áp lực thời gian. Hãy dựa cuộc trò chuyện trên những chi tiết cụ thể: nhớ lại một quyết định gần đây được thúc đẩy bởi thâm niên hoặc sự nhiệt tình nhiều hơn dữ liệu, và hỏi có ai đã thách thức nó không, điều đó có an toàn không, và một hồ sơ quyết định sẽ ghi lại điều gì. Một câu trả lời tốt thẳng thắn về nơi thứ bậc hiện đang thắng, gọi tên những hành vi cụ thể mà các lãnh đạo sẽ áp dụng để biến thách thức thành bình thường, và ghép cam kết văn hóa với nhật ký quyết định gọn nhẹ giúp lập luận có thể kiểm toán và ngăn cùng một cuộc tranh luận bị chạy lại.

4. Với các công nghệ học hoặc tồn tại lâu dài — AI, thuật toán, các dịch vụ tồn tại lâu của chúng ta — làm sao chúng ta thực sự biết hiệu suất của chúng đã trôi dạt kể từ khi chúng ta thẩm định, và ai đang theo dõi? Chủ đề nói rõ rằng một thử nghiệm một lần không thể nắm bắt hành vi liên tục của các công nghệ học hoặc thay đổi, và "đánh giá một lần rồi thôi" là một kiểu thất bại có tên mà thuốc giải là bằng chứng thực tế và giám sát liên tục. Câu hỏi này quan trọng vì mối nguy là thầm lặng: một mô hình AI cảnh báo xấu đi hoặc thuật toán phân loại có thể suy giảm khi cơ cấu ca bệnh, thực hành mã hóa hoặc các đường ống dữ liệu thượng nguồn dịch chuyển, và không như một tính năng hỏng, không có gì rõ ràng thất bại — công cụ vẫn tiếp tục đưa ra các kết quả hợp lý trong khi tỷ lệ cảnh báo sai hoặc bỏ sót của nó lặng lẽ tệ đi. Căng thẳng cần nêu ra là việc giám sát thì tẻ nhạt và không được tài trợ so với sự hào hứng của triển khai: một khi hồ sơ kinh doanh đã được ký và lợi ích đã được ghi sổ, ít tổ chức bố trí nguồn lực cho công việc quan sát triển vọng, các chỉ số trôi dạt, hay người phụ trách có tên xem xét chúng. Hãy chọn một công cụ AI hoặc thuật toán đang chạy và lần theo đời sống sau triển khai của nó một cách cụ thể — dữ liệu thường quy nào đang được theo dõi, so với đường cơ sở nào, theo nhịp nào, và ai sẽ báo cáo một sự suy giảm và lên ai. Một câu trả lời trung thực thừa nhận chỗ việc thẩm định dừng lại lúc đưa vào vận hành, phân biệt những công cụ thực sự cần giám sát liên tục với những công cụ không cần, và cam kết một người phụ trách có tên, một chỉ số và một nhịp rà soát thay vì một ý định mơ hồ là "để mắt tới nó".

5. Khi một quyết định chúng ta đưa ra hôm nay bị chất vấn sau hai năm — bởi một giám đốc mới, một cơ quan quản lý hoặc công chúng — hồ sơ viết tay sẽ thực sự cho thấy gì, và nó có vượt qua được sự soi xét đó không? Chủ đề xem hồ sơ quyết định là hạ tầng cốt lõi: một nhật ký gọn nhẹ về quyết định, các phương án, bằng chứng đã xem xét, ai quyết định và khi nào, được coi trọng vì nó làm cho lập luận có thể kiểm toán, tồn tại qua sự thay đổi nhân sự, và ngăn cùng một cuộc tranh luận bị chạy lại mỗi quý. Câu hỏi này quan trọng vì các quyết định y tế và chăm sóc thu hút sự soi xét của cơ quan quản lý, Nghị viện và công chúng theo cách mà các quyết định thương mại hiếm khi gặp, và ví dụ minh họa trong chủ đề này xoay quanh chính điều đó — hai năm sau, một giám đốc mới chất vấn một công cụ đã triển khai và "hồ sơ trả lời". Căng thẳng thực sự là giữa chi phí nhỏ xíu cho mỗi quyết định của kỷ luật này và áp lực kinh niên để bỏ qua nó: viết ra vì sao bạn quyết định gây cảm giác quan liêu ngay lúc đó, và những người cần hồ sơ nhất là nhân sự tương lai không có mặt trong phòng để đòi nó. Hãy kiểm nghiệm với thực tế bằng cách thử dựng lại lập luận đằng sau một lựa chọn đáng kể được đưa ra mười hai hoặc mười tám tháng trước — bạn có tìm thấy bằng chứng nào đã được cân nhắc và phương án nào đã bị bác không, hay chỉ biết rằng một quyết định đã được đưa ra? Một câu trả lời tốt đối diện với việc các hồ sơ có thực sự được lưu cho các quyết định đáng kể hay chỉ cho những quyết định dễ, chúng có ghi lại bằng chứng và phương án chứ không chỉ kết luận không, và có ai từng đọc lại chúng không — vì một nhật ký không ai đọc, chỉ có kết luận, là màn diễn kiểm toán, không phải trí nhớ tổ chức.

6. Dữ liệu của ai huấn luyện và thẩm định bằng chứng của chúng ta, và chúng ta có tự tin rằng nó sẽ không củng cố bất bình đẳng — hay chúng ta đang xem đạo đức dữ liệu là một mẫu đơn để ký thay vì một ràng buộc thiết kế? Chủ đề khẳng định rằng công việc bằng chứng chạy trên dữ liệu bệnh nhân và rằng tính hợp pháp, sự đồng ý, tính tương xứng và sự công bằng là các ràng buộc thiết kế, không phải giấy tờ, đặc biệt cảnh báo chống lại các bộ dữ liệu thiên lệch củng cố bất bình đẳng và chống lại "đạo đức như giấy tờ" như một kiểu thất bại. Câu hỏi này quan trọng vì một công nghệ được thẩm định trên một dân số không đại diện có thể hoạt động kém hơn với những nhóm vốn đã được phục vụ kém nhất — một mô hình cảnh báo xấu đi hoặc chẩn đoán được huấn luyện ở nơi một số dân tộc, độ tuổi hay bệnh đi kèm bị đại diện thiếu có thể mang thiên lệch đó vào mọi quyết định tương lai, và ở quy mô quốc gia một bộ dữ liệu được chứng thực củng cố bất bình đẳng đó trên toàn hệ thống. Căng thẳng là phân tích công bằng khó và chậm hơn một con số độ chính xác nổi bật: nó đòi hỏi bạn chất vấn ai có trong dữ liệu và ai vắng mặt, tách hiệu suất theo các nhóm con, và đôi khi chấp nhận rằng bằng chứng của bạn yếu hơn cho những dân số mà bạn cần phục vụ nhất. Hãy làm cho nó cụ thể bằng cách lấy một công cụ gần đây hoặc được đề xuất và hỏi nó được xây dựng và thử nghiệm trên hồ sơ của ai, hiệu suất đã từng được xem xét theo nhóm con chưa, và việc phê duyệt quản trị thông tin có đề cập đến sự công bằng hay chỉ xác nhận cơ sở pháp lý. Một câu trả lời trung thực tách sự soi xét đạo đức thực sự khỏi việc đánh dấu ô, thừa nhận chỗ tính đại diện chưa bao giờ được kiểm tra, và xem thiên lệch và công bằng là những câu hỏi mà chính bằng chứng phải trả lời chứ không phải một bước tuân thủ gắn thêm ở cuối.

Trong thực tế: một ví dụ về y tế và chăm sóc#

Một bệnh viện cộng đồng được chào mời một công cụ AI cảnh báo bệnh nhân có nguy cơ xấu đi từ dữ liệu dấu hiệu sinh tồn. Một quyết định HiPPO sẽ triển khai nó vì một giám đốc được kính trọng ấn tượng với bản demo của nhà cung cấp.

Thay vào đó, bệnh viện xem lời chào mời là một giả thuyết. Nó đặt công cụ vào tầng rủi ro ESF của NICE phù hợp với một công nghệ hỗ trợ các quyết định lâm sàng, và yêu cầu nhà cung cấp cung cấp bằng chứng hiệu quả ở mức đó; thứ mạnh nhất được đưa ra là một nghiên cứu nhỏ một địa điểm. Bệnh viện viết một mô hình logic (cảnh báo sớm tốt hơn → leo thang sớm hơn → ít xấu đi có thể tránh hơn) và thiết kế một đánh giá thực dụng: triển khai ở chế độ bóng, trong đó các cảnh báo của công cụ được ghi lại nhưng không được hành động theo, so sánh với kết quả thực tế, cộng với các cuộc phỏng vấn định tính với điều dưỡng về mức độ phù hợp với quy trình làm việc.

Song song, bệnh viện thu thập bằng chứng triển khai: các bác sĩ có thực sự chú ý và tin tưởng các cảnh báo không? Họ chạy các thử nghiệm kiểu A/B về cách trình bày cảnh báo. Các trưởng bộ phận quản trị thông tin và an toàn lâm sàng phê duyệt việc sử dụng dữ liệu và nhật ký mối nguy. Sau ba tháng, RWE cho thấy một cải thiện khiêm tốn nhưng thực sự cùng một tỷ lệ cảnh báo sai chấp nhận được, và bằng chứng triển khai cho thấy các bác sĩ tương tác với các cảnh báo đã được thiết kế lại. Quyết định tiến hành — với triển khai theo giai đoạn và giám sát liên tục — được ghi vào một hồ sơ quyết định trích dẫn bằng chứng đã cân nhắc. Hai năm sau, khi một giám đốc mới chất vấn công cụ, hồ sơ trả lời.

Góc nhìn theo khu vực#

Mọi người đều mang cùng nghĩa vụ điều chỉnh bằng chứng theo rủi ro, nhưng nguồn lực, động cơ và trách nhiệm giải trình xung quanh bằng chứng khác nhau rõ rệt giữa các tổ chức.

Công ty khởi nghiệp#

Ràng buộc của một công ty khởi nghiệp là bằng chứng lâm sàng tiêu chuẩn vàng thì chậm và đắt trong khi thời gian còn tiền (runway) ngắn, nên cám dỗ là bán các số liệu chấp nhận như thể chúng là bằng chứng về tác dụng lâm sàng. Nước đi trung thực là đặt sản phẩm vào đúng tầng ESF của NICE sớm và thẳng thắn với người mua về khoảng trống bằng chứng, dùng một mô hình logic rõ ràng và một đánh giá thực dụng rẻ (một thí điểm chế độ bóng, một chuỗi thời gian gián đoạn tại một địa điểm) để tạo ra bằng chứng thực tế đầu tiên. Hồ sơ quyết định gần như không tốn gì và có giá trị không tương xứng với một nhóm nhỏ, bảo tồn lập luận qua các lần xoay trục nhanh và mang lại cho các nhà đầu tư cẩn trọng và những người đánh giá của NHS một dấu vết kiểm toán. Kỷ luật đem lại lợi ích là cưỡng lại linh cảm HiPPO của nhà sáng lập và xem mọi câu "bản demo được đón nhận tốt" là một giả thuyết cần kiểm chứng.

Doanh nghiệp nhỏ#

Một nhà cung cấp nhỏ đã thành lập — một phòng khám bác sĩ gia đình, một hiệu thuốc cộng đồng, một nhà dưỡng lão, một phòng khám đơn lẻ, một nhà cung cấp công nghệ y tế nhỏ đã qua giai đoạn khởi nghiệp — mang cùng nghĩa vụ điều chỉnh bằng chứng theo rủi ro nhưng có bệnh nhân thật, tiền mặt eo hẹp, và ít hoặc không có năng lực số chuyên trách để làm việc đó. Nước đi thực tế là dựa vào bằng chứng mà người khác đã tạo ra thay vì tự tạo: dùng tầng ESF của NICE và đánh giá DTAC của một công cụ ứng viên như sự tương xứng làm sẵn, yêu cầu nhà cung cấp cung cấp bằng chứng hiệu quả lâm sàng phù hợp với tầng, và từ chối bị thuyết phục bởi một bản demo bóng bẩy mua một sản phẩm chưa được đánh giá. Bằng chứng triển khai là nơi một tổ chức nhỏ thực sự có thể dẫn đầu, vì nó thấy sát bệnh nhân của mình — vài tuần quan sát trung thực về việc nhân viên có thực sự dùng một công cụ không và nó có giảm nhu cầu thất bại không là bằng chứng thực tế trong tầm tay. Một hồ sơ quyết định một dòng — chúng tôi chọn gì, thấy bằng chứng nào, ai quyết định — gần như không tốn gì với một nhóm nhỏ và bảo vệ họ khi một đối tác rời đi hoặc một thanh tra CQC hỏi vì sao. Cái bẫy cần tránh là cho rằng nhỏ thì được miễn ngưỡng bằng chứng; nghĩa vụ với bệnh nhân là như nhau, chỉ có nguồn lực là không.

Doanh nghiệp lớn#

Một bệnh viện NHS hoặc ICS có dữ liệu thường quy, lượng bệnh nhân và năng lực phân tích để thực hiện đánh giá nghiêm túc — và có trách nhiệm giải trình đòi hỏi điều đó, vì triển khai một công cụ chưa được chứng minh ở quy mô lớn đồng thời là rủi ro an toàn lâm sàng và tiền công. Kiểu thất bại mang tính thể chế: một giám đốc được kính trọng ủng hộ một bản demo của nhà cung cấp, hoặc một hồ sơ kinh doanh dựng trên các lợi ích dự kiến mà không ai kiểm tra sau đó. Cách khắc phục là làm cho việc hỏi bất kỳ người ra quyết định nào "bằng chứng đâu?" trở nên an toàn về mặt văn hóa, giữ bằng chứng lâm sàng và triển khai trên các trục riêng trong mọi bài trình hội đồng, và tài trợ giám sát bằng chứng thực tế liên tục cho AI và các dịch vụ tồn tại lâu thay vì thẩm định một lần. Một doanh nghiệp dược hoặc công nghệ y tế lớn mang theo bộ máy thử nghiệm chính thức nhưng phải đề phòng thiên lệch công bố và nhiễu trong bằng chứng thực tế mà họ tạo ra.

Chính phủ#

Một cơ quan quốc gia — NICE, NHS England, DHSC, MHRA, UKHSA — thường đặt ra ngưỡng bằng chứng mà những người khác phải vượt qua, nên phương thức làm việc của nó định hình cả thị trường: ESF, DTAC và quy định về phần mềm như một thiết bị y tế là các công cụ của trách nhiệm giải trình ở quy mô dân số. Các quyết định ở đây thu hút sự soi xét của cơ quan quản lý, Nghị viện và công chúng, nên hồ sơ về lý do một công nghệ được khuyến nghị hoặc mua sắm quan trọng không kém chính quyết định, và sự minh bạch về các giới hạn của bằng chứng là một nghĩa vụ, không phải phép lịch sự. Rủi ro ở quy mô này là bắt buộc một công nghệ trên toàn hệ thống dựa trên bằng chứng mỏng, hoặc ngược lại đòi một RCT cho một thay đổi rủi ro thấp và làm đình trệ đổi mới hữu ích. Cách khắc phục là sự tương xứng được làm rõ trong các chuẩn công bố, cộng với sự chú ý đến đạo đức dữ liệu và công bằng, vì một bộ dữ liệu thiên lệch được chứng thực trên toàn quốc sẽ củng cố bất bình đẳng ở quy mô lớn.

Các kiểu thất bại thường gặp#

• Quyết định dựa trên demo. Mua vì một buổi trình diễn gây ấn tượng với một lãnh đạo cấp cao. Giải pháp: xem các lời chào mời như giả thuyết; đòi bằng chứng phù hợp với tầng.
• Sử dụng bị nhầm là thẩm định. Trích dẫn số liệu chấp nhận làm bằng chứng một công cụ hiệu quả về lâm sàng. Giải pháp: giữ bằng chứng lâm sàng và triển khai trên các trục riêng.
• Đánh giá một lần rồi thôi. Thẩm định một lần và không bao giờ giám sát, đặc biệt với AI trôi dạt. Giải pháp: bằng chứng thực tế và giám sát liên tục.
• Tê liệt phân tích. Đòi một RCT cho một thay đổi nội dung rủi ro thấp. Giải pháp: phương pháp tương xứng; A/B và đánh giá thực dụng khi rủi ro thấp.
• Quyết định không được ghi lại. Không có dấu vết về lý do một lựa chọn được đưa ra, nên nó bị tranh cãi lại và không thể kiểm toán. Giải pháp: một nhật ký quyết định gọn nhẹ.
• Đạo đức như giấy tờ. Xem đạo đức dữ liệu là một mẫu đơn để ký thay vì một ràng buộc thiết kế. Giải pháp: lồng tính hợp pháp, sự đồng ý và công bằng vào thiết kế bằng chứng.

Mô hình trưởng thành#

Danh sách kiểm tra#

• Mỗi công nghệ được đặt vào một tầng rủi ro ESF của NICE, với bằng chứng được đòi hỏi tương ứng.
• Mọi quyết định đáng kể đều có cả bằng chứng lâm sàng và triển khai, được giữ riêng biệt.
• Có một mô hình logic trước khi xây dựng, nêu rõ các kết quả và thước đo.
• Thiết kế đánh giá tương xứng với rủi ro (A/B và thực dụng cho thấp; thử nghiệm/RWE cho cao).
• Bằng chứng thực tế và giám sát được thực hiện cho AI và các dịch vụ tồn tại lâu.
• Hỏi bất kỳ người ra quyết định nào "bằng chứng đâu?" là an toàn về mặt văn hóa.
• Mọi quyết định đáng kể được ghi vào nhật ký quyết định (cái gì, vì sao, bằng chứng, ai, khi nào).
• Việc sử dụng dữ liệu hợp pháp, có đồng ý, tương xứng, và được kiểm tra về thiên lệch và công bằng.

Nguồn chính#

• NICE — Khung Tiêu chuẩn Bằng chứng cho công nghệ y tế số (ESF) (nice.org.uk).
• NHS England / NHSX — Tiêu chí Đánh giá Công nghệ Số (DTAC).
• MHRA — hướng dẫn về phần mềm và AI như một thiết bị y tế.
• Trung tâm Y học Dựa trên Bằng chứng Oxford — Các mức bằng chứng (tháp bằng chứng).
• Kho bạc HM — The Magenta Book (hướng dẫn về đánh giá, mô hình logic và thiết kế đánh giá).
• MRC — khung Phát triển và đánh giá các can thiệp phức tạp.
• Ron Kohavi và cộng sự — Trustworthy Online Controlled Experiments (thử nghiệm A/B).
• Michael Nygard — Architecture Decision Records (mẫu nhật ký quyết định).

Tài liệu tham khảo#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/