Chủ đề 8.4 — Quản trị AI và công nghệ mới nổi

Tóm lại trong một câu: Trí tuệ nhân tạo trong y tế và chăm sóc là một công nghệ học hỏi, phụ thuộc dữ liệu và thường mờ đục, có thể mở rộng cả lợi ích lẫn tác hại nhanh hơn bất kỳ hệ thống nào bạn từng quản trị, nên bạn phải quản trị nó như một vấn đề an toàn lâm sàng, công bằng và niềm tin công chúng suốt toàn bộ vòng đời — không xem nó là phần mềm thông thường bạn mua một lần rồi quên.

Vì sao điều này quan trọng trong y tế và chăm sóc#

Hầu hết phần mềm bạn đã triển khai hành xử ngày mai y như hôm nay: logic của nó được viết ra, hành vi của nó kiểm thử được, và khi sai nó có xu hướng sai theo cách hiển thị, lặp lại được. Trí tuệ nhân tạo phá vỡ cả ba sự thoải mái đó. Nó học các mô thức thống kê từ dữ liệu thay vì làm theo quy tắc một người viết; hành vi của nó phụ thuộc hoàn toàn vào dữ liệu nó được huấn luyện và dữ liệu nó gặp bây giờ; và lập luận của nó thường mờ đục ngay cả với người đã xây nó. Sự kết hợp đó là lý do AI cần kỷ luật quản trị riêng thay vì bị gộp vào một danh sách kiểm tra phần mềm chung.

Trong y tế và chăm sóc, hậu quả không trừu tượng. Một mô hình phát hiện thiếu bệnh ở một nhóm vốn ít được đại diện trong dữ liệu huấn luyện không mắc một sai sót cô lập — nó mắc cùng một sai sót, lặng lẽ, hàng nghìn lần, củng cố và mở rộng bất bình đẳng sức khỏe. Một mô hình tạo sinh bịa ra chi tiết lâm sàng nghe có vẻ hợp lý có thể đánh lừa một bác sĩ bị căng đúng vào khoảnh khắc sai. Một công cụ hoạt động đẹp trong quần thể nó được thẩm định có thể lặng lẽ suy giảm khi quần thể, lộ trình chăm sóc hay dữ liệu thượng nguồn thay đổi. AI có thể mở rộng quyết định tốt và có thể mở rộng thiên kiến, sai sót và tác hại với hiệu quả ngang nhau.

Chủ đề này nói về quản trị rủi ro đó mà không hít thở sự thổi phồng cũng không cấm công nghệ. Nó cố ý không lặp lại các nền tảng đã đặt ở nơi khác: an toàn lâm sàng (xem Chủ đề 1.6 — An toàn lâm sàng và quản lý rủi ro), quản trị thông tin, bảo vệ dữ liệu và an ninh mạng (xem Chủ đề 1.7 — Quản trị thông tin, bảo vệ dữ liệu và an ninh mạng), và ra quyết định dựa trên bằng chứng (xem Chủ đề 1.3 — Quyết định dựa trên bằng chứng). Nó neo vào chúng, và thêm điều đặc thù cho hệ thống học hỏi. Xem nó là phần mở rộng hình dạng AI của đảm bảo hiện có của bạn, và là người anh em được quản trị của việc triển khai đổi mới theo giai đoạn (xem Chủ đề 8.0 — Triển khai đổi mới theo giai đoạn).

Các khái niệm cốt lõi#

Trí tuệ nhân tạo và học máy. Với một nhà lãnh đạo, sự phân biệt thực tế là: hầu hết AI trong y tế và chăm sóc hôm nay là học máy — hệ thống suy ra mô thức từ ví dụ thay vì thực thi quy tắc viết tay. Đây là lý do dữ liệu là sản phẩm cũng nhiều như mã: đổi dữ liệu huấn luyện và bạn đổi hành vi. Nó cũng nghĩa là một mô hình không "biết" điều gì; nó ước tính, và nó có thể sai một cách tự tin. Hiểu điều này ở mức khái niệm là đủ để đặt đúng câu hỏi quản trị; bạn không cần đọc toán học.

Phần mềm như một Thiết bị Y tế (SaMD) và MHRA. Khi phần mềm có mục đích y tế — chẩn đoán, tầm soát, phân loại, tính liều, dự đoán xấu đi — nó rất thường là thiết bị y tế theo luật, bất kể chạy trên điện thoại hay máy chủ. Phần mềm y tế loại này, gọi là Phần mềm như một Thiết bị Y tế (SaMD), được quản lý ở Vương quốc Anh bởi Cơ quan Quản lý Thuốc và Sản phẩm Chăm sóc Sức khỏe (MHRA). Nếu bạn đang đặt hàng hay xây một công cụ AI có mục đích lâm sàng, câu hỏi quản trị đầu tiên là liệu nó có phải thiết bị được quản lý và, nếu vậy, liệu nó có giữ dấu phù hợp hợp lệ. Làm sai điều này không phải chuyện kỹ thuật; triển khai một thiết bị y tế chưa đăng ký là bất hợp pháp và không an toàn.

AI Airlock. MHRA đã thiết lập một hộp cát quản lý gọi là AI Airlock để làm việc qua cách AI như một thiết bị y tế nên được quản lý trong một bối cảnh có kiểm soát, được giám sát. Một hộp cát quản lý cho phép cơ quan quản lý và một số ít nhà phát triển xem xét các câu hỏi khó, mới — ví dụ cách thẩm định một mô hình cập nhật theo thời gian — dưới sự giám sát, trước khi quy tắc chung được đặt. Hãy tỉnh táo về điều này là gì: Airlock là môi trường học hỏi cho cơ quan quản lý và một nhúm người tham gia, không phải lộ trình phê duyệt nhanh, và việc gắn với nó không có nghĩa một sản phẩm được phê duyệt cho sử dụng lâm sàng chung.

Thiên kiến thuật toán và công bằng. Thiên kiến thuật toán là xu hướng một hệ thống tạo ra kết quả bất công có hệ thống cho các nhóm cụ thể. Trong y tế và chăm sóc nguồn phổ biến nhất của nó là dữ liệu huấn luyện: nếu một nhóm bị đại diện thiếu, gắn nhãn sai, hay đo bằng công cụ thiên kiến, mô hình học cách phục vụ nhóm đó tệ hơn. Vì mô hình sau đó áp dụng điều này ở quy mô lớn và với vẻ khách quan, AI thiên kiến có thể nới rộng chính những bất bình đẳng mà tổ chức của bạn có nghĩa vụ luật định phải giảm.

Khả năng giải thích và hộp đen. Trí tuệ nhân tạo có thể giải thích liên quan đến việc một con người có thể hiểu vì sao một mô hình tạo ra một đầu ra nhất định. Nhiều mô hình hiệu suất cao thực chất là "hộp đen": chính xác tổng thể nhưng không thể cho bác sĩ một lý do đáng tin cho một quyết định riêng lẻ. Trong bối cảnh lâm sàng điều này quan trọng cho trách nhiệm giải trình, đồng ý có hiểu biết, và nghĩa vụ của bác sĩ thực hiện phán đoán — một bác sĩ không thể có ý nghĩa nhận trách nhiệm cho lời khuyên họ không thể chất vấn.

Trôi mô hình và giám sát sau khi ra thị trường. Độ chính xác của một mô hình không cố định. Trôi khái niệm — sự thay đổi theo thời gian trong quan hệ giữa đầu vào và thứ được dự đoán — nghĩa là một mô hình được thẩm định năm ngoái có thể lặng lẽ suy giảm năm nay khi quần thể, lộ trình hay dữ liệu thượng nguồn đổi. Đó là lý do AI cần giám sát sau khi ra thị trường và theo dõi liên tục, không chỉ một lần thẩm định lúc vận hành.

MLOps và vòng đời mô hình. MLOps là kỷ luật vận hành về triển khai, giám sát, đánh phiên bản và huấn luyện lại mô hình đáng tin trong sản xuất. Nó là bộ máy làm quản trị vòng đời thành thật: biết phiên bản mô hình nào đang chạy, trên dữ liệu nào, với hiệu suất nào, và có thể quay lui.

Con người trong vòng lặp. Một thiết kế con người trong vòng lặp giữ một người — thường là bác sĩ — có ý nghĩa trong quyết định, với thẩm quyền và thông tin để ghi đè mô hình. Làm tốt nó bảo toàn trách nhiệm giải trình; làm như một con dấu cho qua nó chỉ mang ảo tưởng giám sát.

AI tạo sinh và mô hình ngôn ngữ lớn. Trí tuệ nhân tạo tạo sinh, gồm mô hình ngôn ngữ lớn (LLM), tạo văn bản trôi chảy và nội dung khác. Giá trị thực tế gần hạn của nó trong y tế và chăm sóc phần lớn mang tính hành chính — soạn tài liệu, tóm tắt, giảm giấy tờ. Rủi ro xác định của nó là ảo giác: việc tạo ra nội dung sai nhưng hợp lý một cách tự tin, cộng gộp bởi rủi ro bảo mật khi dữ liệu bệnh nhân được nhập vào dịch vụ bên thứ ba.

Liệu pháp số và ứng dụng sức khỏe. Liệu pháp số (DTx) là các can thiệp dựa trên phần mềm, có bằng chứng, phòng ngừa, quản lý hoặc điều trị một tình trạng — khác với ứng dụng sức khỏe thông thường chính vì chúng đưa ra tuyên bố lâm sàng, nghĩa là nhiều cái là Phần mềm như một Thiết bị Y tế và đòi hỏi cùng bằng chứng và đảm bảo như bất kỳ can thiệp nào khác bạn kê hay khuyến nghị.

Thực hành tốt nhất#

1. Phân loại công cụ trước khi làm bất cứ điều gì khác. Xác lập, bằng văn bản và với đầu vào lâm sàng và quy định, liệu AI có mục đích y tế và do đó là thiết bị y tế được quản lý, và liệu nó có giữ dấu phù hợp MHRA hợp lệ. Một xác định duy nhất này chi phối mọi thứ hạ nguồn — lộ trình đảm bảo, trách nhiệm pháp lý, tính hợp pháp của việc triển khai. Khi nghi ngờ, hãy tìm tư vấn quy định thay vì giả định một công cụ hành chính nằm ngoài phạm vi.

2. Chạy AI qua bộ máy an toàn lâm sàng và IG hiện có của bạn, mở rộng chứ không đi vòng. Mọi triển khai AI lâm sàng cần quản lý rủi ro lâm sàng theo DCB0129/DCB0160 (xem Chủ đề 1.6) và một Đánh giá Tác động Bảo vệ Dữ liệu theo khung quản trị thông tin của bạn (xem Chủ đề 1.7). Đừng để sự mới mẻ hay sự nhiệt tình của nhà cung cấp tạo ra một quy trình song song, nhẹ hơn. Các mối nguy đặc thù AI — thiên kiến, trôi, mờ đục, thiên kiến tự động hóa — nên được thêm vào nhật ký mối nguy, không thay thế nó.

3. Chất vấn dữ liệu huấn luyện về tính đại diện và thiên kiến. Hỏi ai ở trong dữ liệu và ai thiếu, kết quả được gắn nhãn thế nào, và các công cụ đo có thiên kiến qua các nhóm không. Yêu cầu nhà cung cấp báo cáo hiệu suất chia theo các nhóm con liên quan — tuổi, giới, sắc tộc, mức độ thiếu thốn — không chỉ độ chính xác nổi bật. Một công cụ không chứng minh được hiệu suất công bằng là rủi ro bất bình đẳng sức khỏe dù mức trung bình ấn tượng đến đâu.

4. Đòi thẩm định lâm sàng phù hợp với rủi ro, và ưu tiên bằng chứng tiến cứu. Độ chính xác hồi cứu trên dữ liệu được tuyển chọn là dạng bằng chứng yếu nhất. Với bất cứ thứ gì ảnh hưởng đến quyết định lâm sàng, hãy tìm sự thẩm định trong một quần thể và quy trình giống của bạn, lý tưởng là tiến cứu, và đưa tuyên bố qua khung đảm bảo phù hợp — Khung Tiêu chuẩn Bằng chứng NICE cho công nghệ y tế số và Tiêu chí Đánh giá Công nghệ Số (DTAC) như đảm bảo cơ bản. Khớp sức mạnh của bằng chứng với mức độ tác hại tiềm tàng.

5. Khăng khăng con người trong vòng lặp có ý nghĩa và trách nhiệm giải trình rõ ràng. Xác định ai chịu trách nhiệm cho một quyết định AI đã thông báo, và bảo đảm con người có cả thẩm quyền ghi đè lẫn thông tin để làm vậy. Chủ động đề phòng thiên kiến tự động hóa — xu hướng nghe theo máy — qua đào tạo, thiết kế giao diện và kiểm toán tỷ lệ ghi đè. Nếu không bao giờ có ghi đè, "con người trong vòng lặp" của bạn chỉ là trang trí.

6. Xem vận hành là khởi đầu của giám sát, không phải kết thúc của đảm bảo. Dựng giám sát sau khi ra thị trường từ ngày đầu: theo dõi hiệu suất thực, canh chừng trôi khái niệm, và xác định ngưỡng và quy trình để huấn luyện lại, tạm dừng hay rút mô hình. Thiết lập đánh phiên bản và quay lui mô hình qua MLOps vững để bạn luôn biết cái gì đang chạy và có thể quay lại an toàn. Một mô hình không bao giờ được kiểm tra lại là một biện pháp kiểm soát an toàn đang chậm thất bại.

7. Quản trị AI tạo sinh theo các cách dùng thực tế và chống các rủi ro thực của nó. Cho phép LLM nơi giá trị thực và rủi ro được kiềm chế — soạn hành chính, tóm tắt, hỗ trợ tài liệu có rà soát của con người — và cấm nhập dữ liệu nhận dạng bệnh nhân không được quản lý vào dịch vụ bên thứ ba. Giả định bất kỳ đầu ra tạo sinh nào có thể bị bịa cho đến khi một con người xác minh, và đừng bao giờ để nội dung tạo sinh chưa xác minh vào hồ sơ lâm sàng. Chính sách rõ ràng, được thực thi thắng cả lệnh cấm đại trà đẩy sang sử dụng bóng lẫn tự do tùy tiện làm rò dữ liệu.

8. Áp dụng quản trị thông tin cho toàn bộ vòng đời dữ liệu, gồm cả huấn luyện. Dữ liệu dùng để huấn luyện, tinh chỉnh và đánh giá một mô hình chịu cùng nghĩa vụ cơ sở hợp pháp, tối thiểu hóa và minh bạch như bất kỳ cách dùng nào khác (xem Chủ đề 1.7). Hãy rõ ràng về cơ sở huấn luyện trên dữ liệu bệnh nhân, liệu nó được khử nhận dạng đủ không, và nhà cung cấp được làm gì với nó. Hợp đồng nên cấm tái sử dụng dữ liệu của bạn để huấn luyện sản phẩm cho người khác mà không có cơ sở hợp pháp và sự đồng ý của bạn.

9. Giữ một sổ đăng ký mô hình con người đọc được và đòi hỏi sự minh bạch từ nhà cung cấp. Duy trì một bản kiểm kê AI đang dùng: mục đích, tình trạng quy định, nguồn gốc dữ liệu huấn luyện, bằng chứng thẩm định, kế hoạch giám sát và người sở hữu chịu trách nhiệm. Yêu cầu nhà cung cấp minh bạch về cách một mô hình hoạt động, giới hạn và kiểu thất bại của nó; sự mờ đục từ nhà cung cấp tự nó là tín hiệu rủi ro. Bạn không thể quản trị thứ bạn chưa viết ra.

10. Quét chân trời có chủ đích và triển khai theo giai đoạn qua đánh giá có kiểm soát. Vượt ra ngoài AI hôm nay, hãy theo dõi các công nghệ mới nổi — tài liệu môi trường xung quanh, mô hình nền tảng, và xa hơn, lượng tử và cảm biến mới — bằng quét chân trời có cấu trúc thay vì mua sắm phản ứng. Đưa bất cứ thứ gì thực sự mới vào qua cách tiếp cận có kiểm soát, đảo ngược được, được đánh giá của việc triển khai đổi mới theo giai đoạn (xem Chủ đề 8.0), bắt đầu nhỏ, đo trung thực, và giữ khả năng dừng.

11. Xem liệu pháp số và ứng dụng sức khỏe là can thiệp, không phải tải xuống của người tiêu dùng. Khi một ứng dụng đưa ra tuyên bố lâm sàng — điều trị, quản lý hay phòng ngừa một tình trạng — nó là một can thiệp mà bệnh nhân sẽ hành động theo, và xứng đáng sự soi xét tương đương một loại thuốc hay thiết bị trước khi bạn kê hay khuyến nghị. Xác lập liệu nó có phải Phần mềm như một Thiết bị Y tế với dấu phù hợp hợp lệ, đòi bằng chứng tương xứng với tuyên bố, và hoàn thành đánh giá an toàn lâm sàng (xem Chủ đề 1.6) thay vì tin điểm đánh giá cửa hàng ứng dụng hay sự nhiệt tình của nhà cung cấp. Một ứng dụng chưa được đảm bảo mà bác sĩ xác nhận mang tên tổ chức của bạn và trách nhiệm của bạn nếu nó gây hại.

12. Định tuyến ứng dụng sức khỏe qua đảm bảo hiện có và giữ một thư viện được tuyển chọn, an toàn. Đánh giá liệu pháp số qua cùng bộ máy bạn đã vận hành — DTAC làm cơ bản, Khung Tiêu chuẩn Bằng chứng NICE khớp với tuyên bố lâm sàng, và rà soát an toàn lâm sàng và IG — và xây bằng chứng đánh giá thực tế theo thời gian (xem Chủ đề 8.6). Duy trì một thư viện được tuyển chọn các ứng dụng bạn đã đảm bảo và đứng sau, với tình trạng quy định, bằng chứng và người sở hữu của từng ứng dụng được ghi lại, để bác sĩ khuyến nghị từ một danh sách rút gọn an toàn, được quản trị. Phương án thay thế — sự bành trướng không kiểm soát các ứng dụng chưa đánh giá được khuyến nghị không chính thức qua các nhóm — không quản lý được và không an toàn.

Câu hỏi để thảo luận với nhóm của bạn#

1. Với mỗi công cụ AI chúng ta đang cân nhắc hoặc đã dùng, chúng ta có thực sự biết nó có phải thiết bị y tế được quản lý không — và chúng ta có thể đưa ra bằng chứng không? Điều này nghe như hình thức tuân thủ nhưng là câu hỏi chịu lực, vì câu trả lời xác định điều gì hợp pháp, ai chịu trách nhiệm pháp lý, và đảm bảo nào bạn nợ công chúng. Dễ giả định một công cụ "chỉ giúp phân loại" hay "chỉ tóm tắt ghi chú" là phần mềm hành chính vô hại trong khi mục đích y tế của nó thực ra làm nó thành thiết bị được quản lý đòi dấu phù hợp MHRA. Cuộc thảo luận nên buộc bạn gọi tên từng công cụ AI đang dùng hoặc trong đường ống, nêu mục đích dự định bằng thuật ngữ lâm sàng đơn giản, và xác định ai đưa ra quyết định phân loại thiết bị và trên cơ sở nào. Nó nên làm lộ những trường hợp khó chịu nơi một công cụ được mua qua lộ trình CNTT thông thường mà không có kiểm tra quy định nào. Hãy trung thực liệu hôm nay bạn có thể đưa ra tài liệu phù hợp và bằng chứng thẩm định nếu một cơ quan quản lý hay pháp y hỏi. Giá trị của cuộc trò chuyện là nó chuyển cảm giác mơ hồ rằng "chắc ai đó đã kiểm tra" thành một lập trường có tài liệu, có chủ — và làm lộ các công cụ nơi không ai.

2. Chúng ta đã đòi xem mô hình hoạt động thế nào với các nhóm có khả năng bị hại nhất, hay đã chấp nhận một con số độ chính xác nổi bật? Độ chính xác trung bình là con số nhà cung cấp dẫn đầu và là con số che giấu thiên kiến thuật toán, vì một mô hình có thể rất chính xác tổng thể trong khi hoạt động tệ hơn rõ rệt cho một nhóm bị đại diện thiếu. Trong y tế và chăm sóc đó không phải sự hiếu kỳ thống kê; đó là cơ chế nới rộng chính những bất bình đẳng bạn có nghĩa vụ pháp lý và đạo đức phải giảm, áp dụng lặng lẽ và ở quy mô lớn. Nhóm nên thảo luận bằng chứng nhóm con nào bạn thực sự đã thấy — hiệu suất chia theo tuổi, giới, sắc tộc và mức độ thiếu thốn — và liệu bạn có biết ai ở trong dữ liệu huấn luyện và ai thiếu. Đáng gọi tên sự khó chịu ở đây: gặng nhà cung cấp về công bằng có thể cảm giác như cản trở một đổi mới thú vị, và câu hỏi trung thực là bạn có sẵn lòng nói không với một công cụ không chứng minh được hiệu suất công bằng. Hãy cân nhắc cả cách bạn thậm chí phát hiện kết quả bất công sau triển khai, vì thiên kiến vô hình lúc mua sắm sẽ vô hình trong sản xuất trừ khi bạn giám sát nó. Một cuộc thảo luận tốt kết thúc với một ngưỡng bằng chứng cụ thể về công bằng áp dụng trước khi bất kỳ AI lâm sàng nào vận hành, và một kế hoạch tiếp tục theo dõi sau đó.

3. Khi mô hình này sai — và nó sẽ sai — ai chịu trách nhiệm, một con người có thực sự bắt được nó không, và chúng ta sẽ biết bằng cách nào? Mọi mô hình đôi khi thất bại, và hệ thống học hỏi có thể trôi vào việc thất bại nhiều hơn theo thời gian, nên câu hỏi trưởng thành không phải liệu sai sót có xảy ra mà là liệu các biện pháp bảo vệ của bạn có thật. Nhóm nên thử xem con người-trong-vòng-lặp có ý nghĩa hay trang trí: bác sĩ có thẩm quyền và thông tin để ghi đè không, và nếu bạn nhìn tỷ lệ ghi đè, bạn có thấy họ có bao giờ thực sự ghi đè, hay thiên kiến tự động hóa đã bám rễ? Thảo luận ai được nêu tên chịu trách nhiệm cho một quyết định AI đã thông báo — bác sĩ, tổ chức, nhà cung cấp — vì "thuật toán đã làm" không phải lập trường bảo vệ được trước một bệnh nhân hay pháp y. Đối mặt trung thực với giám sát của bạn: bạn có giám sát sau khi ra thị trường sẽ phát hiện trôi khái niệm, ngưỡng xác định để tạm dừng hay rút mô hình, và bộ máy MLOps để biết phiên bản nào đang chạy và quay lui không? Với công cụ tạo sinh, thêm câu hỏi ảo giác — điều gì ngăn nội dung bịa vào hồ sơ lâm sàng, và ai xác minh đầu ra trước khi nó được tin? Phiên bản giá trị nhất của cuộc trò chuyện này làm lộ khoảng cách giữa sơ đồ trấn an về "giám sát của con người" và điều thực sự sẽ xảy ra lúc 3 giờ sáng ở một khoa bận.

4. Điều gì đang xảy ra với dữ liệu bệnh nhân của chúng ta khi chúng ta huấn luyện, tinh chỉnh và chạy các mô hình này — và nhà cung cấp đã bảo lưu quyền làm gì với nó? AI tập trung rủi ro quản trị dữ liệu chính vì dữ liệu là sản phẩm: một mô hình chỉ đáng tin bằng cơ sở hợp pháp, tối thiểu hóa và minh bạch đằng sau mọi tập dữ liệu nó chạm vào, gồm cả dữ liệu huấn luyện và đánh giá có trước lúc vận hành. Nhóm nên nêu được, với mỗi công cụ, cơ sở hợp pháp cho bất kỳ cách dùng dữ liệu bệnh nhân nào, liệu khử nhận dạng có đủ chứ không chỉ được khẳng định, và dữ liệu thực sự chảy đi đâu một khi rời khỏi sự kiểm soát của bạn. Cái bẫy lặp lại là hợp đồng lặng lẽ cho phép nhà cung cấp tái sử dụng dữ liệu của bạn để cải thiện sản phẩm họ sẽ bán cho người khác; thảo luận liệu thỏa thuận của bạn có cấm điều đó mà không có cơ sở hợp pháp và sự đồng ý rõ ràng của bạn, và liệu có ai thực sự đọc các điều khoản đó. Điều này nối trực tiếp với khung quản trị thông tin của bạn (xem Chủ đề 1.7), và là nơi sự hào hứng với một công cụ có năng lực thường vượt thẩm định cần mẫn nhất. Một câu trả lời trung thực gọi tên ai sở hữu DPIA, nhà cung cấp được và không được làm gì, và nơi bạn hiện bị phơi bày — thay vì giả định rằng vì bản demo ấn tượng nên giấy tờ chắc vững.

5. Chúng ta quyết định điều gì KHÔNG nên áp dụng thế nào, và chúng ta có thể cưỡng lại áp lực mua thứ mọi người đang hào hứng không? Kỷ luật quản trị khó nhất với một công nghệ chuyển động nhanh là nói "chưa" hoặc "không phải cái này", và một nhóm không nêu được tiêu chí từ chối sẽ kết thúc bằng áp dụng do trôi và thổi phồng hơn là bằng chứng. Thảo luận điều gì khiến bạn quay đi khỏi một công cụ vốn hấp dẫn — bằng chứng nhóm con yếu, tình trạng quy định không rõ, một trường hợp sử dụng nơi lợi ích thực tế mỏng so với rủi ro — và liệu những lằn ranh đỏ đó được viết ra hay chỉ được cảm nhận. Có một căng thẳng thực ở đây giữa cái giá của việc bỏ lỡ một cải thiện thực và cái giá của một thất bại mở rộng làm hại niềm tin công chúng, và những người hợp lý sẽ cân chúng khác nhau. Đáng gọi tên thực tế chính trị rằng áp lực áp dụng thường đến từ hội đồng, một quan hệ nhà cung cấp, hay một mệnh lệnh quốc gia, không phải từ nhu cầu lâm sàng. Lập trường của chủ đề là quét chân trời có chủ đích và triển khai theo giai đoạn qua đánh giá có kiểm soát, đảo ngược được (xem Chủ đề 8.0), nên một câu trả lời trung thực mô tả cách một công cụ hứa hẹn-nhưng-chưa-chứng minh vào như một thí điểm nhỏ, được đo, dừng được thay vì triển khai đại trà — và ai nắm thẩm quyền dừng nó.

6. Chúng ta có thể giải thích mô hình này làm gì cho các bác sĩ phải tin nó và các bệnh nhân bị ảnh hưởng bởi nó — và chúng ta có trung thực về giới hạn của nó không? Một mô hình mà bác sĩ không thể chất vấn và bệnh nhân không thể hiểu ăn mòn phán đoán có hiểu biết và sự đồng ý có hiểu biết mà chăm sóc lâm sàng phụ thuộc, dù nó chính xác tổng thể đến đâu. Nhóm nên thảo luận mức giải thích mà cách dùng cụ thể này thực sự đòi hỏi: một công cụ hỗ trợ ưu tiên hàng đợi đòi ít hơn một công cụ ảnh hưởng chẩn đoán hay quyết định điều trị, và khớp lời giải thích với rủi ro là lựa chọn quản trị, không phải nghĩ sau kỹ thuật. Hãy cân nhắc bạn nói gì với các bác sĩ được kỳ vọng dùng nó — mục đích, các kiểu thất bại đã biết, các nhóm nó kém đáng tin hơn — và liệu bản tóm tắt đó thẳng thắn hay là tóm tắt tiếp thị. Sự trung thực hướng tới bệnh nhân cũng quan trọng: người ta có được cho biết khi AI tham gia vào chăm sóc của họ không, bằng ngôn ngữ họ hành động được? Đây cũng là vấn đề lực lượng, vì niềm tin quá thấp nghĩa là một công cụ hữu ích bị phớt lờ trong khi niềm tin quá cao tạo ra thiên kiến tự động hóa làm rỗng sự giám sát. Một câu trả lời trung thực đối mặt với việc đào tạo và truyền thông của bạn đang xây niềm tin được hiệu chỉnh hay chỉ đang bán công cụ.

Trong thực tế: một ví dụ về y tế và chăm sóc#

Một hệ thống chăm sóc tích hợp được chào một công cụ AI đọc phim X-quang ngực và đánh dấu các bất thường có khả năng để ưu tiên hàng đợi báo cáo chẩn đoán hình ảnh. Cán bộ an toàn lâm sàng và giám đốc y khoa cưỡng lại áp lực mua nhanh và thay vào đó đưa nó qua quản trị đúng mức.

Trước hết, phân loại: công cụ có mục đích y tế rõ ràng, nên được xác nhận là Phần mềm như một Thiết bị Y tế, và dấu phù hợp MHRA cùng tuyên bố sử dụng dự định của nó được xác minh — sử dụng dự định là hỗ trợ phân loại, không phải chẩn đoán tự động, điều định hình mọi thứ theo sau. Kế đó, đảm bảo: công cụ được đưa qua DTAC làm cơ bản, các tuyên bố lâm sàng của nó được kiểm tra với Khung Tiêu chuẩn Bằng chứng NICE, một đánh giá rủi ro lâm sàng DCB0160 được hoàn thành, và một DPIA bao quát dữ liệu hình ảnh (xem Chủ đề 1.6 và 1.7). Nhóm đòi hiệu suất nhóm con và phát hiện quần thể thẩm định đại diện thiếu một nhóm nhân khẩu học địa phương; họ yêu cầu thẩm định địa phương bổ sung trước khi tiến hành, xem thiên kiến tiềm tàng là rủi ro bất bình đẳng sức khỏe thay vì chú thích.

Khi triển khai, thiết kế giữ con người trong vòng lặp: mỗi phim vẫn do một bác sĩ chẩn đoán hình ảnh báo cáo, và AI chỉ sắp lại hàng đợi, nên một cờ bị bỏ sót tự nó không thể gây ra một chẩn đoán bị bỏ sót. Giám sát sau khi ra thị trường được dựng từ ngày đầu — theo dõi tỷ lệ phát hiện, sự bất đồng giữa mô hình và bác sĩ báo cáo, và mọi sự trôi khi phần cứng máy quét và cơ cấu ca bệnh đổi — với ngưỡng thỏa thuận trước để tạm dừng công cụ và một lộ trình quay lui qua triển khai có phiên bản của nhà cung cấp. Riêng, khi một khoa xin dán bệnh sử bệnh nhân vào một LLM công cộng để soạn tóm tắt xuất viện, cùng diễn đàn quản trị nói không với lộ trình không được quản lý đó và ủy thác một công cụ được duyệt, được kiềm chế với xác minh của con người thay vào. Một năm sau, công cụ ưu tiên hàng đợi đã cải thiện khiêm tốn thời gian báo cáo, giám sát của nó đã bắt một đợt trôi sau lần nâng cấp máy quét, và — quan trọng — tổ chức có thể cho thấy chính xác nó được quản trị thế nào.

Góc nhìn theo khu vực#

Công ty khởi nghiệp#

Một công ty y tế số khởi nghiệp thường chính là AI, nên độ trưởng thành quản trị của nó là khả năng tiếp cận thị trường. Người sáng lập nên xem phân loại quy định, thẩm định lâm sàng và bằng chứng thiên kiến là công việc sản phẩm cốt lõi, không phải thuế tuân thủ gắn trước khi bán, vì cán bộ an toàn lâm sàng của người mua sẽ hỏi chính xác những điều này và một câu "không" kết thúc thương vụ. Thu hút MHRA sớm — có thể qua các cơ chế như AI Airlock cho những câu hỏi thực sự mới — và thiết kế cho DTAC và Khung Tiêu chuẩn Bằng chứng NICE từ đầu biến đảm bảo thành lợi thế cạnh tranh. Rủi ro đặc trưng của công ty khởi nghiệp là tuyên bố quá mức: tiếp thị vượt bằng chứng, hay một bản demo độ chính xác trung bình che giấu hiệu suất nhóm con kém. Người sáng lập có kỷ luật xây giám sát và giám sát sau khi ra thị trường vào sản phẩm sớm, vì một thất bại mở rộng duy nhất tại một cơ sở tham chiếu là sự kiện sinh tử với một công ty nhỏ.

Doanh nghiệp nhỏ#

Một nhà cung cấp nhỏ đã thành lập — một phòng khám bác sĩ gia đình, một hiệu thuốc cộng đồng, một nhà dưỡng lão, một phòng khám đơn lẻ — thường là người mua AI hơn là người xây, nhưng mang cùng nghĩa vụ như một quỹ lớn mà không có nhân viên an toàn lâm sàng, IG hay tin học chuyên trách để thực hiện. Rủi ro thực tế là áp dụng một công cụ dựa trên sự bảo đảm của nhà cung cấp vì không có năng lực nội bộ để đòi phân loại thiết bị, bằng chứng nhóm con hay DPIA, và không ai nhận ra khi một mô hình trôi. Dựa mạnh vào đảm bảo người khác đã làm: ưu tiên công cụ rõ ràng giữ dấu phù hợp MHRA và đã qua DTAC, mua từ nhà cung cấp công bố bằng chứng của họ, và chỉ khuyến nghị ứng dụng sức khỏe từ một thư viện được tuyển chọn do ICS hay một cơ quan quốc gia đã đảm bảo thay vì tự đánh giá từng cái. Nơi bạn không thể tự xác minh an toàn của một công cụ, đó là lý do dựa vào đảm bảo chung của hệ thống, không phải bỏ qua việc kiểm tra. Giữ dù chỉ một sổ đăng ký gọn nhẹ về công cụ AI bạn dùng, cho việc gì, và ai sở hữu biến một nghĩa vụ không quản lý nổi thành tương xứng.

Doanh nghiệp lớn#

Một bệnh viện hay ICS lớn có bộ máy để quản trị AI đúng mức và quy mô khiến làm sai là nghiêm trọng. Công việc của nó là mở rộng các chức năng an toàn lâm sàng, IG và đảm bảo hiện có để bao phủ AI — một sổ đăng ký mô hình, ngưỡng công bằng nhóm con, giám sát sau khi ra thị trường, MLOps cho đánh phiên bản và quay lui — thay vì để AI đến qua lộ trình CNTT hay nghiên cứu không được soi xét. Nguy hiểm thực của doanh nghiệp lớn là phân mảnh: hàng chục thí điểm, thử nghiệm ghi chép môi trường xung quanh, và thử nghiệm LLM của các khoa sinh sôi mà không có kiểm kê trung tâm, không DPIA nhất quán, và không ai chịu trách nhiệm khi một công cụ trôi. Mệt mỏi thay đổi và áp lực nhà cung cấp đẩy về áp dụng nhanh, nên lãnh đạo phải giữ vững rằng sự mới mẻ không giành một quy trình nhẹ hơn. Làm tốt, doanh nghiệp lớn cũng có thể tạo ra bằng chứng thẩm định tiến cứu, địa phương mà các bên nhỏ hơn không thể, và chia sẻ qua hệ thống.

Chính phủ#

Các cơ quan chính phủ quốc gia và địa phương — MHRA, NHS England, DHSC, NICE, các chính quyền được phân quyền và chính quyền địa phương — đặt điều kiện dưới đó mọi người khác triển khai AI. Công cụ của họ là quy định, chuẩn, khung đảm bảo (DTAC, Khung Tiêu chuẩn Bằng chứng), các cơ chế bến an toàn như AI Airlock, và kinh phí cùng hướng dẫn điều hướng sự chấp nhận an toàn qua một hệ thống liên bang mà họ không trực tiếp quản lý. Trách nhiệm giải trình hướng về các bộ trưởng, Nghị viện và công chúng, nên một thất bại AI mở rộng hay thiên kiến chứng minh được trong một công cụ quốc gia là sự kiện niềm tin công chúng với bóng dài. Vai trò đúng của chính phủ là biến con đường an toàn thành con đường dễ — quy tắc rõ ràng, đảm bảo tái sử dụng được, truyền thông công chúng trung thực về điều AI làm được và không — trong khi cưỡng lại cả mệnh lệnh dẫn dắt bởi thổi phồng lẫn cấm theo phản xạ. Làm sai cán cân theo hướng nào cũng tốn nhiều năm niềm tin.

Các kiểu thất bại thường gặp#

• Bỏ qua phân loại quy định. Triển khai AI lâm sàng như phần mềm thông thường. Tránh bằng cách xác định tình trạng thiết bị và dấu phù hợp trước, với đầu vào quy định.
• Mù độ chính xác nổi bật. Chấp nhận con số trung bình che giấu hiệu suất kém cho các nhóm bị đại diện thiếu. Tránh bằng cách yêu cầu bằng chứng nhóm con trước khi vận hành và giám sát bất công sau đó.
• Thẩm định một lần, quên mãi. Xem vận hành là kết thúc của đảm bảo trong khi mô hình lặng lẽ trôi. Tránh bằng cách dựng giám sát sau khi ra thị trường với ngưỡng và quay lui.
• Giám sát của con người chỉ là trang trí. Một "con người trong vòng lặp" đóng dấu cho qua dưới thiên kiến tự động hóa. Tránh bằng cách kiểm toán tỷ lệ ghi đè và thiết kế thẩm quyền can thiệp thực.
• AI tạo sinh không được quản trị. Nhân viên dán dữ liệu bệnh nhân vào LLM công cộng và tin đầu ra bịa. Tránh bằng cách chính sách rõ ràng cộng một công cụ được duyệt, được kiềm chế với xác minh của con người.
• Quy trình song song nhẹ nhàng. Để AI vòng qua an toàn lâm sàng và IG vì nó là "đổi mới". Tránh bằng cách mở rộng bộ máy DCB và DPIA hiện có cho AI.
• Không có kiểm kê. Không ai biết mô hình nào đang chạy, trên dữ liệu nào, ai sở hữu. Tránh bằng cách duy trì một sổ đăng ký mô hình.

Mô hình trưởng thành#

Danh sách kiểm tra#

• Tình trạng thiết bị y tế và dấu phù hợp MHRA của mỗi công cụ AI được xác định và ghi lại.
• AI lâm sàng đã qua DTAC, được kiểm tra với Khung Tiêu chuẩn Bằng chứng NICE, và có đánh giá rủi ro lâm sàng DCB cùng một DPIA.
• Hiệu suất nhóm con (tuổi, giới, sắc tộc, mức độ thiếu thốn) đã được xem và đáp ứng một ngưỡng công bằng thỏa thuận.
• Thẩm định lâm sàng khớp với mức rủi ro và ưu tiên bằng chứng tiến cứu, địa phương.
• Một con người-trong-vòng-lặp có ý nghĩa được thiết kế, với thẩm quyền và thông tin để ghi đè.
• Trách nhiệm có tên cho các quyết định do AI thông báo được viết ra.
• Giám sát sau khi ra thị trường, ngưỡng trôi và kế hoạch tạm dừng/quay lui đang hoạt động từ lúc vận hành.
• MLOps trao đánh phiên bản mô hình và quay lui an toàn; phiên bản đang chạy luôn được biết.
• Chính sách AI tạo sinh cho phép cách dùng thực tế, cấm dữ liệu bệnh nhân trong dịch vụ không được quản lý, và yêu cầu xác minh của con người.
• Quản trị thông tin bao phủ dữ liệu huấn luyện, tinh chỉnh và đánh giá, với giới hạn hợp đồng về việc nhà cung cấp tái sử dụng.
• Một sổ đăng ký mô hình con người đọc được ghi mục đích, nguồn gốc, bằng chứng, giám sát và người sở hữu.
• Công nghệ mới nổi được quét chân trời và triển khai theo giai đoạn qua đánh giá có kiểm soát, đảo ngược được.

Nguồn chính#

• MHRA — Software and Artificial Intelligence (AI) as a Medical Device, và hộp cát quản lý AI Airlock (gov.uk).
• NICE — Evidence Standards Framework (ESF) cho công nghệ y tế số (nice.org.uk).
• NHS England — Digital Technology Assessment Criteria (DTAC) cho đảm bảo cơ bản về công nghệ y tế số.
• NHS England / NHSX trước đây — A Buyer's Guide to AI in Health and Care, và AI Ethics Initiative.
• DCB0129 và DCB0160 — chuẩn quản lý rủi ro lâm sàng cho CNTT y tế (xem Chủ đề 1.6).
• MHRA / IMDRF — khung Software as a Medical Device (SaMD) và thực hành học máy tốt.
• The King's Fund và Health Foundation — phân tích về AI, dữ liệu và bất bình đẳng trong y tế và chăm sóc.
• Xem thêm Chủ đề 1.3 — Quyết định dựa trên bằng chứng; Chủ đề 1.6 — An toàn lâm sàng và quản lý rủi ro; Chủ đề 1.7 — Quản trị thông tin, bảo vệ dữ liệu và an ninh mạng; Chủ đề 8.0 — Triển khai đổi mới theo giai đoạn.

Tài liệu tham khảo#

1. Artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Medical software (including Software as a Medical Device) — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
4. Medicines and Healthcare products Regulatory Agency — Wikipedia — https://en.wikipedia.org/wiki/Medicines_and_Healthcare_products_Regulatory_Agency
5. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
6. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
7. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
8. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
9. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
10. Generative artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Generative_artificial_intelligence
11. Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
12. Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
13. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
14. AI Airlock: the regulatory sandbox for AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/collections/ai-airlock-the-regulatory-sandbox-for-aiamd
15. Evidence standards framework (ESF) for digital health technologies — NICE — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
16. Digital Technology Assessment Criteria (DTAC) — NHS England — https://transform.england.nhs.uk/key-tools-and-info/digital-technology-assessment-criteria-dtac/
17. A Buyer's Guide to AI in Health and Care — NHS Transformation Directorate — https://transform.england.nhs.uk/ai-lab/explore-all-resources/adopt-ai/a-buyers-guide-to-ai-in-health-and-care/
18. Software as a Medical Device (SaMD): Key Definitions — International Medical Device Regulators Forum (IMDRF) — https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
19. Digital therapeutics — Wikipedia — https://en.wikipedia.org/wiki/Digital_therapeutics