Chủ đề 10.1 — Chỉ số hiệu suất chính (KPI)

Một chỉ số hiệu suất chính (KPI) là một con số nhỏ, được chọn cẩn thận, cho bạn biết một dịch vụ có an toàn, công bằng, hiệu quả và đáng tin hay không — và trong y tế và chăm sóc, chọn và đọc những con số đó cho tốt tự nó là vấn đề an toàn lâm sàng và trách nhiệm giải trình công, không phải việc nội trợ hành chính.

Vì sao điều này quan trọng trong y tế và chăm sóc#

Trong y tế và chăm sóc, những con số bạn theo dõi định hình việc chăm sóc người ta nhận được. Một KPI danh sách chờ đếm "bệnh nhân được đặt lịch" mà không đếm "bệnh nhân được khám" có thể che giấu một nhóm đang lặng lẽ xấu đi tại nhà. Một bảng điều khiển dịch vụ số xanh về thời gian hoạt động nhưng im lặng về việc người khuyết tật có hoàn thành được một lần đặt lịch hay không sẽ để một vấn đề tiếp cận lớn thành bất bình đẳng sức khỏe. Điều bạn đo báo hiệu điều bạn trân trọng, và nhân viên, nhà cung cấp và thuật toán đều tối ưu về phía mục tiêu được đo — đôi khi với cái giá của thứ không được đo mà thực sự quan trọng.

Mức cược ở đây cao hơn hầu hết các ngành vì các kiểu thất bại là con người. Mid Staffordshire và các cuộc điều tra khác nhiều lần phát hiện các tổ chức đạt mục tiêu tài chính và hoạt động nổi bật trong khi chất lượng chăm sóc sụp đổ bên dưới. Chỉ số được báo cáo lên trên là xanh trong khi bệnh nhân bị hại — mô thức nay được gọi rộng rãi là "báo cáo dưa hấu" (xanh bên ngoài, đỏ bên trong), điều Chủ đề 10.4 — Tầm nhìn cho giám đốc điều hành và lãnh đạo cấp cao xem xét chuyên sâu. KPI tốt là một trong những biện pháp phòng thủ của bạn chống khoảng cách giữa bức tranh được báo cáo và bức tranh thật.

KPI cũng tiêu tiền công và niềm tin công chúng. Mọi chỉ số bạn công bố trở thành một phần cách công dân, cơ quan quản lý và đơn vị đặt hàng đánh giá hệ thống. Tuyên bố quá mức, chọn lọc dữ liệu, hay gian lận một mục tiêu không chỉ là quản lý kém; nó xói mòn niềm tin mà y tế số dựa vào để khiến người ta chia sẻ dữ liệu và áp dụng dịch vụ mới. Chủ đề này là đối tác đo lường của Chủ đề 10.0 — Mục tiêu và kết quả chính (OKR): nơi OKR thúc đẩy thay đổi tập trung, KPI giám sát sức khỏe liên tục của các dịch vụ và hệ thống bạn vận hành.

Các khái niệm cốt lõi#

Một chỉ số hiệu suất, hay KPI, là một thước đo được chọn vì nó phản ánh tiến độ so với một mục tiêu quan trọng. Một thước đo hiệu suất là bất kỳ phép đo nào về hoạt động hay trạng thái; một KPI là tập con bạn đã chủ ý nâng lên thành "hãy theo dõi cái này". Chữ chính chịu lực — nếu mọi thứ đều là KPI thì không gì là KPI. Một kỷ luật hữu ích là giữ một nhúm KPI cho mỗi dịch vụ, mỗi cái có người sở hữu có tên, một định nghĩa, một nguồn dữ liệu và một lý do xứng đáng có chỗ trên bảng.

Một KPI tốt có bốn tính chất. Nó căn chỉnh với một kết quả thực sự quan trọng với bệnh nhân, công dân hay bác sĩ, không chỉ với hoạt động nội bộ. Nó hành động được — khi nó dịch chuyển, ai đó có thể làm gì đó. Nó kịp thời — nó đến đủ sớm để hành động, không phải sáu tuần sau khi quý kết thúc. Và nó khó gian lận — không thể cải thiện nó trên giấy mà không cải thiện điều thật. Các thước đo thất bại phép thử cuối mời gọi định luật Goodhart: "khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt."

Chỉ số thường được chia thành dẫn đầu và tụt hậu. Một chỉ số tụt hậu xác nhận kết quả sau sự việc (tử vong 30 ngày, sự hài lòng bệnh nhân hằng năm). Một chỉ số dẫn đầu dịch chuyển sớm hơn và dự đoán chỉ số tụt hậu (độ đầy đủ đối chiếu thuốc, tần suất triển khai, tỷ lệ giới thiệu được phân loại trong 24 giờ). Bạn cần cả hai: chỉ số tụt hậu cho bạn biết bạn có đang thắng không, chỉ số dẫn đầu cho bạn biết kịp thời để đổi kết quả. Nhiều khung kinh tế và vận hành mô tả sự phân biệt dẫn đầu/tụt hậu này.

Một sự phân chia song song và quan trọng không kém là thước đo quy trình, đầu ra và kết quả. Một thước đo quy trình đếm liệu bạn có làm việc đó (các cuộc hẹn được đề nghị, hồ sơ được di chuyển). Một thước đo đầu ra đếm cái được tạo ra (thư đã gửi, xét nghiệm có kết quả). Một thước đo kết quả nắm bắt điều thực sự đã đổi cho con người — một thước đo kết quả như cải thiện triệu chứng, nhập viện tránh được, hay điểm chất lượng cuộc sống do bệnh nhân báo cáo. Các hệ thống y tế và chăm sóc có thiên lệch kinh niên về phía hoạt động vì hoạt động dễ đếm và thường là cách tiền chảy. Hãy chống lại: ưu tiên kết quả và trải nghiệm, và dùng thước đo quy trình như các chỉ số dẫn đầu giải thích chúng.

Vì không con số đơn lẻ nào an toàn tự nó, hãy dùng đo lường cân bằng. Kỷ luật thẻ điểm cân bằng của Kaplan và Norton ghép mỗi thước đo hiệu suất với những thước đo khác để việc cải thiện cái này với cái giá của cái kia trở nên hiển thị. Viện Cải tiến Y tế (IHI) chính thức hóa điều này thành thước đo kết quả, quy trình và cân bằng — thước đo cân bằng canh chừng tác hại cải tiến của bạn có thể gây ra ở nơi khác (xuất viện nhanh hơn được cân bằng với tái nhập viện, chẳng hạn).

Không phải con số nào tăng cũng là tiến bộ. Một chỉ số phù phiếm trông ấn tượng và tăng đều đặn nhưng không cung cấp thông tin cho một quyết định — tổng số người dùng đã đăng ký, lượt đăng nhập tích lũy, lượt xem trang. Phong trào lean startup phổ biến sự tương phản giữa chỉ số phù phiếm và chỉ số hành động được: một chỉ số hành động được gắn một thay đổi bạn đã làm với một thay đổi về hành vi hay kết quả mà bạn có thể hành động. Số đếm tích lũy là dấu hiệu kinh điển — chúng chỉ tăng, nên không bao giờ báo được rằng có gì sai.

Cuối cùng, phân biệt đo lường để cải tiến với đo lường để phán xét. Phán xét hỏi "tháng này bạn có đạt mục tiêu không?" và rút một quy trình sống thành phép so sánh hai điểm đỏ-hoặc-xanh với kỳ trước — một phép so sánh hầu như luôn vô nghĩa về thống kê vì nó không phân biệt được tín hiệu với nhiễu. Cải tiến hỏi "quy trình này có đang thay đổi không, và chúng ta có thể tin thay đổi đó không?" và trả lời bằng kiểm soát quá trình thống kê (SPC): vẽ một thước đo theo thời gian trên biểu đồ chạy hay biểu đồ kiểm soát với giới hạn kiểm soát, để bạn thấy biến thiên là nhiễu thông thường (nguyên nhân chung) hay một tín hiệu thực (nguyên nhân đặc biệt) đáng hành động. Chương trình Making Data Count của NHS England đã biến đây thành cách được khuyến nghị để trình bày dữ liệu vận hành khắp NHS, chính để giết phản xạ "tăng so với tháng trước, giảm so với mục tiêu" vốn thúc đẩy quyết định tồi.

Thực hành tốt nhất#

1. Bắt đầu từ kết quả, rồi làm ngược về chỉ số. Gọi tên điều phải đúng với một bệnh nhân, công dân hay bác sĩ — ít nhập viện tránh được hơn, tiếp cận nhanh hơn, thuốc an toàn — và chỉ rồi mới hỏi điều gì cho bạn biết nó đang xảy ra. Điều này giữ bạn khỏi cái bẫy mặc định là đo thứ hệ thống của bạn tình cờ ghi lại. Nếu bạn không nối được một KPI ứng viên với một kết quả ai đó quan tâm, nó có lẽ là chỉ số phù phiếm.

2. Giữ bộ nhỏ và cho mọi KPI một người sở hữu và một định nghĩa. Một hội đồng hay dịch vụ nên theo dõi một nhúm KPI, không phải năm mươi. Mỗi cái cần một định nghĩa chính xác (cái gì được tính, cái gì bị loại, trong khoảng thời gian nào), một người sở hữu có tên chịu trách nhiệm, và một nguồn dữ liệu có tài liệu. Định nghĩa mơ hồ là cách hai nhóm cãi nhau một tháng về một con số họ đã đo khác nhau.

3. Cân bằng mọi KPI để nó không bị gian lận riêng lẻ. Với mỗi thước đo, hỏi "một người hợp lý sẽ cải thiện con số này mà không cải thiện điều thật bằng cách nào, và thước đo cân bằng nào sẽ bắt họ?". Ghép tiếp cận với an toàn, thông lượng với tái nhập viện, chi phí với trải nghiệm, tốc độ triển khai với tỷ lệ thay đổi thất bại. Các bộ cân bằng làm gian lận hiển thị và tôn trọng thực tế rằng kết quả y tế và chăm sóc là đa chiều.

4. Ưu tiên thước đo kết quả và trải nghiệm hơn hoạt động. Số đếm hoạt động quyến rũ vì chúng dồi dào và thường gắn với kinh phí, nhưng chúng trả lời "chúng ta bận thế nào?" chứ không phải "nó có giúp ích không?". Bất cứ khi nào có thể, nâng thước đo kết quả và các thước đo trải nghiệm và kết quả do bệnh nhân báo cáo (PREM và PROM) vào bộ KPI, và hạ hoạt động thô xuống lớp hỗ trợ. Nơi một kết quả chậm hay khó đo, hãy chọn một thước đo quy trình dẫn đầu đã được thẩm định dự đoán nó đáng tin.

5. Trình bày KPI dưới dạng chuỗi thời gian với SPC, không phải so sánh hai điểm. Áp dụng cách tiếp cận Making Data Count: vẽ thước đo theo kiểu biểu đồ chạy hay biểu đồ kiểm soát để biến thiên nguyên nhân chung và tín hiệu nguyên nhân đặc biệt phân biệt được trong nháy mắt. Điều này ngăn các nhóm phản ứng với nhiễu, ăn mừng một tháng may mắn, hay bị phạt vì một tháng xui. Nó cũng đổi cuộc trò chuyện trong phòng họp từ "vì sao chúng ta trượt?" sang "quy trình có thực sự đổi không?" — câu hỏi cải tiến (xem Chủ đề 10.2 — Cải tiến chất lượng và khoa học cải tiến).

6. Phân đoạn KPI theo quần thể để lộ bất bình đẳng. Một con số gộp che giấu phân bố. Một thời gian chờ trung bình "tốt" có thể che giấu rằng bệnh nhân từ các khu phố thiếu thốn nhất, hay người cần thông dịch, chờ lâu hơn nhiều. Chia mọi KPI liên quan công bằng theo mức độ thiếu thốn, sắc tộc, tuổi, khuyết tật và tiếp cận số, theo nghĩa vụ công bằng sức khỏe và các khung như NHS Core20PLUS5. Trong dịch vụ số, phân đoạn cả tỷ lệ áp dụng và hoàn thành — một con số mức tham gia nổi bật có thể che giấu việc dịch vụ của bạn loại trừ đúng những người cần nó nhất (xem Chủ đề 4.5 — Dữ liệu, phân tích và quản lý sức khỏe dân số).

7. Xem chất lượng dữ liệu là điều kiện tiên quyết, và đo nó. Một KPI chỉ đáng tin bằng dữ liệu bên dưới. Theo dõi chất lượng dữ liệu của các trường KPI của bạn phụ thuộc — độ đầy đủ, tính hợp lệ, tính kịp thời, độ bao phủ — dùng các công cụ như Chỉ số Trưởng thành Chất lượng Dữ liệu của NHS, và hiển thị lưu ý chất lượng dữ liệu cạnh con số. Nếu 30% hồ sơ thiếu trường đó, hãy nói thế trên bảng điều khiển; một KPI trông tự tin xây trên dữ liệu kém còn tệ hơn không có KPI.

8. Dùng chỉ số triển khai cho chính dịch vụ số, được chọn với cùng sự nghiêm ngặt. Với phần mềm bạn xây và vận hành, bốn chìa khóa DevOps Research and Assessment (DORA) — tần suất triển khai, thời gian dẫn cho thay đổi, tỷ lệ thay đổi thất bại và thời gian khôi phục dịch vụ — cho một cái nhìn cân bằng về tốc độ và ổn định. Chúng chống gian lận như một bộ: bạn không thể phát hành nhanh hơn bằng cách phá hỏng mọi thứ, vì tỷ lệ thay đổi thất bại và thời gian khôi phục sẽ bắt. Bổ sung chúng bằng KPI độ tin cậy và an toàn quan trọng về lâm sàng, như tỷ lệ sự cố và tính sẵn sàng của các chức năng an toàn trọng yếu (xem Chủ đề 3.6 và Chủ đề 3.8).

9. Phân lớp báo cáo để mỗi đối tượng nhận đúng độ cao. Một nhóm tuyến đầu cần các thước đo quy trình chi tiết, thời gian thực; một hội đồng dịch vụ cần một nhúm cân bằng với SPC; ban lãnh đạo hệ thống cần một vài thước đo kết quả và công bằng được tuyển chọn. Thiết kế các lớp có chủ đích để cái nhìn trên cùng là sự tổng hợp trung thực của các lớp bên dưới, không phải một tập con được chọn tay để làm đẹp. Đây là biện pháp phòng thủ cấu trúc của bạn chống báo cáo dưa hấu (Chủ đề 10.4).

10. Rà soát và ngừng KPI theo lịch. Chỉ số thoái hóa: một thước đo từng thúc đẩy cải thiện thực có thể thành nghi thức bị gian lận một khi hành vi nó nhắm đến đã bám rễ, và rủi ro mới xuất hiện mà không gì theo dõi. Đặt KPI vào một chu kỳ rà soát đều đặn nơi bạn hỏi mỗi cái "cái này còn cho chúng ta biết điều gì chúng ta hành động không?" và ngừng những cái đã chết. Một bộ KPI cũ không trung lập — nó chủ động chỉ sai hướng sự chú ý.

Câu hỏi để thảo luận với nhóm của bạn#

1. Với mỗi KPI nổi bật của chúng ta, ai đó có thể cải thiện con số mà không cải thiện thực tế bằng cách nào — và chúng ta có nhận ra không? Đây là bài kiểm tra áp lực theo định luật Goodhart, và tốt nhất làm như một bài tập đối kháng có chủ đích. Lấy từng KPI và để nhóm đóng vai một dịch vụ bị căng đang cố đạt nó: xuất viện trước nửa đêm để đặt lại đồng hồ, đổi băng cho một bệnh nhân đang chờ, đóng và mở lại một phiếu để đặt lại thời gian giải quyết, đăng ký hàng loạt người dùng không bao giờ quay lại. Điểm chính không phải sự hoài nghi về đồng nghiệp mà là nhận ra rằng áp lực cộng với mục tiêu một con số tạo ra những méo mó dự đoán được, đặc biệt khi lương, danh tiếng hay phạt hợp đồng gắn với con số. Một câu trả lời tốt gọi tên đường gian lận cụ thể cho mỗi KPI và xác định thước đo cân bằng hay kiểm tra dữ liệu sẽ vạch trần nó — và trung thực đánh dấu bất kỳ KPI nào mà hiện tại bạn không có biện pháp bảo vệ như vậy. Nếu một thước đo không bảo vệ được theo cách này, cuộc thảo luận nên kết thúc bằng một quyết định ghép nó, định nghĩa lại nó, hay bỏ nó.

2. Những con số nào của chúng ta được báo cáo để cải tiến, và những con số nào để phán xét — và chúng ta có trình bày mỗi cái theo cách khớp không? Các nhóm thường xuyên lấy một thước đo xây để giúp một dịch vụ học hỏi và trao nó, không đổi, cho một ủy ban dùng nó để bắt ai đó chịu trách nhiệm, hoặc ngược lại. Căng thẳng là thật: lãnh đạo cần đảm bảo, và cải tiến cần sự an toàn để thấy vấn đề trung thực, và cùng một biểu đồ không phải lúc nào cũng phục vụ cả hai mà không méo mó. Đi qua các gói họp hội đồng và vận hành thực của bạn và gắn nhãn mục đích thực của từng thước đo, rồi hỏi cách trình bày có khớp không — bạn có đang cho thấy so sánh đỏ/xanh hai điểm ở nơi một biểu đồ SPC sẽ ngăn phản ứng giật gối trước nhiễu? Một câu trả lời tốt, trung thực sẽ thừa nhận nơi văn hóa phán xét đã len vào các diễn đàn cải tiến (khiến nhân viên giấu vấn đề) và nơi các tường thuật cải tiến mơ hồ được dùng để né trách nhiệm chính đáng. Mục tiêu là một lựa chọn có ý thức cho mỗi thước đo, với SPC làm cách trình bày mặc định, thay vì một mớ hỗn độn ngẫu nhiên.

3. KPI của chúng ta hé lộ hay che giấu bất bình đẳng, và trải nghiệm của ai hoàn toàn vắng mặt trong chúng? KPI gộp thoải mái chính vì chúng trung bình hóa những người ở rìa, và trong y tế và chăm sóc những rìa đó là nơi tác hại tránh được tập trung. Thảo luận chỉ số nào của bạn được phân đoạn theo mức độ thiếu thốn, sắc tộc, khuyết tật, tuổi và tiếp cận số — và cái nào vẫn chỉ được báo cáo là một con số toàn hệ thống có thể trông khỏe trong khi một nhóm con bị bỏ rơi. Đẩy xa hơn tới những người không bao giờ vào dữ liệu của bạn: bệnh nhân không qua nổi bước đăng nhập, đã bỏ biểu mẫu số, chưa bao giờ được giới thiệu, đã từ chối chia sẻ trường nhân khẩu học bạn dùng để phân đoạn. Một câu trả lời mạnh xác định ít nhất một KPI nơi phân đoạn đã đổi hoặc sẽ đổi câu chuyện, thừa nhận trung thực các giới hạn chất lượng dữ liệu và đồng ý đối với phân đoạn, và cam kết một bước cụ thể — dù là đại diện hay một nghiên cứu định tính nhỏ — để thấy điều hiện đang vô hình. Bất cứ điều gì ít hơn có nguy cơ tạo ra một bảng điều khiển đúng về mặt kỹ thuật và mù về mặt đạo đức.

4. Chúng ta thực sự đang theo dõi bao nhiêu KPI, và cái nào chúng ta sẽ không mất gì khi ngừng? Chữ chính chỉ có nghĩa nếu bộ nhỏ, vậy mà chỉ số tích tụ nhanh hơn bất kỳ ai gỡ bỏ — một báo cáo quốc gia ở đây, một thước đo hợp đồng ở kia, một con số cựu giám đốc từng yêu cầu và không ai dám bỏ từ đó. Căng thẳng là mỗi KPI nghe có thể bảo vệ khi đứng riêng, nên bộ phình ra cho đến khi gói họp hội đồng dày một trăm trang không ai đọc và các tín hiệu thực sự quan trọng bị chôn giữa các thước đo ma cà rồng được sản xuất theo thói quen. Đi qua báo cáo thực của bạn và đếm chỉ số một cách trung thực, rồi hỏi với mỗi cái liệu có ai hành động theo nó trong năm qua và nó cung cấp thông tin cho quyết định nào; các thước đo không vượt qua phép thử nào là gỗ mục vẫn tiêu tốn thời gian nhà phân tích và pha loãng sự chú ý. Một câu trả lời tốt gọi tên một con số cụ thể bạn sẽ giữ cho mỗi dịch vụ, xác định ít nhất một KPI để ngừng hẳn, và đặt một chu kỳ rà soát theo lịch để bộ vẫn được tuyển chọn thay vì lặng lẽ phồng lại. Hãy đề phòng phản xạ cho rằng ngừng một thước đo là thừa nhận thất bại — phép trừ có kỷ luật là dấu hiệu trưởng thành, không phải bỏ bê.

5. Chúng ta thực sự tin dữ liệu bên dưới mỗi KPI nổi bật đến đâu, và bảng điều khiển có nói điều đó không? Một con số trông tự tin xây trên một trường thiếu 30% nguy hiểm hơn không có con số, vì nó mời các quyết định mà dữ liệu không chống đỡ được trong khi khoác uy quyền của một con số sạch. Trong y tế và chăm sóc điều này cấp tính: các trường nhân khẩu học cần cho phân đoạn công bằng thường thưa thớt, thực hành mã hóa khác nhau giữa các cơ sở, và chính hành động số hóa một quy trình trên giấy có thể dịch chuyển cái được ghi và khi nào. Thảo luận, với mỗi KPI, liệu bạn có biết độ đầy đủ, tính hợp lệ, tính kịp thời và độ bao phủ của nó, và liệu những lưu ý đó có đi cùng con số lên gói họp hội đồng hay bị lặng lẽ lột đi khi nó đi lên. Một câu trả lời mạnh chỉ ra một công cụ cụ thể — một kiểm tra chất lượng dữ liệu, DQMI, một ngưỡng đầy đủ dưới đó thước đo bị đánh dấu — và cho thấy ít nhất một nơi một lưu ý chất lượng dữ liệu được hiển thị cạnh KPI thay vì bị giấu. Phiên bản trung thực thừa nhận nơi bạn hiện đang báo cáo một con số bạn không thể hoàn toàn đứng sau, và xem sửa dữ liệu là một phần của KPI, không phải mục backlog riêng.

6. Các lớp báo cáo của chúng ta có tổng hợp trung thực không, và đỏ có thể thành xanh ở đâu trên đường tới hội đồng? Các đối tượng khác nhau chính đáng cần các độ cao khác nhau — một nhóm tuyến đầu muốn thước đo quy trình chi tiết thời gian thực, một hội đồng muốn một nhúm cân bằng với SPC, một hệ thống muốn vài kết quả được tuyển chọn — nhưng mỗi lần tổng hợp là cơ hội cho bức tranh bên dưới bị làm mượt, trung bình hóa hay chọn tay thành thứ dễ chịu hơn sự thật. Đây là gốc cấu trúc của báo cáo dưa hấu: càng nhiều lớp giữa khoa và hội đồng, càng nhiều nơi một phân bố có thể bị dẹt thành một giá trị trung bình trấn an, hay một cơ sở đang vật lộn bị bù trừ bằng một cơ sở mạnh. Truy một KPI từ nguồn tuyến đầu lên đến cái nhìn trên cùng và hỏi liệu con số điều hành là sự tổng hợp trung thực hay một tập con làm đẹp, và ai — nếu có — kiểm toán sự tổng hợp đó. Một câu trả lời tốt cho thấy các lớp báo cáo được thiết kế có chủ đích với định nghĩa và người sở hữu thỏa thuận, xác định ít nhất một điểm nơi tổng hợp có thể che giấu vấn đề, và gọi tên thước đo cân bằng hay đào sâu giữ cái nhìn trên cùng trung thực. Trung thực ở đây nghĩa là thừa nhận nơi tổng hợp hiện được tin chứ không được kiểm tra (xem Chủ đề 10.4).

Trong thực tế: một ví dụ về y tế và chăm sóc#

Một hệ thống chăm sóc tích hợp (ICS) ra mắt một dịch vụ giới thiệu số cho phép bác sĩ gia đình giới thiệu thẳng vào vật lý trị liệu cơ xương khớp (MSK) cộng đồng, thay thế quy trình giấy và fax. Bản năng của hội đồng chương trình là báo cáo hai KPI: số lượt giới thiệu số nhận được, và thời gian hoạt động hệ thống. Trong vòng ba tháng cả hai đều xanh mạnh — hàng nghìn lượt giới thiệu, thời gian hoạt động 99,9% — và hội đồng sẵn sàng tuyên bố thành công.

Giám đốc lâm sàng bất an và yêu cầu nhóm phân tích (làm theo mô thức trong Chủ đề 4.5) dựng lại bộ KPI quanh kết quả. Họ chốt một nhúm cân bằng: thời gian từ giới thiệu đến tiếp xúc đầu tiên (tiếp cận, hiển thị bằng biểu đồ SPC), tỷ lệ giới thiệu bị trả lại hoặc từ chối vì không đầy đủ (một tín hiệu chất lượng dẫn đầu), điểm kết quả do bệnh nhân báo cáo lúc xuất viện (kết quả), một thước đo trải nghiệm ngắn (bạn có cảm thấy được tham gia vào các quyết định không?), và tỷ lệ thay đổi thất bại của các bản phát hành dịch vụ (ổn định triển khai). Mọi thước đo tiếp cận và kết quả được phân đoạn theo thập phân vị thiếu thốn và theo việc bệnh nhân có cần hỗ trợ số không.

Cái nhìn dựng lại kể một câu chuyện rất khác. Thời gian hoạt động thực sự ổn, nhưng tỷ lệ trả lại cho người giới thiệu là 22% — cứ năm lượt giới thiệu có một bị trả lại vì biểu mẫu số bắt buộc một tiền sử văn bản tự do, nên bác sĩ gia đình gian lận bằng cách gõ "xem đính kèm" và nhóm phân loại từ chối chúng. Biểu đồ SPC cho thấy thời gian tiếp cận ổn định nhưng nằm cao hơn nhiều so với mục tiêu và không có xu hướng cải thiện. Và phân đoạn cho thấy bệnh nhân ở hai thập phân vị thiếu thốn nhất chỉ bằng một nửa khả năng hoàn thành lộ trình tự giới thiệu mà dịch vụ đã lặng lẽ hướng người ta tới, nới rộng một khoảng cách mà chương trình đã giả định mình đang thu hẹp. Không điều nào trong số này hiển thị trong hai con số xanh ban đầu. Hội đồng thiết kế lại biểu mẫu, thêm lộ trình giới thiệu có hỗ trợ, và giữ bộ KPI cân bằng, phân đoạn, dựa trên SPC làm cái nhìn thường trực — với số lượt giới thiệu thô bị hạ xuống thước đo hỗ trợ, nơi nó thuộc về.

Góc nhìn theo khu vực#

Công ty khởi nghiệp#

Một công ty y tế số khởi nghiệp sống hay chết nhờ vài chỉ số hành động được, nên kỷ luật là tập trung tàn nhẫn và trung thực. Người sáng lập bị cám dỗ cho nhà đầu tư xem chỉ số phù phiếm — lượt tải tích lũy, tổng số người dùng đã đăng ký — vì chúng chỉ tăng; hãy chống lại, và dẫn đầu bằng kích hoạt, giữ chân, và, nơi bạn đo được, kết quả lâm sàng hay một đại diện đã thẩm định. Với số nhỏ, SPC và phân đoạn khó hơn nhưng còn quan trọng hơn: một nhúm trải nghiệm kém có thể là toàn bộ tín hiệu an toàn của bạn. Gắn công cụ đo cho sản phẩm từ ngày đầu để mỗi KPI nối một thay đổi bạn đã phát hành với một thay đổi hành vi thực, và thẳng thắn với đối tác lâm sàng và quản lý về giới hạn chất lượng dữ liệu thay vì đánh bóng một tập dữ liệu mỏng.

Doanh nghiệp nhỏ#

Một nhà cung cấp nhỏ đã thành lập — một phòng khám bác sĩ gia đình, một hiệu thuốc cộng đồng, một nhà dưỡng lão, một cơ quan chăm sóc tại nhà, một phòng khám đơn lẻ, hay một nhà cung cấp công nghệ y tế nhỏ qua giai đoạn chưa có doanh thu — mang cùng nghĩa vụ đo lường và công bằng như một quỹ lớn nhưng không có nhà phân tích chuyên trách và ít thời gian rảnh. Cái bẫy là chìm trong các KPI mà báo cáo quốc gia, CQC và đơn vị đặt hàng đã đòi trong khi không đo gì giúp bạn điều hành nơi đó; thuốc giải là chọn một nhúm thực sự nhỏ thước đo kết quả và trải nghiệm bạn thực sự hành động được, và dựa vào những gì hệ thống lâm sàng hay quản lý phòng khám hiện có của bạn đã ghi thay vì xây công cụ đo mới. SPC vẫn đáng làm ngay cả bằng tay hay trong bảng tính — một biểu đồ chạy đơn giản của, chẳng hạn, thời gian chờ cuộc hẹn hằng tuần sẽ ngăn bạn đuổi theo nhiễu của một tuần xấu. Phân đoạn quan trọng không kém ở quy mô này, nhưng với số nhỏ vài bệnh nhân riêng lẻ có thể làm một phần trăm dao động, nên hãy đọc các phân tích chi tiết như gợi ý nhìn kỹ hơn thay vì phán quyết. Hãy trung thực với đơn vị đặt hàng về giới hạn chất lượng dữ liệu của một hoạt động tinh gọn, và chống việc áp dụng bảng điều khiển năm mươi thước đo của tổ chức lớn khi năm con số chọn tốt sẽ phục vụ bệnh nhân của bạn tốt hơn.

Doanh nghiệp lớn#

Một quỹ NHS lớn hay nhà cung cấp công nghệ y tế vốn đã chìm trong chỉ số — báo cáo quốc gia, KPI hợp đồng, thước đo hội đồng, bảng điều khiển vận hành — nên thách thức là tuyển chọn và mạch lạc, không phải thu thập. Áp dụng SPC khắp báo cáo hội đồng và vận hành (như Making Data Count chủ trương) để ngừng đuổi theo nhiễu hằng tháng, và xây các lớp báo cáo rõ ràng để cái nhìn điều hành là sự tổng hợp trung thực của cái nhìn tuyến đầu. Báo cáo dưa hấu là rủi ro ở quy mô doanh nghiệp: càng nhiều lớp giữa khoa và hội đồng, càng dễ để đỏ thành xanh trên đường lên, nên hãy đầu tư vào thước đo cân bằng và lưu ý chất lượng dữ liệu giữ cái nhìn trên cùng trung thực. Ngừng KPI kế thừa một cách có chủ đích; các tổ chức lớn tích tụ thước đo ma cà rồng mà không ai hành động theo nhưng mọi người vẫn sản xuất.

Chính phủ#

Một cơ quan công quốc gia hay địa phương đặt KPI lan khắp cả hệ thống và trở thành mục tiêu chính trị, khiến định luật Goodhart là mối nguy hệ thống chứ không cục bộ — một mục tiêu thời gian chờ quốc gia định hình lại ưu tiên lâm sàng khắp nơi chỉ sau một đêm. Thiết kế các chỉ số được công bố với biết rằng chúng sẽ bị tối ưu về phía, ghép chúng với thước đo cân bằng và phân đoạn công bằng, và minh bạch về định nghĩa và chất lượng dữ liệu vì niềm tin công chúng phụ thuộc vào đó. Các khung như NHS Outcomes Framework và Core20PLUS5 tồn tại chính để giữ sự chú ý quốc gia trên kết quả và bất bình đẳng thay vì hoạt động thô. Chính phủ cũng mang một nghĩa vụ những bên khác không có: đo những người mà dịch vụ của nó loại trừ, không chỉ những người nó phục vụ, vì người bị loại trừ hiếm khi xuất hiện trong dữ liệu hành chính.

Các kiểu thất bại thường gặp#

• Đếm hoạt động và gọi là thành công. Lượt giới thiệu nhận được, lượt đăng nhập, cuộc hẹn được đề nghị — bận không giống hiệu quả. Nâng kết quả và trải nghiệm; hạ hoạt động xuống lớp hỗ trợ.
• Con số đơn lẻ không có thước đo cân bằng. Bất kỳ KPI đơn lẻ nào dưới áp lực đều sẽ bị gian lận. Luôn ghép các thước đo để việc cải thiện cái này với cái giá của cái kia hiển thị.
• Báo cáo đỏ/xanh hai điểm. "Giảm so với tháng trước, dưới mục tiêu" gần như không cho bạn biết quy trình có đổi không. Dùng biểu đồ chạy và kiểm soát SPC thay vào đó.
• Bảng điều khiển dưa hấu. Tổng hợp biến đỏ bên dưới thành xanh bề mặt. Xây các lớp báo cáo trung thực và kiểm toán sự tổng hợp (Chủ đề 10.4).
• Chỉ số phù phiếm. Số đếm tích lũy, chỉ tăng, không thể báo được vấn đề. Ưu tiên chỉ số hành động được gắn với một quyết định.
• Mù công bằng do không phân đoạn. Giá trị trung bình che giấu những người đang bị bỏ rơi. Phân đoạn theo quần thể và tìm xem ai hoàn toàn vắng mặt.
• KPI xây trên dữ liệu chưa được xem xét. Một con số tự tin trên dữ liệu kém gây hiểu nhầm. Đo và công bố chất lượng dữ liệu cạnh KPI.
• KPI ma cà rồng. Thước đo vẫn được sản xuất theo thói quen mà không ai hành động theo. Rà soát và ngừng theo lịch.

Mô hình trưởng thành#

Danh sách kiểm tra#

• Mọi KPI truy được về một kết quả quan trọng với một bệnh nhân, công dân hay bác sĩ.
• Bộ KPI cho mỗi dịch vụ nhỏ, và mỗi cái có người sở hữu, một định nghĩa bằng văn bản và một nguồn dữ liệu có tên.
• Mỗi KPI có ít nhất một thước đo cân bằng để không thể bị gian lận riêng lẻ.
• Thước đo kết quả và trải nghiệm được ưu tiên; hoạt động thô nằm ở lớp hỗ trợ.
• KPI vận hành được trình bày dưới dạng biểu đồ chạy/kiểm soát SPC, không phải so sánh đỏ/xanh hai điểm.
• KPI liên quan công bằng được phân đoạn theo mức độ thiếu thốn, sắc tộc, khuyết tật, tuổi và tiếp cận số.
• Chất lượng dữ liệu của các trường đằng sau mỗi KPI được theo dõi và lưu ý trên bảng điều khiển.
• Việc triển khai dịch vụ số được đo bằng một bộ cân bằng (ví dụ bốn chìa khóa DORA cộng an toàn/độ tin cậy).
• Các lớp báo cáo được thiết kế để cái nhìn trên cùng là sự tổng hợp trung thực của cái nhìn tuyến đầu.
• KPI được rà soát theo lịch, với thước đo đã chết hoặc bị gian lận được ngừng.
• Bạn đã hỏi, với mỗi KPI, "ai hoàn toàn vắng mặt trong con số này?"

Nguồn chính#

• NHS England — Making Data Count (kiểm soát quá trình thống kê cho dữ liệu vận hành NHS)
• Institute for Healthcare Improvement — Science of Improvement: thước đo kết quả, quy trình và cân bằng
• NHS England — NHS Outcomes Framework; cách tiếp cận Core20PLUS5 giảm bất bình đẳng chăm sóc sức khỏe
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (chỉ số DORA); các báo cáo Google Cloud DORA State of DevOps
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — Measuring success / đo hiệu suất dịch vụ của bạn
• The Health Foundation — hướng dẫn về đo lường để cải tiến

Tài liệu tham khảo#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php