주제 10.1 — 핵심 성과 지표(KPI)

핵심 성과 지표(KPI)는 서비스가 안전하고, 공정하고, 효과적이며, 신뢰받는지 알려 주는 작고 신중히 고른 숫자이며, 보건·돌봄에서 그 숫자를 잘 고르고 읽는 것은 행정적 정리가 아니라 그 자체로 임상 안전과 공적 책임의 문제다.

보건·돌봄에서 이것이 중요한 이유#

보건·돌봄에서 지켜보는 숫자가 사람들이 받는 돌봄을 형성한다. "예약된 환자"는 세지만 "진료받은 환자"는 세지 않는 대기자 명단 KPI는 집에서 조용히 악화되는 집단을 숨길 수 있다. 가동 시간은 초록이지만 장애 사용자가 예약을 완료할 수 있는지에 침묵하는 디지털 서비스 대시보드는 접근 문제가 건강 불평등으로 자라게 둘 것이다. 무엇을 측정하는지가 무엇을 중시하는지 신호하며, 직원, 공급업체, 알고리즘은 모두 측정된 목표를 향해 최적화한다. 때로는 실제로 중요했던 측정되지 않은 것을 희생하면서다.

위험은 대부분의 분야보다 여기서 높다. 실패 양상이 인간적이기 때문이다. Mid Staffordshire와 다른 조사들은 돌봄의 질이 그 밑에서 무너지는 동안 대표 재정 및 활동 목표를 달성한 조직을 거듭 발견했다. 지표는 환자가 해를 입는 동안 초록으로 위로 보고되었다. 이제 널리 "수박 보고"(겉은 초록이고 속은 빨강)라 불리는 패턴으로, 주제 10.4 — CEO와 고위 리더를 위한 가시성이 깊이 다룬다. 좋은 KPI는 보고된 그림과 실제 그림 사이의 그 격차에 대한 방어의 하나다.

KPI는 공적 자금과 공공 신뢰도 쓴다. 공표하는 모든 지표는 시민, 규제 기관, 위탁자가 시스템을 판단하는 방식의 일부가 된다. 목표를 과장하거나, 골라 뽑거나, 조작하는 것은 단지 나쁜 관리가 아니라 디지털 보건이 사람들이 데이터를 공유하고 새 서비스를 도입하게 하는 데 의존하는 신뢰를 침식한다. 이 주제는 주제 10.0 — 목표와 핵심 결과(OKR)의 측정 파트너다. OKR은 집중된 변화를 이끌고, KPI는 운영하는 서비스와 시스템의 지속적인 건강을 모니터링한다.

핵심 개념#

성과 지표, 곧 KPI는 중요한 목표에 대한 진전을 반영하기 때문에 선택된 지표다. *성과 지표(metric)*는 활동이나 상태의 모든 측정이고, KPI는 의도적으로 "이것을 지켜보라"로 격상시킨 하위 집합이다. *핵심(key)*이라는 단어는 하중을 진다. 모든 것이 KPI라면 아무것도 KPI가 아니다. 유용한 규율은 서비스당 소수의 KPI를 두고, 각각에 지정된 소유자, 정의, 데이터 원천, 이사회에 오를 자격이 있는 이유를 두는 것이다.

좋은 KPI에는 네 가지 속성이 있다. 단지 내부 활동이 아니라 환자, 시민, 임상의에게 진정으로 중요한 성과에 정렬되어 있다. 조치 가능하다. 움직이면 누군가 무엇을 할 수 있다. 적시이다. 분기가 닫히고 6주 뒤가 아니라 조치할 수 있을 만큼 일찍 도착한다. 그리고 조작하기 어렵다. 실제를 개선하지 않고는 서류상으로 개선할 수 없다. 마지막 시험에 실패하는 지표는 Goodhart의 법칙을 부른다. "척도가 목표가 되면 좋은 척도이기를 멈춘다."

지표는 흔히 선행과 후행으로 나뉜다. 후행 지표는 사후에 성과를 확인한다(30일 사망률, 연간 환자 만족도). 선행 지표는 더 일찍 움직여 후행 지표를 예측한다(약물 조정 완결성, 배포 빈도, 24시간 안에 분류된 의뢰의 비율). 둘 다 필요하다. 후행 지표는 이기고 있는지 알려 주고, 선행 지표는 결과를 바꿀 수 있을 때 알려 준다. 많은 경제 및 운영 프레임워크가 이 선행/후행 구별을 설명한다.

평행하고 똑같이 중요한 구분은 과정, 산출, 성과 척도다. 과정 척도는 일을 했는지 센다(제안된 진료 예약, 이전된 기록). 산출 척도는 만들어진 것을 센다(보낸 서신, 결과가 나온 검사). 성과 척도는 사람에게 실제로 무엇이 바뀌었는지 포착한다. 증상 개선, 피한 입원, 환자 보고 삶의 질 점수 같은 성과 척도다. 보건·돌봄 시스템은 활동을 세기 쉽고 흔히 돈이 흐르는 방식이므로 활동에 만성적 편향이 있다. 저항하라. 성과와 경험을 우선시하고, 과정 척도는 그것을 설명하는 선행 지표로 쓰라.

어떤 단일 숫자도 홀로 안전하지 않으므로 균형 잡힌 측정을 쓰라. Kaplan과 Norton의 균형 성과표 규율은 각 성과 척도를 다른 것들과 짝지어, 하나를 개선하면서 다른 것을 희생하는 것이 보이게 한다. Institute for Healthcare Improvement는 이를 성과, 과정, 균형(balancing) 척도로 공식화한다. 균형 척도는 개선이 다른 곳에 일으킬 수 있는 해악을 지켜본다(예컨대 더 빠른 퇴원을 재입원으로 균형 잡기).

올라가는 모든 숫자가 진전은 아니다. 허영 지표는 인상적으로 보이고 믿을 만하게 오르지만 결정에 정보를 주지 않는다. 총 등록 사용자, 누적 로그인, 페이지 뷰다. 린 스타트업 운동은 허영 지표와 조치 가능한 지표의 대비를 대중화했다. 조치 가능한 지표는 여러분이 한 변화를 조치할 수 있는 행동이나 성과의 변화에 연결한다. 누적 수는 전형적인 신호다. 오르기만 하므로 무언가 잘못되었음을 결코 알릴 수 없다.

마지막으로 개선을 위한 측정과 판단을 위한 측정을 구별하라. 판단은 "이번 달 목표를 달성했는가?"를 묻고 살아 있는 프로세스를 지난 기간과의 2점, 빨강 또는 초록 비교로 환원하는데, 신호와 잡음을 구별할 수 없으므로 이 비교는 거의 언제나 통계적으로 무의미하다. 개선은 "이 프로세스가 바뀌고 있는가, 그 변화를 신뢰할 수 있는가?"를 묻고 통계적 공정 관리(SPC)로 답한다. 지표를 시간에 걸쳐 런 차트나 관리한계가 있는 관리도에 그려, 변동이 평범한(공통 원인) 잡음인지 조치할 가치가 있는 진짜(특수 원인) 신호인지 볼 수 있게 한다. NHS England의 Making Data Count 프로그램은 나쁜 결정을 이끄는 "지난달보다 올랐고 목표보다 내렸다"는 반사를 없애기 위해 정확히 이것을 NHS 전반의 운영 데이터 제시를 위한 권장 방식으로 만들었다.

모범 사례#

1. 성과에서 시작하여 지표로 거슬러 올라가라. 환자, 시민, 임상의에게 참이어야 하는 것 — 더 적은 피할 수 있는 입원, 더 빠른 접근, 안전한 투약 — 을 명명한 뒤에야 그것이 일어나고 있음을 무엇이 알려 줄지 물으라. 이는 시스템이 우연히 기록하는 것을 측정하는 기본 함정을 피하게 해 준다. 후보 KPI를 누군가 신경 쓰는 성과에 연결할 수 없다면 아마도 허영 지표다.

2. 집합을 작게 유지하고 모든 KPI에 소유자와 정의를 주라. 이사회나 서비스는 쉰 개가 아니라 소수의 KPI를 지켜봐야 한다. 각각에 정확한 정의(무엇이 세어지고, 무엇이 제외되며, 어떤 기간인지), 책임지는 지정된 소유자, 문서화된 데이터 원천이 필요하다. 모호한 정의는 두 팀이 다르게 측정하던 숫자를 두고 한 달간 다투는 방식이다.

3. 모든 KPI를 균형 잡아 고립해서 조작되지 않게 하라. 각 척도에 대해 "합리적인 사람이 실제를 개선하지 않고 이 숫자를 어떻게 개선할 수 있으며, 어떤 균형 척도가 그들을 잡아내겠는가?"를 물으라. 접근을 안전과, 처리량을 재입원과, 비용을 경험과, 딜리버리 속도를 변경 실패율과 짝지으라. 균형 잡힌 집합은 조작을 보이게 하고 보건·돌봄 성과가 다차원적이라는 현실을 존중한다.

4. 활동보다 성과와 경험 척도를 우선시하라. 활동 수는 풍부하고 흔히 재원에 연결되어 있어 유혹적이지만, "얼마나 바빴나?"에 답할 뿐 "도움이 되었나?"에는 답하지 않는다. 가능하면 성과 척도와 환자 보고 경험 및 성과 척도(PREM과 PROM)를 KPI 집합으로 격상시키고, 원시 활동은 지원 계층으로 내리라. 성과가 느리거나 측정하기 어려운 곳에서는 그것을 신뢰성 있게 예측하는 검증된 선행 과정 척도를 고르라.

5. KPI를 2점 비교가 아니라 SPC가 있는 시계열로 제시하라. Making Data Count 접근을 채택하라. 지표를 런 차트나 관리도 스타일로 그려 공통 원인 변동과 특수 원인 신호를 한눈에 구별할 수 있게 하라. 이는 팀이 잡음에 반응하거나, 운 좋은 달을 축하하거나, 운 나쁜 달에 벌받는 것을 막는다. 또한 이사회 대화를 "왜 놓쳤나?"에서 "프로세스가 실제로 바뀌었나?"로 바꾸며, 이것이 개선 질문이다(주제 10.2 — 품질 개선 및 개선 과학 참조).

6. 인구별로 KPI를 세분화하여 불평등을 드러내라. 집계 숫자는 분포를 숨긴다. "좋은" 평균 대기 시간은 가장 박탈된 동네의 환자나 통역이 필요한 환자가 훨씬 더 오래 기다림을 숨길 수 있다. 형평성과 관련된 모든 KPI를 건강 형평성 의무와 NHS Core20PLUS5 같은 프레임워크에 따라 박탈, 인종, 연령, 장애, 디지털 접근별로 나누라. 디지털 서비스에서는 도입과 완료율도 세분화하라. 대표 이용률 수치는 서비스가 정확히 가장 필요한 사람들을 배제하고 있음을 가릴 수 있다(주제 4.5 — 데이터 분석과 인구 건강 관리 참조).

7. 데이터 품질을 전제 조건으로 다루고 측정하라. KPI는 그 밑의 데이터만큼만 신뢰할 수 있다. NHS Data Quality Maturity Index 같은 도구로 KPI가 의존하는 필드의 데이터 품질 — 완전성, 유효성, 적시성, 범위 — 을 추적하고, 숫자와 함께 데이터 품질의 단서를 보이라. 기록의 30%에 필드가 누락되어 있다면 대시보드에 그렇게 말하라. 나쁜 데이터 위에 지은 자신 있어 보이는 KPI는 KPI가 없는 것보다 나쁘다.

8. 디지털 서비스 자체의 딜리버리 지표도 같은 엄격함으로 고르라. 구축하고 운영하는 소프트웨어에는 DevOps Research and Assessment(DORA)의 네 가지 핵심 — 배포 빈도, 변경 리드 타임, 변경 실패율, 서비스 복구 시간 — 이 속도와 안정성의 균형 잡힌 시야를 준다. 집합으로서 조작에 저항한다. 변경 실패율과 복구 시간이 잡아내므로 고장 내면서 더 빨리 출시할 수 없다. 사고율과 안전이 중요한 기능의 가용성처럼 임상적으로 중요한 신뢰성 및 안전 KPI로 보완하라(주제 3.6과 주제 3.8 참조).

9. 보고를 계층화하여 각 청중이 올바른 고도를 얻게 하라. 일선 팀은 세밀한 실시간 과정 척도가, 서비스 이사회는 SPC가 있는 균형 잡힌 소수가, 시스템 리더십은 선별된 몇 개의 성과와 형평성 척도가 필요하다. 상위 시야가 골라 뽑은 듣기 좋은 하위 집합이 아니라 아래 시야들의 정직한 집계가 되도록 계층을 의도적으로 설계하라. 이것이 수박 보고에 대한 구조적 방어다(주제 10.4).

10. KPI를 일정에 따라 검토하고 폐기하라. 지표는 퇴화한다. 실제 개선을 이끈 척도도 겨냥한 행동이 내재되면 조작된 의례가 될 수 있고, 아무것도 지켜보지 않는 새 위험이 나타난다. KPI를 정기 검토에 올려 각각에 "이것이 여전히 우리가 조치하는 무언가를 알려 주는가?"를 묻고 죽은 가지를 쳐 내라. 낡은 KPI 집합은 중립적이지 않다. 적극적으로 주의를 잘못된 곳으로 돌린다.

팀과 논의할 질문#

1. 각 대표 KPI에 대해, 누군가 현실을 개선하지 않고 숫자를 어떻게 개선할 수 있으며 — 우리가 알아챌 것인가? 이것이 Goodhart의 법칙 스트레스 시험이며, 의도적으로 적대적인 연습으로 하는 것이 가장 좋다. 각 KPI를 취해 팀이 그것을 맞추려는 쫓기는 서비스의 역할을 하게 하라. 시계를 재설정하려고 자정 전에 퇴원시키기, 대기 환자를 재분류하기, 해결 시간을 재설정하려고 티켓을 닫았다 다시 열기, 돌아오지 않는 사용자를 일괄 등록하기. 요점은 동료에 대한 냉소가 아니라 압박에 단일 숫자 목표가 더해지면, 특히 급여, 평판, 계약 위약금이 그 수치에 걸려 있을 때, 예측 가능한 왜곡을 낳는다는 인식이다. 좋은 답은 각 KPI의 구체적 조작 경로를 명명하고 그것을 드러낼 균형 척도나 데이터 점검을 식별하며, 현재 그런 안전장치가 없는 KPI를 정직하게 표시한다. 이렇게 방어할 수 없는 지표라면, 토론은 짝짓거나, 재정의하거나, 버리겠다는 결정으로 끝나야 한다.

2. 우리의 숫자 중 어느 것을 개선을 위해, 어느 것을 판단을 위해 보고하고 있으며 — 각각을 그에 맞게 제시하고 있는가? 팀은 서비스가 배우도록 돕기 위해 만든 지표를 바꾸지 않은 채 누군가에게 책임을 묻는 위원회에 넘기거나 그 반대로 하는 일이 일상적이다. 긴장은 실재한다. 리더는 보증이 필요하고, 개선은 문제를 정직하게 볼 안전이 필요하며, 같은 차트가 왜곡 없이 둘 다에 봉사할 수는 없는 때가 많다. 실제 이사회와 운영 자료를 훑으며 각 지표의 진짜 목적에 라벨을 붙이고, 제시가 맞는지 물으라. SPC 차트가 잡음에 대한 반사적 반응을 막을 곳에서 2점 빨강/초록 비교를 보이고 있는가? 좋고 정직한 답은 판단 문화가 개선 포럼으로 스며든 곳(직원이 문제를 숨기게 만듦)과 모호한 개선 서사가 정당한 책임을 피하는 데 쓰이는 곳을 인정한다. 목표는 우연한 뒤섞임이 아니라 SPC를 기본 제시로 하는 지표별 의식적 선택이다.

3. 우리 KPI는 불평등을 드러내는가 숨기는가, 그리고 누구의 경험이 아예 빠져 있는가? 집계 KPI는 정확히 주변부의 사람들을 평균으로 지워 버리기 때문에 편안하고, 보건·돌봄에서 그 주변부는 피할 수 있는 해악이 집중되는 곳이다. 지표 중 어느 것이 박탈, 인종, 장애, 연령, 디지털 접근별로 세분화되어 있고, 어느 것이 여전히 하위 집단이 실패하는 동안 건강해 보일 수 있는 단일 시스템 전체 수치로만 보고되는지 논의하라. 데이터에 아예 들어오지 않는 사람들까지 더 밀어붙이라. 로그인을 통과하지 못한 환자, 디지털 양식을 포기한 환자, 결코 의뢰되지 않은 환자, 세분화에 쓰는 인구 통계 필드의 공유를 거부한 환자다. 강한 답은 세분화가 이야기를 바꾼 또는 바꿀 KPI를 최소 하나 식별하고, 세분화의 데이터 품질과 동의 한계를 정직하게 인정하며, 대리 지표나 소규모 정성 연구라도 현재 보이지 않는 것을 보려는 구체적 조치를 약속한다. 그보다 못하면 기술적으로는 정확하지만 도덕적으로 눈먼 대시보드가 될 위험이 있다.

4. 우리는 실제로 몇 개의 KPI를 지켜보고 있으며, 폐기해도 잃을 것이 없는 것은 어느 것인가? 핵심이라는 단어는 집합이 작을 때만 의미가 있지만, 지표는 누군가 제거하는 것보다 빨리 쌓인다. 여기의 국가 반환, 저기의 계약상 지표, 전직 이사가 한 번 요청했고 이후 아무도 감히 버리지 못한 숫자다. 긴장은 모든 KPI가 고립해서는 방어 가능해 보이므로, 이사회 자료가 아무도 읽지 않는 백 쪽이 되고 진정으로 중요한 신호가 습관으로 만들어지는 좀비 지표 속에 묻힐 때까지 집합이 커진다는 점이다. 실제 보고를 훑으며 지표를 정직하게 세고, 각각에 대해 지난 1년 동안 누군가 그것에 조치했는지, 어떤 결정에 정보를 주는지 물으라. 두 시험을 모두 통과하지 못하는 지표는 여전히 분석가의 시간을 쓰고 주의를 희석하는 죽은 가지다. 좋은 답은 서비스당 유지할 구체적 숫자를 명명하고, 최소 하나의 KPI를 완전히 폐기할 것을 식별하며, 집합이 조용히 다시 부풀지 않고 선별된 채 유지되도록 정기 검토를 마련한다. 지표를 폐기하는 것이 실패의 인정이라는 반사를 경계하라. 규율 있는 빼기는 방치가 아니라 성숙의 신호다.

5. 각 대표 KPI 밑의 데이터를 얼마나 신뢰하며, 대시보드가 그렇게 말하는가? 30%가 불완전한 필드 위에 지은 자신 있어 보이는 숫자는 숫자가 없는 것보다 더 위험하다. 깔끔한 수치의 권위를 입은 채 데이터가 뒷받침할 수 없는 결정을 부르기 때문이다. 보건·돌봄에서 이는 절실하다. 형평성 세분화에 필요한 인구 통계 필드는 흔히 드물고, 코딩 실천은 사업장마다 다르며, 종이 프로세스를 디지털화하는 행위 자체가 무엇이 언제 기록되는지를 바꿀 수 있다. 각 KPI에 대해 완전성, 유효성, 적시성, 범위를 아는지, 그 단서가 숫자와 함께 이사회 자료로 가는지 위로 이동하며 조용히 벗겨지는지 논의하라. 강한 답은 구체적 도구 — 데이터 품질 점검, DQMI, 아래로 내려가면 지표를 표시하는 완전성 임계 — 를 가리키고, 데이터 품질 단서가 숨겨지지 않고 KPI와 함께 표시되는 곳을 최소 하나 보여 준다. 정직한 버전은 완전히 지지할 수 없는 숫자를 현재 보고하고 있는 곳을 인정하며, 데이터를 고치는 것을 별도의 백로그 항목이 아니라 KPI의 일부로 다룬다.

6. 보고 계층이 정직하게 집계되는가, 그리고 이사회로 가는 길에 어디서 빨강이 초록으로 바뀔 수 있는가? 청중마다 정당하게 다른 고도가 필요하다. 일선 팀은 세밀한 실시간 과정 척도를, 이사회는 SPC가 있는 균형 잡힌 소수를, 시스템은 선별된 몇 개의 성과를 원한다. 그러나 각 집계는 근본 그림이 진실보다 편안한 무언가로 매끄러워지고, 평균되고, 골라 뽑힐 기회다. 이것이 수박 보고의 구조적 뿌리다. 병동과 이사회 사이에 계층이 많을수록 분포가 안심시키는 평균으로 납작해지거나 어려운 사업장이 강한 사업장과 상쇄될 곳이 많다. KPI 하나를 일선 원천에서 최상위 시야까지 따라가며 경영진 수치가 충실한 집계인지 듣기 좋은 하위 집합인지, 누가 — 있다면 — 그 집계를 감사하는지 물으라. 좋은 답은 보고 계층이 합의된 정의와 소유자와 함께 의도적으로 설계되었음을 보이고, 집계가 문제를 가릴 수 있는 지점을 최소 하나 식별하며, 최상위 시야를 진실하게 유지하는 균형 척도나 드릴다운을 명명한다. 여기서의 정직은 집계가 현재 확인되지 않고 믿음에 의존하는 곳을 인정하는 것이다(주제 10.4 참조).

실제 사례: 보건·돌봄 예시#

한 통합 돌봄 시스템(ICS)이 일반의가 종이와 팩스 프로세스를 대체하여 지역사회 근골격(MSK) 물리치료에 직접 의뢰할 수 있게 하는 디지털 의뢰 서비스를 출시한다. 프로그램 이사회의 본능은 두 가지 KPI를 보고하는 것이다. 받은 디지털 의뢰 수와 시스템 가동 시간이다. 석 달 안에 둘 다 강하게 초록이다. 수천 건의 의뢰, 99.9% 가동 시간이며, 이사회는 성공을 선언할 준비가 되었다.

임상 이사는 불안해하며 분석 팀(주제 4.5의 패턴으로 일함)에게 성과를 중심으로 KPI 집합을 다시 구축하라고 요청한다. 그들은 균형 잡힌 소수에 이른다. 의뢰에서 첫 접촉까지의 시간(접근, SPC 차트로 표시), 불완전하다고 반송되거나 거부된 의뢰의 비율(선행 품질 신호), 퇴원 시 환자 보고 성과 점수(성과), 짧은 경험 척도("결정에 참여했다고 느꼈는가?"), 서비스 릴리스의 변경 실패율(딜리버리 안정성)이다. 모든 접근 및 성과 척도는 박탈 십분위와 환자가 디지털 지원이 필요했는지로 세분화된다.

재구축된 시야는 매우 다른 이야기를 한다. 가동 시간은 진정으로 괜찮지만 의뢰자 반송률은 22%다. 디지털 양식이 자유 서술 병력을 필수로 하므로 다섯 건 중 한 건이 반송되고, 일반의는 "첨부 참조"라고 입력해 조작하며 분류 팀이 이를 거부한다. SPC 차트는 접근 시간이 안정적이지만 개선 추세 없이 목표를 한참 웃돈다. 그리고 세분화는 가장 박탈된 두 십분위의 환자가 서비스가 조용히 사람들을 유도하던 자기 의뢰 경로를 완료할 가능성이 절반임을 드러내, 프로그램이 좁히고 있다고 가정했던 격차를 벌리고 있다. 이 중 어느 것도 원래의 두 초록 숫자에서는 보이지 않았다. 이사회는 양식을 재설계하고, 지원형 의뢰 경로를 추가하며, 균형 잡히고, 세분화되고, SPC 기반인 KPI 집합을 상설 시야로 유지한다. 원시 의뢰 수는 속해야 할 지원 지표로 내려간다.

부문별 관점#

스타트업#

디지털 보건 스타트업은 소수의 조치 가능한 지표에 흥망이 달려 있으므로, 규율은 가차 없는 집중과 정직이다. 창업자는 투자자에게 오르기만 하는 허영 지표 — 누적 다운로드, 총 등록 사용자 — 를 보이고 싶은 유혹을 받는다. 저항하고, 활성화, 유지, 그리고 측정할 수 있다면 임상 성과나 검증된 대리 지표로 이끌라. 적은 숫자에서 SPC와 세분화는 더 어렵지만 더욱 중요하다. 소수의 나쁜 경험이 전체 안전 신호일 수 있다. 제품을 첫날부터 계측하여 모든 KPI가 출시한 변화를 실제 행동의 변화에 연결하게 하고, 얇은 데이터셋을 다듬기보다 임상 및 규제 파트너에게 데이터 품질의 한계에 솔직하라.

소규모 사업체#

확립된 소규모 제공자 — 일반의 진료소, 지역 약국, 요양원, 재가 돌봄 기관, 단일 사업장 클리닉, 또는 매출 이전 단계를 지난 소규모 보건 기술 공급업체 — 는 대형 트러스트와 같은 측정 및 형평성 의무를 지지만 전담 분석가도 여유 시간도 거의 없다. 함정은 국가 반환, CQC, 위탁자가 이미 요구하는 KPI에 빠져 허우적거리면서 운영에 도움이 되는 것은 아무것도 측정하지 않는 것이다. 해독제는 실제로 조치할 수 있는 성과와 경험 척도를 진정으로 작은 소수로 고르고, 새 계측을 구축하지 않고 기존 임상 또는 진료소 관리 시스템이 이미 포착하는 것에 기대는 것이다. SPC는 손으로나 스프레드시트에서도 할 가치가 있다. 예컨대 주간 진료 예약까지의 시간에 대한 단순한 런 차트가 나쁜 한 주의 잡음을 쫓지 않게 해 준다. 세분화는 이 규모에서도 똑같이 중요하지만, 적은 숫자에서는 두어 명의 환자가 비율을 흔들 수 있으므로 분류를 판결이 아니라 더 자세히 살펴보라는 신호로 읽으라. 슬림한 운영의 데이터 품질 한계에 위탁자에게 정직하고, 다섯 개의 잘 고른 숫자가 환자에게 더 잘 봉사할 때 대형 조직의 쉰 개 지표 대시보드를 채택하려는 충동에 저항하라.

대기업#

대형 NHS 트러스트나 보건 기술 공급업체는 이미 국가 반환, 계약상 KPI, 이사회 지표, 운영 대시보드 같은 지표에 허우적대므로, 과제는 수집이 아니라 선별과 일관성이다. 월간 잡음 쫓기를 멈추도록 (Making Data Count가 의도하는 대로) 이사회와 운영 보고 전반에 SPC를 채택하고, 경영진 시야가 일선 시야의 정직한 집계가 되도록 명시적인 보고 계층을 구축하라. 수박 보고가 대기업 규모의 위험이다. 병동과 이사회 사이에 계층이 많을수록 올라가는 길에 빨강이 초록으로 바뀌기 쉬우므로, 최상위 시야를 진실하게 유지하는 균형 척도와 데이터 품질 단서에 투자하라. 레거시 KPI를 의도적으로 폐기하라. 대형 조직은 아무도 조치하지 않지만 모두가 여전히 만드는 좀비 지표를 쌓는다.

정부#

국가 또는 지방 공공 기관은 시스템 전체에 파문을 일으키고 정치적 목표가 되는 KPI를 정하므로, Goodhart의 법칙은 지역적이 아니라 체계적 위험이다. 국가 대기 시간 목표는 하룻밤에 모든 곳의 임상 우선순위를 재편한다. 공표하는 지표가 그 방향으로 최적화될 것을 알고 설계하고, 균형 척도와 형평성 세분화와 짝짓고, 공공 신뢰가 달려 있으므로 정의와 데이터 품질에 투명하라. NHS Outcomes Framework와 Core20PLUS5 같은 프레임워크는 국가의 관심이 원시 활동이 아니라 성과와 불평등에 머물도록 정확히 존재한다. 정부는 다른 주체에는 없는 의무도 진다. 배제된 이들은 행정 데이터에 거의 나타나지 않으므로, 서비스하는 사람들만이 아니라 서비스가 배제하는 사람들도 측정하는 것이다.

흔한 실패 양상#

• 활동을 세고 성공이라 부르기. 받은 의뢰, 로그인, 제안된 진료 예약 — 바쁨은 효과적임과 같지 않다. 성과와 경험을 격상시키고 활동은 지원 계층으로 내리라.
• 균형 척도 없는 단일 숫자. 압박 속의 모든 단독 KPI는 조작된다. 하나를 개선하면서 다른 것을 희생하는 것이 보이도록 항상 척도를 짝지으라.
• 2점, 빨강/초록 보고. "지난달보다 내렸고 목표 미달"은 프로세스가 바뀌었는지에 대해 거의 아무것도 알려 주지 않는다. 대신 SPC 런 차트와 관리도를 쓰라.
• 수박 대시보드. 근본의 빨강을 표면의 초록으로 바꾸는 집계. 정직한 보고 계층을 구축하고 집계를 감사하라(주제 10.4).
• 허영 지표. 문제를 알릴 수 없는 누적되고 오르기만 하는 수. 결정에 연결된 조치 가능한 지표를 선호하라.
• 세분화되지 않은 형평성 맹목. 실패하는 사람들을 숨기는 평균. 인구별로 세분화하고 누가 아예 빠졌는지 찾으라.
• 검토되지 않은 데이터 위에 지은 KPI. 나쁜 데이터 위의 자신 있는 숫자는 오도한다. KPI와 함께 데이터 품질을 측정하고 공개하라.
• 좀비 KPI. 습관으로 여전히 만들어지지만 아무도 조치하지 않는 지표. 일정에 따라 검토하고 폐기하라.

성숙도 모델#

체크리스트#

• 모든 KPI가 환자, 시민, 임상의에게 중요한 성과로 추적 가능하다.
• 서비스별 KPI 집합이 작고, 각각에 소유자, 서면 정의, 지정된 데이터 원천이 있다.
• 각 KPI에 최소 하나의 균형 척도가 있어 고립해서 조작될 수 없다.
• 성과와 경험 척도가 우선되고, 원시 활동은 지원 계층에 있다.
• 운영 KPI가 2점 빨강/초록 비교가 아니라 SPC 런/관리도로 제시된다.
• 형평성과 관련된 KPI가 박탈, 인종, 장애, 연령, 디지털 접근별로 세분화되어 있다.
• 각 KPI 뒤 필드의 데이터 품질이 추적되고 대시보드에 단서가 표시된다.
• 디지털 서비스의 딜리버리가 균형 잡힌 집합(예: DORA 네 가지 핵심과 안전/신뢰성)으로 측정된다.
• 보고 계층이 최상위 시야가 일선 시야의 정직한 집계가 되도록 설계되어 있다.
• KPI를 일정에 따라 검토하고, 죽었거나 조작된 지표를 폐기한다.
• 각 KPI에 대해 "이 숫자에서 누가 아예 빠져 있는가?"를 물었다.

주요 출처#

• NHS England — Making Data Count (NHS 운영 데이터를 위한 통계적 공정 관리)
• Institute for Healthcare Improvement — Science of Improvement: 성과, 과정, 균형 척도
• NHS England — NHS Outcomes Framework; Core20PLUS5 approach to reducing healthcare inequalities
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (DORA metrics); Google Cloud DORA State of DevOps reports
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — 성공 측정 / 서비스 성과 측정
• The Health Foundation — 개선을 위한 측정에 관한 지침

참고문헌#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php