Тема 10.1 — Ключевые показатели эффективности (KPI)

Ключевой показатель эффективности (KPI) — это небольшое, тщательно выбранное число, говорящее, безопасна, справедлива, эффективна ли услуга и пользуется ли она доверием, — и в здравоохранении и уходе хороший выбор и чтение этих чисел сами по себе вопрос клинической безопасности и общественной подотчётности, а не административная рутина.

Почему это важно в здравоохранении и уходе#

В здравоохранении и уходе числа, за которыми вы следите, формируют уход, который получают люди. KPI листа ожидания, считающий «записанных пациентов», но не «принятых пациентов», может скрыть когорту, тихо ухудшающуюся дома. Панель цифровой услуги, зелёная по доступности, но молчащая о том, могут ли пользователи с инвалидностью завершить запись, позволит проблеме доступа вырасти в неравенство в здоровье. То, что вы измеряете, сигнализирует о том, что вы цените, а персонал, поставщики и алгоритмы все оптимизируются к измеряемой цели — порой за счёт неизмеряемого, что на самом деле имело значение.

Ставки здесь выше, чем в большинстве секторов, потому что виды отказов человеческие. Расследования по Mid Staffordshire и другие неоднократно обнаруживали организации, достигавшие заголовочных финансовых целей и целей по активности, пока качество ухода рушилось под ними. Метрики докладывались наверх зелёными, пока пациенты страдали, — паттерн, теперь широко называемый «арбузной отчётностью» (зелёный снаружи, красный внутри), который подробно рассматривает тема 10.4 — Видимость для генерального директора и высшего руководства. Хорошие KPI — одна из ваших защит от этого разрыва между докладываемой и реальной картиной.

KPI также тратят общественные деньги и общественное доверие. Каждый публикуемый индикатор становится частью того, как граждане, регуляторы и комиссионеры судят систему. Преувеличение, выборочное цитирование или манипулирование целью — не просто плохое управление; это разъедает доверие, от которого цифровое здравоохранение зависит, чтобы заставить людей делиться данными и принимать новые услуги. Эта тема — партнёр по измерению темы 10.0 — Цели и ключевые результаты (OKR): где OKR движут сфокусированное изменение, KPI отслеживают текущее здоровье услуг и систем, которые вы ведёте.

Ключевые понятия#

Показатель эффективности, или KPI, — метрика, выбранная потому, что отражает прогресс к значимой цели. Метрика результативности — любое измерение активности или состояния; KPI — подмножество, которое вы сознательно возвели в «следи за этим». Слово ключевой несёт нагрузку: если всё KPI, ничто не KPI. Полезная дисциплина — держать горстку KPI на услугу, каждый с названным владельцем, определением, источником данных и причиной, по которой он заслуживает места на панели.

У хорошего KPI четыре свойства. Он согласован с результатом, подлинно значимым для пациентов, граждан или клиницистов, а не просто с внутренней активностью. Он действенен — когда он движется, кто-то может что-то сделать. Он своевременен — приходит достаточно рано, чтобы действовать, а не через шесть недель после закрытия квартала. И он труднообманываем — его нельзя улучшить на бумаге, не улучшив реальную вещь. Метрики, не прошедшие последнюю проверку, приглашают закон Гудхарта: «когда мера становится целью, она перестаёт быть хорошей мерой».

Индикаторы обычно делят на опережающие и запаздывающие. Запаздывающий индикатор подтверждает результат постфактум (30-дневная смертность, годовая удовлетворённость пациентов). Опережающий индикатор движется раньше и предсказывает запаздывающий (полнота сверки лекарств, частота развёртываний, доля направлений, прошедших триаж за 24 часа). Нужны оба: запаздывающие говорят, выигрываете ли вы, опережающие говорят достаточно рано, чтобы изменить результат. Многие экономические и операционные рамки описывают это различие опережающих и запаздывающих.

Параллельное и столь же важное деление — меры процесса, выпуска и результата. Мера процесса считает, сделали ли вы то-то (предложенные приёмы, перенесённые записи). Мера выпуска считает произведённое (отправленные письма, полученные результаты анализов). Мера результата фиксирует, что реально изменилось для человека, — мера результата, такая как улучшение симптомов, избежанная госпитализация или сообщаемая пациентом оценка качества жизни. У систем здравоохранения и ухода хроническое смещение к активности, потому что активность легко считать и часто так текут деньги. Противьтесь: отдавайте приоритет результатам и опыту и используйте меры процесса как опережающие индикаторы, объясняющие их.

Поскольку ни одно число не безопасно само по себе, используйте сбалансированное измерение. Дисциплина сбалансированной системы показателей Каплана и Нортона сочетает каждую меру результативности с другими, так что улучшение одной за счёт другой становится видимым. Institute for Healthcare Improvement формализует это как меры результата, процесса и балансирующие — балансирующая мера следит за вредом, который ваше улучшение может причинить в другом месте (более быстрая выписка, уравновешенная повторной госпитализацией, например).

Не всякое растущее число — прогресс. Тщеславная метрика выглядит впечатляюще и надёжно растёт, но не информирует решение — всего зарегистрированных пользователей, накопленные входы, просмотры страниц. Движение lean startup популяризировало контраст тщеславных и действенных метрик: действенная метрика связывает изменение, которое вы сделали, с изменением поведения или результата, на которое можно действовать. Накопленные счётчики — классический признак: они только растут, так что никогда не могут сигнализировать, что что-то не так.

Наконец, различайте измерение для улучшения и измерение для суждения. Суждение спрашивает «попали ли вы в цель в этом месяце?» и сводит живой процесс к двухточечному сравнению красное-или-зелёное с прошлым периодом — сравнению, почти всегда статистически бессмысленному, потому что оно не отличает сигнал от шума. Улучшение спрашивает «меняется ли этот процесс и можем ли мы доверять изменению?» и отвечает статистическим управлением процессами (SPC): метрика наносится во времени на график серий или контрольную карту с контрольными пределами, чтобы можно было видеть, обычный ли шум (общие причины) вариация или подлинный сигнал (особые причины), на который стоит действовать. Программа NHS England Making Data Count сделала это рекомендуемым способом представления операционных данных по NHS именно чтобы убить рефлекс «выше, чем в прошлом месяце, ниже цели», порождающий плохие решения.

Лучшие практики#

1. Начинайте с результата, затем идите назад к индикатору. Назовите то, что должно быть верно для пациента, гражданина или клинициста — меньше предотвратимых госпитализаций, быстрее доступ, безопасные лекарства, — и только затем спросите, что скажет вам, что это происходит. Это удерживает от привычной ловушки измерять то, что ваши системы случайно логируют. Если вы не можете связать кандидата в KPI с результатом, о котором кто-либо заботится, это, вероятно, тщеславная метрика.

2. Держите набор малым и дайте каждому KPI владельца и определение. Совет или услуга должны следить за горсткой KPI, а не за пятьюдесятью. Каждому нужно точное определение (что считается, что исключено, за какой период), названный подотчётный владелец и документированный источник данных. Неоднозначные определения — способ, которым две команды спорят месяц о числе, которое измеряли по-разному.

3. Балансируйте каждый KPI, чтобы его нельзя было обмануть в одиночку. Для каждой меры спросите: «как рациональный человек улучшил бы это число, не улучшив реальную вещь, и какая балансирующая мера поймала бы его?» Сочетайте доступ с безопасностью, пропускную способность с повторной госпитализацией, стоимость с опытом, скорость поставки с долей отказов изменений. Сбалансированные наборы делают манипуляции видимыми и отдают должное тому, что результаты здравоохранения и ухода многомерны.

4. Отдавайте приоритет мерам результата и опыта над активностью. Счётчики активности соблазнительны, потому что обильны и часто привязаны к финансированию, но отвечают на «насколько мы были заняты?», а не «помогло ли?». Где можете, поднимайте меры результата и сообщаемые пациентами меры опыта и результата (PREM и PROM) в набор KPI, а сырую активность понижайте до поддерживающего слоя. Где результат медленный или трудно измеримый, выберите валидированную опережающую меру процесса, надёжно его предсказывающую.

5. Представляйте KPI как временные ряды с SPC, а не двухточечные сравнения. Примите подход Making Data Count: наносите метрику в стиле графика серий или контрольной карты, чтобы вариация общих причин и сигналы особых причин различались с первого взгляда. Это останавливает команды от реакции на шум, празднования удачного месяца или наказания за неудачный. Оно также меняет разговор в зале совета с «почему мы промахнулись?» на «изменился ли процесс на самом деле?» — вопрос улучшения (см. тему 10.2 — Улучшение качества и наука улучшения).

6. Сегментируйте KPI по населению, чтобы выявить неравенство. Совокупное число скрывает распределение. «Хорошее» среднее время ожидания может скрывать, что пациенты из самых неблагополучных районов или нуждающиеся в переводчике ждут намного дольше. Разбивайте каждый релевантный равенству KPI по лишениям, этнической принадлежности, возрасту, инвалидности и цифровому доступу в соответствии с обязанностями по равенству в здоровье и рамками вроде NHS Core20PLUS5. В цифровых услугах сегментируйте и принятие, и доли завершения — заголовочная цифра принятия может скрывать, что ваша услуга исключает именно тех, кому она нужнее всего (см. тему 4.5 — Данные, аналитика и управление здоровьем населения).

7. Считайте качество данных предпосылкой и измеряйте его. KPI надёжен лишь настолько, насколько надёжны данные под ним. Отслеживайте качество данных полей, от которых зависят ваши KPI, — полноту, валидность, своевременность, охват, — используя инструменты вроде NHS Data Quality Maturity Index, и показывайте оговорки о качестве данных рядом с числом. Если в 30% записей поле отсутствует, скажите об этом на панели; уверенно выглядящий KPI на плохих данных хуже отсутствия KPI.

8. Используйте метрики поставки для самой цифровой услуги, выбранные с той же строгостью. Для ПО, которое вы строите и ведёте, DevOps Research and Assessment (DORA) четыре ключа — частота развёртываний, время выполнения изменения, доля отказов изменений и время восстановления услуги — дают сбалансированный взгляд на скорость и стабильность. Они сопротивляются манипуляции как набор: нельзя выпускать быстрее, ломая вещи, потому что доля отказов и время восстановления поймают это. Дополняйте их KPI надёжности и безопасности, клинически важными, такими как доли инцидентов и доступность критичных для безопасности функций (см. темы 3.6 и 3.8).

9. Слоите отчётность, чтобы каждая аудитория получала правильную высоту. Команде передовой нужны гранулярные меры процесса в реальном времени; совету услуги — сбалансированная горсть с SPC; руководству системы — отобранные немногие меры результата и равенства. Проектируйте слои осознанно, чтобы верхний вид был честной агрегацией нижних, а не выбранным вручную льстивым подмножеством. Это ваша структурная защита от арбузной отчётности (тема 10.4).

10. Пересматривайте и выводите KPI по расписанию. Индикаторы разлагаются: мера, двигавшая реальное улучшение, может стать манипулируемым ритуалом, когда целевое поведение закрепилось, а новые риски появляются там, куда никто не смотрит. Поставьте KPI на регулярный пересмотр, где вы спрашиваете каждый: «рассказывает ли это нам ещё то, на что мы действуем?», и вычищайте мёртвое дерево. Устаревший набор KPI не нейтрален — он активно направляет внимание не туда.

Вопросы для обсуждения с командой#

1. Для каждого из наших заголовочных KPI: как кто-то мог бы улучшить число, не улучшив реальность, и заметили бы мы? Это стресс-тест закона Гудхарта, лучше всего проводимый как сознательно состязательное упражнение. Возьмите каждый KPI и пусть команда сыграет роль перегруженной услуги, пытающейся его достичь: выписать до полуночи, чтобы сбросить часы, переклассифицировать ждущего пациента, закрыть и вновь открыть тикет, чтобы сбросить время решения, массово зарегистрировать пользователей, которые никогда не вернутся. Смысл не в цинизме к коллегам, а в признании, что давление плюс цель в виде одного числа порождает предсказуемые искажения, особенно когда на цифру ставятся оплата, репутация или штрафы по контракту. Хороший ответ называет конкретный путь манипуляции для каждого KPI и определяет балансирующую меру или проверку данных, которая его раскроет, — и честно отмечает любой KPI, где у вас сейчас нет такой защиты. Если метрику нельзя защитить так, обсуждение должно закончиться решением сочетать её, переопределить или отбросить.

2. Какие из наших чисел мы отчитываем для улучшения, а какие для суждения — и представляем ли мы каждое способом, который соответствует? Команды рутинно берут метрику, построенную, чтобы помочь услуге учиться, и отдают её без изменений комитету, использующему её, чтобы спрашивать с кого-то, или наоборот. Напряжение реально: руководителям нужно заверение, а улучшению нужна безопасность, чтобы честно видеть проблемы, и один график не всегда может служить обоим без искажения. Пройдитесь по реальным пакетам совета и операционным пакетам и обозначьте истинную цель каждой метрики, затем спросите, соответствует ли подача: показываете ли вы двухточечное сравнение красное/зелёное там, где SPC-график предотвратил бы импульсивные реакции на шум? Хороший, честный ответ признает, где культура суждения прокралась в форумы улучшения (заставляя персонал скрывать проблемы) и где расплывчатые нарративы улучшения используются, чтобы увильнуть от законной подотчётности. Цель — осознанный выбор по каждой метрике с SPC как подачей по умолчанию, а не случайная путаница.

3. Выявляют ли или скрывают наши KPI неравенство и чьего опыта в них нет вообще? Совокупные KPI удобны именно потому, что усредняют людей на краях, а в здравоохранении и уходе на краях концентрируется предотвратимый вред. Обсудите, какие ваши индикаторы сегментированы по лишениям, этнической принадлежности, инвалидности, возрасту и цифровому доступу — а какие всё ещё отчитываются лишь одной общесистемной цифрой, которая может выглядеть здоровой, пока подгруппу подводят. Идите дальше к людям, вообще не попадающим в ваши данные: пациентам, не прошедшим дальше входа, бросившим цифровую форму, никогда не направленным, отказавшимся делиться демографическим полем, по которому вы сегментируете. Сильный ответ определяет хотя бы один KPI, где сегментация изменила или изменила бы историю, честно признаёт ограничения качества данных и согласия на сегментацию и обязуется к конкретному шагу — даже замене или малому качественному исследованию — чтобы увидеть сейчас невидимое. Всё меньшее рискует панелью технически точной и морально слепой.

4. Сколько KPI мы на самом деле отслеживаем и какие из них мы могли бы вывести, ничего не потеряв? Слово ключевой что-то значит только если набор мал, но индикаторы копятся быстрее, чем кто-либо убирает, — национальная отчётность здесь, контрактная метрика там, число, которое когда-то попросил бывший директор и которое никто не осмелился бросить. Напряжение в том, что каждый KPI в изоляции кажется защитимым, так что набор растёт, пока пакеты совета не становятся сотней страниц, которые никто не читает, а подлинно важные сигналы погребены среди метрик-зомби, производимых по привычке. Пройдитесь по реальной отчётности и честно сосчитайте индикаторы, затем спросите каждый, действовал ли кто-нибудь на него за последний год и какое решение он информирует; метрики, не прошедшие ни одну проверку, — мёртвое дерево, всё ещё поедающее время аналитиков и размывающее внимание. Хороший ответ называет конкретное число, которое вы удержите на услугу, определяет хотя бы один KPI для безусловного вывода и вводит плановый пересмотр, чтобы набор оставался отобранным, а не тихо раздувался вновь. Остерегайтесь рефлекса, что вывод метрики — признание провала: дисциплинированное вычитание — признак зрелости, а не небрежности.

5. Насколько мы на самом деле доверяем данным под каждым заголовочным KPI и говорит ли об этом панель? Уверенно выглядящее число, построенное на поле, неполном на 30%, опаснее отсутствия числа вовсе, потому что приглашает решения, которые данные не могут поддержать, неся авторитет чистой цифры. В здравоохранении и уходе это остро: демографические поля, нужные для сегментации по равенству, часто разрежены, практика кодирования различается между площадками, а сам акт оцифровки бумажного процесса может сдвигать то, что записывается и когда. Обсудите для каждого KPI, знаете ли вы его полноту, валидность, своевременность и охват и путешествуют ли эти оговорки вместе с числом в пакет совета или тихо стираются по мере подъёма. Сильный ответ указывает на конкретный инструмент — проверку качества данных, DQMI, порог полноты, ниже которого метрика помечается, — и показывает хотя бы одно место, где оговорка о качестве данных отображается рядом с KPI, а не скрыта. Честная версия признаёт, где вы сейчас отчитываетесь числом, за которое не можете полностью поручиться, и считает исправление данных частью KPI, а не отдельной позицией бэклога.

6. Честно ли складываются слои нашей отчётности и где красное могло бы стать зелёным по пути к совету? Разным аудиториям законно нужны разные высоты — команде передовой гранулярные меры процесса в реальном времени, совету сбалансированная горсть с SPC, системе отобранные немногие результаты, — но каждая агрегация — возможность для сглаживания, усреднения или ручного отбора лежащей картины во что-то более удобное, чем правда. Это структурный корень арбузной отчётности: чем больше слоёв между отделением и советом, тем больше мест, где распределение может быть сплющено в успокаивающее среднее или борющаяся площадка зачтена против сильной. Проследите один KPI от его источника на передовой до верхнего вида и спросите, верная ли агрегация исполнительная цифра или льстивое подмножество и кто — если кто-нибудь — аудирует эту свёртку. Хороший ответ показывает, что слои отчётности проектировались осознанно с согласованными определениями и владельцами, определяет хотя бы одну точку, где агрегация могла бы скрыть проблему, и называет балансирующую меру или детализацию, удерживающую верхний вид правдивым. Честность здесь значит признание, где свёртка сейчас принимается на веру, а не проверяется (см. тему 10.4).

На практике: пример из здравоохранения и ухода#

Интегрированная система ухода (ICS) запускает цифровую службу направлений, позволяющую врачам общей практики направлять напрямую в общинную физиотерапию опорно-двигательного аппарата (MSK), заменяя бумажный процесс и факс. Инстинкт совета программы — отчитываться по двум KPI: число полученных цифровых направлений и доступность системы. За три месяца оба сильно зелёные — тысячи направлений, 99,9% доступности — и совет готов объявить успех.

Клинический директор обеспокоен и просит команду аналитики (работая по паттерну темы 4.5) перестроить набор KPI вокруг результатов. Они останавливаются на сбалансированной горсти: время от направления до первого контакта (доступ, показан SPC-графиком), доля направлений, возвращённых или отклонённых как неполные (опережающий сигнал качества), сообщаемая пациентом оценка результата при выписке (результат), короткая мера опыта (чувствовали ли вы себя вовлечённым в решения?) и доля отказов изменений для релизов услуги (стабильность поставки). Каждая мера доступа и результата сегментируется по децилю лишений и по тому, нужна ли пациенту цифровая поддержка.

Перестроенный вид рассказывает совсем иную историю. Доступность действительно в порядке, но доля возвратов направителю составляет 22% — каждое пятое направление отскакивает, потому что цифровая форма делает обязательной историю в свободном тексте, так что врачи обходят её, вводя «см. приложение», а команда триажа отклоняет. SPC-график показывает, что время доступа стабильно, но лежит заметно выше цели без тренда улучшения. А сегментация показывает, что пациенты двух самых неблагополучных децилей вдвое реже завершают маршрут самонаправления, к которому услуга тихо подталкивала людей, расширяя разрыв, который программа считала закрываемым. Ничего из этого не было видно в исходных двух зелёных числах. Совет перепроектирует форму, добавляет маршрут направления с помощью и оставляет сбалансированный, сегментированный набор KPI на основе SPC своим постоянным видом — с сырым счётчиком направлений, понижённым до поддерживающей метрики, где ему и место.

Секторные линзы#

Стартап#

Стартап цифрового здравоохранения живёт или умирает несколькими действенными метриками, так что дисциплина — безжалостный фокус и честность. Основателей искушает показывать инвесторам тщеславные метрики — накопленные скачивания, всего зарегистрированных пользователей, — потому что они только растут; противьтесь и ведите с активации, удержания и, где можете измерить, клинического результата или валидированной замены. При малых числах SPC и сегментация труднее, но ещё важнее: горсть плохих опытов может быть всем вашим сигналом безопасности. Оснастите продукт измерениями с первого дня, чтобы каждый KPI связывал выпущенное вами изменение с изменением реального поведения, и будьте откровенны с клиническими и регуляторными партнёрами об ограничениях качества данных, а не полируйте тонкий набор данных.

Малый бизнес#

Устоявшийся малый поставщик — общая практика, общинная аптека, дом ухода, агентство ухода на дому, клиника на одной площадке или небольшой поставщик технологий здравоохранения за стадией до выручки — несёт те же обязанности по измерению и равенству, что и крупный траст, но без выделенного аналитика и с малым запасом времени. Ловушка — утонуть в KPI, которых уже требуют национальная отчётность, CQC и комиссионеры, не измеряя ничего, что помогает вести место; противоядие — выбрать подлинно малую горсть мер результата и опыта, на которые вы можете действовать, и опереться на то, что ваша существующая клиническая система или система управления практикой уже фиксирует, а не строить новое измерительное оснащение. SPC всё равно стоит того даже вручную или в электронной таблице — простой график серий, скажем, еженедельного времени до приёма остановит вас от погони за шумом одной плохой недели. Сегментация важна в этом масштабе не меньше, но при малых числах пара отдельных пациентов может качнуть процент, так что читайте разбивки как повод присмотреться, а не вердикт. Будьте честны с комиссионерами о пределах качества данных скромной операции и противьтесь принятию панели из пятидесяти метрик большой организации, когда пять хорошо выбранных чисел послужат вашим пациентам лучше.

Предприятие#

Крупный траст NHS или поставщик технологий здравоохранения уже тонет в индикаторах — национальная отчётность, контрактные KPI, метрики совета, операционные панели, — так что задача — отбор и связность, а не сбор. Принимайте SPC по отчётности совета и операционной (как задумано в Making Data Count), чтобы остановить ежемесячную погоню за шумом, и стройте явные слои отчётности, чтобы исполнительный вид был честной свёрткой вида передовой. Арбузная отчётность — риск масштаба предприятия: чем больше слоёв между отделением и советом, тем легче красному стать зелёным по пути вверх, так что инвестируйте в балансирующие меры и оговорки о качестве данных, удерживающие верхний вид правдивым. Выводите унаследованные KPI осознанно; крупные организации накапливают метрики-зомби, на которые никто не действует, но все продолжают производить.

Правительство#

Национальный или местный публичный орган задаёт KPI, расходящиеся по всей системе и становящиеся политическими целями, что делает закон Гудхарта системной, а не локальной опасностью — национальная цель по времени ожидания переформировывает клинические приоритеты повсюду за одну ночь. Проектируйте публикуемые индикаторы, зная, что к ним будут оптимизироваться, сочетайте их с балансирующими мерами и сегментацией по равенству и будьте прозрачны об определениях и качестве данных, потому что общественное доверие от этого зависит. Рамки вроде NHS Outcomes Framework и Core20PLUS5 существуют именно чтобы держать национальное внимание на результатах и неравенствах, а не на сырой активности. Правительство несёт и обязанность, которой нет у других: измерять людей, которых его услуги исключают, а не только тех, кому служат, потому что исключённые редко появляются в административных данных.

Типичные виды отказов#

• Подсчёт активности и называние этого успехом. Полученные направления, входы, предложенные приёмы — занят не значит эффективен. Поднимайте результаты и опыт; понижайте активность до поддерживающего слоя.
• Единственное число без балансирующей меры. Любой одинокий KPI под давлением будет обманут. Всегда сочетайте меры, чтобы улучшение одной за счёт другой было видно.
• Двухточечная отчётность красное/зелёное. «Ниже, чем в прошлом месяце, ниже цели» почти ничего не говорит о том, изменился ли процесс. Используйте SPC-графики серий и контрольные карты.
• Арбузные панели. Агрегация, превращающая лежащее красное в поверхностное зелёное. Стройте честные слои отчётности и аудируйте свёртку (тема 10.4).
• Тщеславные метрики. Накопленные, вечно растущие счётчики, не способные сигнализировать о проблеме. Предпочитайте действенные метрики, привязанные к решению.
• Несегментированная слепота к равенству. Средние, скрывающие людей, которых подводят. Сегментируйте по населению и ищите, кого нет вообще.
• KPI на неисследованных данных. Уверенное число на плохих данных вводит в заблуждение. Измеряйте и раскрывайте качество данных рядом с KPI.
• KPI-зомби. Метрики, всё ещё производимые по привычке, на которые никто не действует. Пересматривайте и выводите по расписанию.

Модель зрелости#

Контрольный список#

• Каждый KPI прослеживается до результата, значимого для пациента, гражданина или клинициста.
• Набор KPI на услугу мал, и у каждого есть владелец, письменное определение и названный источник данных.
• У каждого KPI есть хотя бы одна балансирующая мера, чтобы его нельзя было обмануть в одиночку.
• Меры результата и опыта приоритизированы; сырая активность лежит в поддерживающем слое.
• Операционные KPI представлены как SPC-графики серий/контрольные карты, а не двухточечные сравнения красное/зелёное.
• Релевантные равенству KPI сегментированы по лишениям, этнической принадлежности, инвалидности, возрасту и цифровому доступу.
• Качество данных полей за каждым KPI отслеживается и оговаривается на панели.
• Поставка цифровой услуги измеряется сбалансированным набором (например, четыре ключа DORA плюс безопасность/надёжность).
• Слои отчётности спроектированы так, что верхний вид — честная свёртка вида передовой.
• KPI пересматриваются по расписанию, мёртвые или манипулируемые метрики выводятся.
• Вы спросили для каждого KPI: «кого нет в этом числе вообще?»

Ключевые источники#

• NHS England — Making Data Count (статистическое управление процессами для операционных данных NHS)
• Institute for Healthcare Improvement — Science of Improvement: меры результата, процесса и балансирующие
• NHS England — NHS Outcomes Framework; подход Core20PLUS5 к сокращению неравенств в здравоохранении
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (метрики DORA); отчёты Google Cloud DORA State of DevOps
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — измерение успеха / измерение результативности вашей услуги
• The Health Foundation — руководство по измерению для улучшения

Литература#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php