Tópico 10.1 — Indicadores-chave de desempenho (KPIs)

Um indicador-chave de desempenho (KPI) é um número pequeno e cuidadosamente escolhido que diz se um serviço é seguro, justo, eficaz e confiável — e, na saúde e nos cuidados, escolher e ler bem esses números é, em si, uma questão de segurança clínica e de responsabilização pública, e não uma arrumação administrativa.

Por que isso importa na saúde e nos cuidados#

Na saúde e nos cuidados, os números que vocês observam moldam o cuidado que as pessoas recebem. Um KPI de lista de espera que conta "pacientes agendados", mas não "pacientes atendidos", pode esconder uma coorte que se deteriora em silêncio em casa. Um painel de serviço digital que é verde em disponibilidade, mas mudo sobre se usuários com deficiência conseguem concluir um agendamento, deixará um problema de acesso crescer até virar uma desigualdade em saúde. O que vocês medem sinaliza o que valorizam, e equipe, fornecedores e algoritmos todos otimizam rumo à meta medida — às vezes à custa da coisa não medida que de fato importava.

O que está em jogo aqui é maior do que na maioria dos setores porque os modos de falha são humanos. As inquirições de Mid Staffordshire e outras constataram repetidamente organizações que atingiam suas metas financeiras e de atividade principais enquanto a qualidade do cuidado desmoronava por baixo. As métricas eram reportadas para cima como verdes enquanto pacientes sofriam dano — o padrão hoje amplamente chamado de "relato melancia" (verde por fora, vermelho por dentro), que o Tópico 10.4 — Visibilidade para o CEO e a liderança sênior examina em profundidade. Bons KPIs são uma de suas defesas contra essa lacuna entre o quadro reportado e o real.

Os KPIs também gastam dinheiro público e confiança pública. Cada indicador que vocês publicam passa a fazer parte de como cidadãos, reguladores e comissionadores julgam o sistema. Superestimar, escolher a dedo ou manipular uma meta não é apenas má gestão; erode a confiança de que a saúde digital depende para levar as pessoas a compartilhar dados e adotar novos serviços. Este tópico é o parceiro de medição do Tópico 10.0 — Objetivos e resultados-chave (OKRs): onde os OKRs guiam uma mudança focada, os KPIs monitoram a saúde corrente dos serviços e sistemas que vocês operam.

Conceitos centrais#

Um indicador de desempenho, ou KPI, é uma métrica selecionada porque reflete o progresso frente a um objetivo que importa. Uma métrica de desempenho é qualquer medição de atividade ou estado; um KPI é o subconjunto que vocês deliberadamente elevaram a "observe este". A palavra chave sustenta carga — se tudo é KPI, nada é. Uma disciplina útil é manter um punhado de KPIs por serviço, cada um com um responsável nomeado, uma definição, uma fonte de dados e uma razão para merecer um lugar no conselho.

Um bom KPI tem quatro propriedades. É alinhado a um resultado que genuinamente importa para pacientes, cidadãos ou clínicos, e não meramente à atividade interna. É acionável — quando se move, alguém pode fazer algo a respeito. É oportuno — chega cedo o bastante para agir, e não seis semanas depois de o trimestre fechar. E é difícil de manipular — não pode ser melhorado no papel sem melhorar a coisa real. As métricas que falham no último teste convidam a lei de Goodhart: "quando uma medida vira meta, deixa de ser uma boa medida".

Os indicadores são comumente divididos em antecedentes e consequentes. Um indicador consequente confirma um resultado depois do fato (mortalidade em 30 dias, satisfação anual do paciente). Um indicador antecedente se move antes e prediz o consequente (completude da reconciliação de medicamentos, frequência de implantação, a proporção de encaminhamentos triados em 24 horas). Vocês precisam de ambos: os consequentes dizem se vocês estão vencendo, os antecedentes dizem a tempo de mudar o resultado. Muitos arcabouços econômicos e operacionais descrevem essa distinção entre antecedente e consequente.

Uma divisão paralela e igualmente importante é entre medidas de processo, de produto entregue e de resultado. Uma medida de processo conta se vocês fizeram a coisa (consultas oferecidas, registros migrados). Uma medida de produto entregue conta o que foi produzido (cartas enviadas, exames com resultado). Uma medida de resultado capta o que de fato mudou para a pessoa — uma medida de desfecho como a melhora de sintomas, uma internação evitada ou uma pontuação de qualidade de vida relatada pelo paciente. Os sistemas de saúde e cuidados têm um viés crônico para a atividade porque a atividade é fácil de contar e muitas vezes é como o dinheiro flui. Resistam a isso: privilegiem os resultados e a experiência e usem as medidas de processo como indicadores antecedentes que os explicam.

Como nenhum número isolado é seguro por si só, usem a medição equilibrada. A disciplina do balanced scorecard de Kaplan e Norton pareia cada medida de desempenho com outras para que melhorar uma à custa de outra se torne visível. O Institute for Healthcare Improvement a formaliza como medidas de resultado, de processo e de equilíbrio — a medida de equilíbrio observa o dano que a sua melhoria pode causar em outro lugar (alta mais rápida equilibrada com a reinternação, por exemplo).

Nem todo número que sobe é progresso. Uma métrica de vaidade parece impressionante e sobe de forma confiável, mas não informa uma decisão — total de usuários registrados, logins cumulativos, visualizações de página. O movimento lean startup popularizou o contraste entre métricas de vaidade e acionáveis: uma métrica acionável liga uma mudança que vocês fizeram a uma mudança de comportamento ou de resultado sobre a qual podem agir. As contagens cumulativas são o sinal clássico — só sobem, de modo que jamais podem sinalizar que algo está errado.

Por fim, distingam a medição para a melhoria da medição para o julgamento. O julgamento pergunta "vocês atingiram a meta este mês?" e reduz um processo vivo a uma comparação vermelho-ou-verde de dois pontos frente ao período anterior — uma comparação quase sempre estatisticamente sem sentido, porque não distingue sinal de ruído. A melhoria pergunta "este processo está mudando e podemos confiar na mudança?" e a responde com controle estatístico de processo (SPC): traçar uma métrica ao longo do tempo num gráfico de execução ou gráfico de controle com limites de controle, para ver se a variação é ruído ordinário (causa comum) ou um sinal genuíno (causa especial) que vale a pena acionar. O programa Making Data Count do NHS England fez disso a forma recomendada de apresentar dados operacionais em todo o NHS, precisamente para matar o reflexo de "acima do mês passado, abaixo da meta" que leva a más decisões.

Boas práticas#

1. Partam do resultado e depois trabalhem de volta até o indicador. Nomeiem a coisa que precisa ser verdade para um paciente, cidadão ou clínico — menos internações evitáveis, acesso mais rápido, medicação segura — e só então perguntem o que diria que isso está acontecendo. Isso evita a armadilha padrão de medir o que os seus sistemas por acaso registram. Se vocês não conseguem ligar um KPI candidato a um resultado com que alguém se importe, ele provavelmente é uma métrica de vaidade.

2. Mantenham o conjunto pequeno e deem a cada KPI um responsável e uma definição. Um conselho ou serviço deve observar um punhado de KPIs, e não cinquenta. Cada um precisa de uma definição precisa (o que conta, o que é excluído, em que período), um responsável nomeado e uma fonte de dados documentada. As definições ambíguas são como duas equipes discutem por um mês sobre um número que mediam de modos diferentes.

3. Equilibrem cada KPI para que não possa ser manipulado isoladamente. Para cada medida, perguntem "como uma pessoa racional melhoraria este número sem melhorar a coisa real, e que medida de equilíbrio a pegaria?" Pareiem acesso com segurança, vazão com reinternação, custo com experiência, velocidade de entrega com taxa de falha de mudanças. Os conjuntos equilibrados tornam visível a manipulação e honram a realidade de que os resultados da saúde e dos cuidados são multidimensionais.

4. Privilegiem medidas de resultado e de experiência sobre a atividade. As contagens de atividade são sedutoras porque são abundantes e muitas vezes ligadas ao financiamento, mas respondem a "quão ocupados estivemos?" e não a "ajudou?". Sempre que puderem, elevem os resultados e as medidas de experiência e de resultado relatadas pelo paciente (PREMs e PROMs) ao conjunto de KPIs e rebaixem a atividade bruta à camada de apoio. Onde um resultado é lento ou difícil de medir, escolham uma medida de processo antecedente validada que o prediga de forma confiável.

5. Apresentem os KPIs como séries temporais com SPC, e não como comparações de dois pontos. Adotem a abordagem do Making Data Count: tracem a métrica no estilo de gráfico de execução ou de controle para que a variação de causa comum e os sinais de causa especial sejam distinguíveis de relance. Isso impede as equipes de reagir ao ruído, celebrar um mês de sorte ou ser punidas por um de azar. Muda também a conversa na sala do conselho de "por que erramos?" para "o processo de fato mudou?" — que é a pergunta de melhoria (ver Tópico 10.2 — Melhoria da qualidade e ciência da melhoria).

6. Segmentem os KPIs por população para revelar a desigualdade. Um número agregado esconde a distribuição. Um tempo médio de espera "bom" pode ocultar que pacientes dos bairros mais carentes, ou que precisam de intérprete, esperam muito mais. Desagreguem todo KPI relevante para a equidade por privação, etnia, idade, deficiência e acesso digital, em conformidade com os deveres de equidade em saúde e arcabouços como o NHS Core20PLUS5. Nos serviços digitais, segmentem também as taxas de adesão e de conclusão — um número principal de adesão pode mascarar que o seu serviço exclui exatamente as pessoas que mais precisam dele (ver Tópico 4.5 — Dados, análises e gestão da saúde populacional).

7. Tratem a qualidade dos dados como pré-requisito e meçam-na. Um KPI é tão confiável quanto os dados por baixo. Acompanhem a qualidade dos dados dos campos de que os seus KPIs dependem — completude, validade, oportunidade, cobertura — usando instrumentos como o NHS Data Quality Maturity Index, e mostrem as ressalvas de qualidade dos dados ao lado do número. Se 30% dos registros não têm o campo, digam-no no painel; um KPI de aparência confiante construído sobre dados ruins é pior do que nenhum KPI.

8. Usem métricas de entrega para o próprio serviço digital, escolhidas com o mesmo rigor. Para o software que vocês constroem e operam, as quatro chaves do DevOps Research and Assessment (DORA) — frequência de implantação, tempo de espera para mudança, taxa de falha de mudanças e tempo para restaurar o serviço — dão uma visão equilibrada de velocidade e estabilidade. Resistem à manipulação como conjunto: não se entrega mais depressa quebrando coisas, porque a taxa de falha de mudanças e o tempo de restauração pegarão. Complementem-nas com KPIs de confiabilidade e de segurança que importam clinicamente, como taxas de incidentes e disponibilidade de funções críticas para a segurança (ver Tópico 3.6 e Tópico 3.8).

9. Estratifiquem o relato em camadas para que cada público receba a altitude certa. Uma equipe da linha de frente precisa de medidas de processo granulares e em tempo real; um conselho de serviço precisa de um punhado equilibrado com SPC; a liderança do sistema precisa de poucas medidas curadas de resultado e de equidade. Projetem as camadas deliberadamente para que a visão do topo seja uma agregação honesta das de baixo, e não um subconjunto lisonjeiro escolhido a dedo. Esta é a sua defesa estrutural contra o relato melancia (Tópico 10.4).

10. Revejam e aposentem KPIs em um calendário. Os indicadores decaem: uma medida que impulsionou melhoria real pode virar um ritual manipulado depois que o comportamento visado se incorporou, e novos riscos emergem que nada está observando. Ponham os KPIs numa revisão regular em que perguntam, de cada um, "isto ainda nos diz algo sobre o qual agimos?" e aposentem a madeira morta. Um conjunto obsoleto de KPIs não é neutro — desvia ativamente a atenção.

Perguntas para discutir com a sua equipe#

1. Para cada um dos nossos KPIs principais, como alguém melhoraria o número sem melhorar a realidade — e perceberíamos? Este é o teste de estresse da lei de Goodhart e é melhor feito como um exercício deliberadamente adversarial. Tomem cada KPI e façam a equipe desempenhar o papel de um serviço sobrecarregado tentando atingi-lo: dar alta antes da meia-noite para zerar o relógio, reclassificar um paciente em espera, fechar e reabrir um chamado para zerar o tempo de resolução, registrar em lote usuários que nunca voltam. O ponto não é cinismo quanto aos colegas, mas o reconhecimento de que a pressão mais uma meta de número único produz distorções previsíveis, sobretudo quando pagamento, reputação ou penalidades contratuais dependem do número. Uma boa resposta nomeia a rota específica de manipulação de cada KPI e identifica a medida de equilíbrio ou a verificação de dados que a exporia — e sinaliza com honestidade qualquer KPI em que vocês hoje não tenham tal salvaguarda. Se uma métrica não pode ser defendida assim, a discussão deve terminar com a decisão de pareá-la, redefini-la ou abandoná-la.

2. Quais dos nossos números estamos reportando para a melhoria e quais para o julgamento — e estamos apresentando cada um de um modo que combine? As equipes rotineiramente pegam uma métrica construída para ajudar um serviço a aprender e a entregam, inalterada, a um comitê que a usa para responsabilizar alguém, ou vice-versa. A tensão é real: os líderes precisam de garantia, e a melhoria precisa de segurança para ver os problemas com honestidade, e o mesmo gráfico nem sempre pode servir aos dois sem distorção. Percorram os seus pacotes reais de conselho e operacionais e rotulem o verdadeiro propósito de cada métrica e depois perguntem se a apresentação combina — vocês estão mostrando uma comparação vermelho/verde de dois pontos onde um gráfico SPC evitaria reações impulsivas ao ruído? Uma boa resposta, honesta, admitirá onde a cultura de julgamento se infiltrou em fóruns de melhoria (fazendo a equipe esconder problemas) e onde narrativas vagas de melhoria estão sendo usadas para fugir de uma responsabilização legítima. O objetivo é uma escolha consciente por métrica, com o SPC como apresentação padrão, em vez de uma confusão acidental.

3. Os nossos KPIs revelam ou encobrem a desigualdade, e a experiência de quem está inteiramente ausente deles? Os KPIs agregados são confortáveis precisamente porque tiram a média das pessoas nas margens, e na saúde e nos cuidados é nas margens que o dano evitável se concentra. Discutam quais dos seus indicadores são segmentados por privação, etnia, deficiência, idade e acesso digital — e quais ainda são reportados apenas como um número único de todo o sistema que poderia parecer saudável enquanto um subgrupo é abandonado. Avancem até as pessoas que jamais entram nos seus dados: pacientes que não conseguiram passar do login, que abandonaram o formulário digital, que nunca foram encaminhados, que se recusaram a compartilhar o campo demográfico pelo qual vocês segmentam. Uma resposta forte identifica ao menos um KPI em que a segmentação mudou ou mudaria a história, reconhece com honestidade os limites de qualidade de dados e de consentimento da segmentação e se compromete com um passo específico — mesmo um substituto ou um pequeno estudo qualitativo — para enxergar o hoje invisível. Qualquer coisa menos arrisca um painel tecnicamente exato e moralmente cego.

4. Quantos KPIs estamos de fato observando, e quais poderíamos aposentar sem perder nada? A palavra chave só significa algo se o conjunto for pequeno, mas os indicadores se acumulam mais depressa do que alguém os remove — um retorno nacional aqui, uma métrica contratual ali, um número que um ex-diretor pediu uma vez e que ninguém ousou largar desde então. A tensão é que todo KPI parece defensável isoladamente, de modo que o conjunto cresce até que os pacotes do conselho sejam cem páginas que ninguém lê e os sinais genuinamente importantes fiquem enterrados entre métricas zumbi produzidas por hábito. Percorram o seu relato real e contem os indicadores com honestidade, e perguntem de cada um se alguém agiu sobre ele no último ano e que decisão informa; as métricas que não passam em nenhum dos testes são madeira morta que ainda consome tempo de analista e dilui a atenção. Uma boa resposta nomeia um número específico que vocês manterão por serviço, identifica ao menos um KPI a aposentar de vez e institui uma revisão agendada para que o conjunto permaneça curado e não volte a inflar em silêncio. Cuidado com o reflexo de que aposentar uma métrica é uma confissão de fracasso — uma subtração disciplinada é sinal de maturidade, e não de negligência.

5. Quanto confiamos de fato nos dados por baixo de cada KPI principal, e o painel diz isso? Um número de aparência confiante construído sobre um campo 30% incompleto é mais perigoso do que nenhum número, porque convida a decisões que os dados não conseguem sustentar enquanto veste a autoridade de uma cifra limpa. Na saúde e nos cuidados isso é agudo: os campos demográficos necessários para a segmentação de equidade costumam ser escassos, a prática de codificação varia entre locais e o próprio ato de digitalizar um processo em papel pode deslocar o que é registrado e quando. Discutam, para cada KPI, se vocês conhecem sua completude, validade, oportunidade e cobertura e se essas ressalvas viajam com o número até o pacote do conselho ou são removidas em silêncio à medida que ele sobe. Uma resposta forte aponta um instrumento concreto — uma verificação de qualidade de dados, o DQMI, um limiar de completude abaixo do qual uma métrica é sinalizada — e mostra ao menos um lugar onde uma ressalva de qualidade de dados é exibida ao lado do KPI em vez de escondida. A versão honesta admite onde vocês hoje reportam um número que não conseguem sustentar por inteiro e trata a correção dos dados como parte do KPI, e não como um item de backlog à parte.

6. As camadas do nosso relato se somam honestamente, e onde o vermelho poderia virar verde a caminho do conselho? Públicos diferentes legitimamente precisam de altitudes diferentes — uma equipe da linha de frente quer medidas de processo granulares e em tempo real, um conselho quer um punhado equilibrado com SPC, um sistema quer poucos resultados curados —, mas cada agregação é uma oportunidade de o quadro subjacente ser suavizado, mediado ou escolhido a dedo em algo mais confortável que a verdade. Esta é a raiz estrutural do relato melancia: quanto mais camadas entre a enfermaria e o conselho, mais lugares em que uma distribuição pode ser achatada numa média tranquilizadora ou um local em dificuldade ser compensado por um forte. Rastreiem um KPI da fonte na linha de frente até a visão do topo e perguntem se o número executivo é uma agregação fiel ou um subconjunto lisonjeiro e quem — se alguém — audita essa agregação. Uma boa resposta mostra que as camadas de relato foram projetadas deliberadamente, com definições e responsáveis acordados, identifica ao menos um ponto em que a agregação poderia mascarar um problema e nomeia a medida de equilíbrio ou o detalhamento que mantém a visão do topo verdadeira. A honestidade aqui significa admitir onde a agregação é hoje aceita de confiança e não verificada (ver Tópico 10.4).

Na prática: um exemplo de saúde e cuidados#

Um sistema de cuidados integrados (ICS) lança um serviço digital de encaminhamento que permite aos clínicos gerais encaminhar diretamente à fisioterapia musculoesquelética (MSK) comunitária, substituindo um processo de papel e fax. O instinto do conselho do programa é reportar dois KPIs: número de encaminhamentos digitais recebidos e disponibilidade do sistema. Em três meses, ambos estão fortemente verdes — milhares de encaminhamentos, 99,9% de disponibilidade — e o conselho está pronto para declarar sucesso.

O diretor clínico está inquieto e pede à equipe de análises (trabalhando com o padrão do Tópico 4.5) que reconstrua o conjunto de KPIs em torno de resultados. Chegam a um punhado equilibrado: tempo do encaminhamento ao primeiro contato (acesso, mostrado como um gráfico SPC), a proporção de encaminhamentos devolvidos ou rejeitados por incompletos (um sinal antecedente de qualidade), uma pontuação de resultado relatada pelo paciente na alta (resultado), uma breve medida de experiência (você se sentiu envolvido nas decisões?) e a taxa de falha de mudanças das versões do serviço (estabilidade de entrega). Toda medida de acesso e de resultado é segmentada por decil de privação e por se o paciente precisou de apoio digital.

A visão reconstruída conta uma história muito diferente. A disponibilidade é genuinamente boa, mas a taxa de devolução ao encaminhador é de 22% — um em cada cinco encaminhamentos quica porque o formulário digital torna obrigatório um histórico em texto livre, de modo que os clínicos gerais o manipulam digitando "ver anexo" e a equipe de triagem os rejeita. O gráfico SPC mostra que o tempo de acesso é estável, mas bem acima da meta e sem tendência de melhora. E a segmentação revela que os pacientes dos dois decis mais carentes têm metade da probabilidade de concluir a rota de autoencaminhamento para a qual o serviço os empurrava em silêncio, ampliando uma distância que o programa supunha estar fechando. Nada disso era visível nos dois números verdes originais. O conselho redesenha o formulário, acrescenta uma via de encaminhamento assistido e mantém o conjunto de KPIs equilibrado, segmentado e baseado em SPC como sua visão permanente — com a contagem bruta de encaminhamentos rebaixada a uma métrica de apoio, onde pertence.

Perspectivas setoriais#

Startup#

Uma startup de saúde digital vive ou morre por algumas métricas acionáveis; a disciplina é, portanto, foco implacável e honestidade. Os fundadores são tentados a mostrar aos investidores métricas de vaidade — downloads cumulativos, total de usuários registrados — porque só sobem; resistam e liderem com ativação, retenção e, onde conseguirem medir, resultado clínico ou um substituto validado. Com números pequenos, o SPC e a segmentação são mais difíceis, mas ainda mais importantes: um punhado de experiências ruins pode ser todo o seu sinal de segurança. Instrumentem o produto desde o primeiro dia para que todo KPI ligue uma mudança que vocês entregaram a uma mudança de comportamento real e sejam francos com parceiros clínicos e regulatórios sobre os limites de qualidade dos dados em vez de polir um conjunto de dados fino.

Pequena empresa#

Um pequeno prestador estabelecido — um consultório de clínica geral, uma farmácia comunitária, uma casa de repouso, uma agência de cuidados domiciliares, uma clínica de unidade única ou um pequeno fornecedor de tecnologia em saúde que já passou da fase pré-receita — carrega os mesmos deveres de medição e de equidade que um grande hospital, mas sem analista dedicado e com pouco tempo sobrando. A armadilha é se afogar nos KPIs que os retornos nacionais, a CQC e os comissionadores já exigem sem medir nada que ajude a tocar o lugar; o antídoto é escolher um punhado genuinamente pequeno de medidas de resultado e de experiência sobre as quais vocês realmente possam agir e apoiar-se no que o seu sistema clínico ou de gestão do consultório já capta, em vez de construir nova instrumentação. O SPC ainda vale a pena mesmo à mão ou numa planilha — um simples gráfico de execução do, digamos, tempo semanal até a consulta impedirá vocês de perseguir o ruído de uma única semana ruim. A segmentação importa tanto nessa escala, mas com números pequenos um par de pacientes individuais pode balançar um percentual; leiam, portanto, os desdobramentos como um convite a olhar mais de perto e não como veredicto. Sejam honestos com os comissionadores sobre os limites de qualidade de dados de uma operação enxuta e resistam a adotar o painel de cinquenta métricas de uma grande organização quando cinco números bem escolhidos servirão melhor aos seus pacientes.

Grande organização#

Um grande hospital do NHS ou fornecedor de tecnologia em saúde já se afoga em indicadores — retornos nacionais, KPIs contratuais, métricas do conselho, painéis operacionais —, de modo que o desafio é a curadoria e a coerência, e não a coleta. Adotem o SPC no relato do conselho e operacional (como o Making Data Count pretende) para parar a perseguição mensal do ruído e construam camadas explícitas de relato para que a visão executiva seja uma agregação honesta da da linha de frente. O relato melancia é o risco em escala corporativa: quanto mais camadas entre a enfermaria e o conselho, mais fácil o vermelho virar verde a caminho do topo; invistam, portanto, nas medidas de equilíbrio e nas ressalvas de qualidade de dados que mantêm a visão do topo verdadeira. Aposentem KPIs legados deliberadamente; as grandes organizações acumulam métricas zumbi sobre as quais ninguém age, mas que todos ainda produzem.

Governo#

Um órgão público nacional ou local define KPIs que reverberam por todo um sistema e viram metas políticas, o que faz da lei de Goodhart um perigo sistêmico e não local — uma meta nacional de tempo de espera remodela as prioridades clínicas em toda parte da noite para o dia. Projetem os indicadores publicados sabendo que serão otimizados, pareiem-nos com medidas de equilíbrio e segmentação de equidade e sejam transparentes sobre definições e qualidade dos dados, porque a confiança pública depende disso. Arcabouços como o NHS Outcomes Framework e o Core20PLUS5 existem precisamente para manter a atenção nacional em resultados e desigualdades e não em atividade bruta. O governo carrega também um dever que os demais não têm: medir as pessoas que seus serviços excluem, e não apenas as que atendem, porque os excluídos raramente aparecem nos dados administrativos.

Modos de falha comuns#

• Contar atividade e chamar de sucesso. Encaminhamentos recebidos, logins, consultas oferecidas — ocupado não é o mesmo que eficaz. Elevem os resultados e a experiência; rebaixem a atividade à camada de apoio.
• O número único sem medida de equilíbrio. Qualquer KPI isolado sob pressão será manipulado. Pareiem sempre as medidas para que melhorar uma à custa de outra seja visível.
• Relato vermelho/verde de dois pontos. "Abaixo do mês passado, abaixo da meta" nada diz sobre se o processo mudou. Usem gráficos de execução e de controle do SPC.
• Painéis melancia. Agregação que transforma vermelho subjacente em verde de superfície. Construam camadas honestas de relato e auditem a agregação (Tópico 10.4).
• Métricas de vaidade. Contagens cumulativas e sempre em alta que não podem sinalizar um problema. Prefiram métricas acionáveis ligadas a uma decisão.
• Cegueira de equidade por falta de segmentação. Médias que escondem as pessoas que estão sendo abandonadas. Segmentem por população e procurem quem está inteiramente ausente.
• KPIs construídos sobre dados não examinados. Um número confiante sobre dados ruins engana. Meçam e divulguem a qualidade dos dados ao lado do KPI.
• KPIs zumbi. Métricas ainda produzidas por hábito sobre as quais ninguém age. Revejam e aposentem em um calendário.

Modelo de maturidade#

Lista de verificação#

• Todo KPI é rastreável a um resultado que importa a um paciente, cidadão ou clínico.
• O conjunto de KPIs por serviço é pequeno, e cada um tem um responsável, uma definição escrita e uma fonte de dados nomeada.
• Cada KPI tem ao menos uma medida de equilíbrio para não poder ser manipulado isoladamente.
• As medidas de resultado e de experiência são priorizadas; a atividade bruta fica na camada de apoio.
• Os KPIs operacionais são apresentados como gráficos de execução/controle SPC, e não como comparações vermelho/verde de dois pontos.
• Os KPIs relevantes para a equidade são segmentados por privação, etnia, deficiência, idade e acesso digital.
• A qualidade dos dados dos campos por trás de cada KPI é acompanhada e ressalvada no painel.
• A entrega do serviço digital é medida com um conjunto equilibrado (p. ex., as quatro chaves do DORA mais segurança/confiabilidade).
• As camadas de relato são projetadas para que a visão do topo seja uma agregação honesta da da linha de frente.
• Os KPIs são revistos em calendário, com as métricas mortas ou manipuladas aposentadas.
• Vocês perguntaram, para cada KPI, "quem está inteiramente ausente deste número?"

Fontes-chave#

• NHS England — Making Data Count (controle estatístico de processo para dados operacionais do NHS)
• Institute for Healthcare Improvement — Science of Improvement: medidas de resultado, de processo e de equilíbrio
• NHS England — NHS Outcomes Framework; abordagem Core20PLUS5 para reduzir as desigualdades em saúde
• NHS England — Data Quality Maturity Index (DQMI)
• Robert S. Kaplan & David P. Norton — The Balanced Scorecard: Translating Strategy into Action
• Nicole Forsgren, Jez Humble & Gene Kim — Accelerate (métricas DORA); relatórios State of DevOps do Google Cloud DORA
• Jerry Z. Muller — The Tyranny of Metrics
• Donald J. Wheeler — Understanding Variation: The Key to Managing Chaos
• GOV.UK Service Manual — Measuring success / medir o desempenho do seu serviço
• The Health Foundation — orientações sobre medição para a melhoria

Referências#

1. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
3. Statistical process control — Wikipedia — https://en.wikipedia.org/wiki/Statistical_process_control
4. Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
5. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
6. Outcome measure — Wikipedia — https://en.wikipedia.org/wiki/Outcome_measure
7. Health equity — Wikipedia — https://en.wikipedia.org/wiki/Health_equity
8. Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
9. DevOps Research and Assessment — Wikipedia — https://en.wikipedia.org/wiki/DevOps_Research_and_Assessment
10. Lean startup (vanity vs actionable metrics) — Wikipedia — https://en.wikipedia.org/wiki/Lean_startup
11. Making Data Count — NHS England — https://www.england.nhs.uk/publication/making-data-count/
12. Science of Improvement: Establishing Measures — Institute for Healthcare Improvement — https://www.ihi.org/resources/how-to-improve/science-improvement-establishing-measures
13. NHS Outcomes Framework — NHS England / Department of Health and Social Care — https://digital.nhs.uk/data-and-information/publications/statistical/nhs-outcomes-framework
14. Core20PLUS5 – reducing healthcare inequalities — NHS England — https://www.england.nhs.uk/about/equality/equality-hub/national-healthcare-inequalities-improvement-programme/core20plus5/
15. Data Quality Maturity Index (DQMI) — NHS England — https://digital.nhs.uk/data-and-information/data-tools-and-services/data-services/data-quality
16. The Balanced Scorecard: Translating Strategy into Action — Robert S. Kaplan & David P. Norton (Harvard Business Review Press) — https://en.wikipedia.org/wiki/Balanced_scorecard
17. Accelerate: The Science of Lean Software and DevOps — Nicole Forsgren, Jez Humble & Gene Kim (IT Revolution) — https://itrevolution.com/product/accelerate/
18. DORA / State of DevOps research — Google Cloud DORA — https://dora.dev/
19. The Tyranny of Metrics — Jerry Z. Muller (Princeton University Press) — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
20. Measuring the performance of your service — GOV.UK Service Manual — https://www.gov.uk/service-manual/measuring-success
21. Understanding Variation: The Key to Managing Chaos — Donald J. Wheeler (SPC Press) — https://www.spcpress.com/book_understanding_variation.php