Tópico 1.3 — Decisões baseadas em evidências

Em uma frase: Tomar decisões baseadas em evidências significa decidir o que construir, comprar e ampliar com base na força das melhores evidências disponíveis — clínicas e de entrega —, proporcionais ao risco, e registrar o raciocínio para que ele sobreviva às pessoas que o formularam.

Por que isso importa na saúde e nos cuidados#

Na maioria dos setores, uma má decisão de produto custa dinheiro. Na saúde e nos cuidados, pode custar segurança, equidade e confiança — e é tomada com fundos públicos, sob dever legal. A decisão de implantar um diagnóstico digital nunca avaliado não é uma aposta comercial; é um risco clínico. Isso eleva a exigência de evidências muito acima de "a demonstração pareceu boa".

O domínio também é peculiar porque exige dois tipos de evidência ao mesmo tempo. A evidência clínica responde a "esta tecnologia funciona e é segura e eficaz para os pacientes?". A evidência de entrega responde a "estamos construindo a coisa certa, e bem, e ela está sendo adotada e usada?". Um serviço pode ser clinicamente sólido e, ainda assim, um fracasso de entrega (ninguém o usa), ou um sucesso de entrega e clinicamente não comprovado (muito usado, nunca validado). Líderes seniores precisam exigir ambas e nunca deixar que uma se passe pela outra. E, como as decisões de saúde atraem escrutínio — de reguladores, do público e de clínicos —, o registro do porquê de uma decisão importa tanto quanto a própria decisão.

Conceitos centrais#

A hierarquia das evidências. A medicina baseada em evidências classifica os desenhos de estudo conforme o quanto controlam o viés: no topo, as revisões sistemáticas e as metanálises de ensaios clínicos randomizados (ECRs); depois, os ECRs individuais; depois, os estudos de coorte e de caso-controle; depois, as séries de casos; e, na base, a opinião de especialistas e a anedota. A hierarquia é um guia, não uma camisa de força — mas ela o disciplina a perceber quando uma afirmação se apoia em anedota vestida de prova.

Evidence Standards Framework (ESF) do NICE para tecnologias digitais de saúde. O NICE, com o NHS England e parceiros, criou o ESF para definir que nível de evidência uma tecnologia digital de saúde (DHT) precisa ter, proporcional à sua função e ao risco que carrega. Ele escalona as DHTs por risco potencial — de simples serviços de sistema, passando por ferramentas que informam ou conduzem o cuidado, até as que diagnosticam ou tratam diretamente — e especifica a evidência de eficácia clínica e econômica esperada em cada nível. Quanto maior o risco clínico, mais forte a evidência exigida. O ESF é o ponto de referência para comissionadores e desenvolvedores que decidem se uma DHT está pronta.

Dados do mundo real e evidência do mundo real. Os dados do mundo real (RWD) vêm do cuidado de rotina — prontuários eletrônicos, registros, desfechos relatados pelos pacientes, telemetria de dispositivos —, e não de ensaios controlados. Analisados bem (por meio de estudos observacionais prospectivos, ensaios pragmáticos ou análise cuidadosa de prontuários), tornam-se evidência do mundo real (RWE) sobre como uma tecnologia se comporta na prática. A RWE é essencial para tecnologias que aprendem ou mudam (IA, dispositivos vestíveis), nas quais um ensaio pontual não captura o comportamento contínuo, mas traz riscos de confusão que precisam ser tratados com honestidade.

Evidência clínica versus evidência de entrega. Mantenha-as em eixos separados. A evidência clínica usa a hierarquia acima e o ESF: eficácia, segurança, efetividade. A evidência de entrega usa análises de produto e de serviço: o serviço é usável, adotado, permite ao usuário concluir a tarefa, reduz a demanda por falha? Ambas são necessárias; confundi-las é um erro clássico (um alto número de uso não é prova clínica).

Desenhos de avaliação. Um modelo lógico (ou teoria da mudança) explicita como se espera que insumos e atividades produzam produtos e resultados — é o mapa que toda avaliação testa. Um ECR dá a resposta causal mais forte, mas é lento, caro e, às vezes, impraticável ou antiético para um serviço de evolução rápida. A avaliação pragmática — ensaios pragmáticos, séries temporais interrompidas, antes e depois com controles, avaliação de serviço com métodos mistos — troca alguma certeza por velocidade e relevância no mundo real. Escolha o desenho proporcional ao risco e à decisão em jogo.

Testes A/B e análises. Para questões de entrega de menor risco (que redação aumenta a presença nas consultas? que fluxo reduz o abandono?), os experimentos on-line controlados (testes A/B) dão evidência de entrega rápida e causal. São poderosos para otimização, mas nunca devem ser usados para fazer mudanças clínicas não avaliadas e devem respeitar os limites de consentimento e de governança da informação.

Decisões HiPPO. "HiPPO" — a opinião da pessoa mais bem paga (Highest-Paid Person's Opinion) — nomeia a falha em que a senioridade se sobrepõe às evidências. Culturas baseadas em evidências tornam seguro e normal perguntar "o que dizem os dados?" a qualquer pessoa na sala e tratam um palpite sênior como uma hipótese a testar, e não como uma conclusão.

Registros de decisão. Um registro de decisão (ou diário de decisões / registro de decisão de arquitetura) captura, de forma breve: a decisão, as opções consideradas, as evidências ponderadas, quem decidiu e quando. Torna o raciocínio auditável, sobrevive à rotatividade de pessoal e evita que o mesmo debate seja refeito a cada trimestre.

Boas práticas#

  1. Ajuste a força da evidência ao nível de risco. Use os níveis do ESF do NICE como régua: uma ferramenta de sistema de baixo risco precisa de evidência leve; uma ferramenta que diagnostica ou conduz o tratamento precisa de evidência de eficácia clínica de alta qualidade. A proporcionalidade permite andar depressa no que é seguro e devagar no que é perigoso, em vez de aplicar um único critério a tudo.

  2. Exija evidência clínica e de entrega, e nunca as confunda. Para qualquer investimento significativo, faça duas perguntas separadas — "é clinicamente eficaz e seguro?" e "é usável e adotado?" — e exija evidência para cada uma. Métricas de adoção não substituem a validação clínica, e um ensaio positivo não é garantia de uso no mundo real.

  3. Comece toda iniciativa com um modelo lógico. Antes de construir, escreva como você acredita que a intervenção produzirá o resultado desejado. Isso expõe cedo as suposições não testadas, define as métricas que importam e dá à sua avaliação posterior algo concreto para testar.

  4. Use evidência do mundo real para tecnologias que aprendem ou persistem. Para IA, algoritmos e serviços de longa duração, complemente ou siga os ensaios iniciais com monitoramento estruturado de dados de rotina — desenhos observacionais prospectivos, avaliação pragmática — para saber como o desempenho se sustenta na prática e detectar desvios.

  5. Experimente nas questões de entrega; avalie as clínicas. Use testes A/B e análises livremente para a otimização da entrega (redação, fluxo, lembretes), dentro dos limites de governança da informação e de consentimento. Reserve a avaliação formal (ensaios, estudos pragmáticos) para as questões de efeito clínico. Encaminhe cada pergunta ao método certo.

  6. Mate as decisões HiPPO na cultura, e não só no procedimento. Torne explicitamente aceitável pedir a qualquer decisor as evidências, enquadre as opiniões seniores como hipóteses e pré-comprometa-se com a evidência que mudaria a sua opinião. Uma equipe que pode questionar a senioridade com segurança toma decisões melhores.

  7. Registre as decisões e as suas evidências. Mantenha um diário leve de decisões para cada escolha significativa — o quê, por quê, com que evidência, quem, quando. Isso cria auditabilidade para reguladores e para o público, evita o relitígio sem fim e preserva a memória institucional diante da rotatividade de pessoal.

  8. Atente para a ética de dados. O trabalho com evidências usa dados de pacientes; trate a licitude, o consentimento, a proporcionalidade e a justiça como restrições de projeto. Proteja-se de conjuntos de dados enviesados que consolidam a iniquidade, respeite o dever de confidencialidade e garanta que as suas práticas de evidência sobrevivam, elas próprias, ao escrutínio público.

Perguntas para discutir com a sua equipe#

  1. Em nossa decisão recente mais significativa, conseguimos apontar tanto evidência clínica quanto evidência de entrega — mantidas distintas — ou uma delas substituiu silenciosamente a outra? Esta pergunta testa a insistência do tópico em que a evidência clínica ("funciona e é seguro?") e a evidência de entrega ("é usável e adotado?") ocupam eixos separados e que confundi-las é um erro clássico e perigoso. Importa porque um serviço pode ser clinicamente sólido, mas não usado, ou muito usado, mas clinicamente não validado, e na saúde e nos cuidados tomar um alto número de uso por prova clínica pode pôr pacientes em risco enquanto tem aparência de sucesso. A tensão a trazer à tona é que a evidência de entrega é rápida, barata e lisonjeira — os painéis de análise se enchem depressa —, enquanto a evidência clínica é lenta, cara e muitas vezes inconclusiva, de modo que há pressão constante para deixar as métricas de adoção sustentarem o argumento. Pegue um documento de conselho ou um caso de investimento real e audite-o: os dois tipos de evidência estão separados, cada um está de fato presente e a afirmação clínica se apoia em algo acima da demonstração do fornecedor ou de um estudo de centro único? Uma boa resposta, honesta, identifica uma decisão específica, admite onde um tipo de evidência era frágil ou ausente e se compromete a exigir ambos, explícita e separadamente, em futuras escolhas significativas, em vez de deixar um número forte de uso tranquilizar a todos.

  2. Quão proporcional é de fato o nosso critério de evidência — estamos exigindo ensaios padrão-ouro para mudanças de baixo risco enquanto deixamos passar ferramentas de maior risco com evidência frágil? O tópico enquadra a proporcionalidade pelos níveis do ESF do NICE: evidência leve para uma ferramenta de sistema de baixo risco, evidência de eficácia clínica de alta qualidade para uma ferramenta que diagnostica ou conduz o tratamento; esta pergunta verifica, portanto, se a sua organização de fato calibra o critério ao risco ou aplica um único padrão grosseiro. Importa porque as duas direções de falha são custosas — a paralisia por análise retém uma útil mudança de conteúdo de baixo risco atrás de um ECR desnecessário, enquanto uma ferramenta de IA que informa decisões clínicas, pouco escrutinada, passa com base numa demonstração convincente — e ambas minam a confiança na cultura de evidências. A concessão a debater é que a proporcionalidade exige julgamento e confiança para defendê-la, o que é mais difícil do que uma regra uniforme; um "tudo precisa de um ensaio" ou "se é digital, é só pilotar" é mais fácil de administrar, mas errado. Percorram duas ou três tecnologias atuais ou recentes, situem cada uma em seu nível do ESF em conjunto e verifiquem se a evidência que vocês exigiram correspondeu ao nível ou foi movida por quem a defendia. Uma resposta honesta mostra que a equipe sabe localizar o nível de risco de uma tecnologia, admite onde o critério foi mal ajustado em qualquer direção e trata a proporcionalidade como um padrão explícito e defensável, e não como um instinto.

  3. Quão seguro é, culturalmente, perguntar à pessoa mais sênior da sala "qual é a evidência?" — e quando foi a última vez que tratamos o palpite de um líder como uma hipótese a testar, e não como uma decisão? Esta pergunta confronta diretamente o modo de falha HiPPO, em que a opinião da pessoa mais bem paga se sobrepõe às evidências, e testa se o compromisso declarado com as evidências sobrevive ao contato com a hierarquia e com a demonstração de fornecedor que impressionou um diretor respeitado. Importa porque, na saúde e nos cuidados, uma decisão movida por demonstração de implantar uma ferramenta não avaliada não é uma aposta comercial, mas um risco para a segurança clínica e para o dinheiro público, e o momento em que o questionamento se torna inseguro é o momento em que as evidências deixam de governar as decisões. A tensão real é que a segurança psicológica não pode ser decretada por política; ela é construída por líderes seniores que convidam visivelmente ao questionamento, enquadram as próprias opiniões como hipóteses e pré-comprometem-se com a evidência que mudaria sua opinião — comportamentos que expõem e são fáceis de pular sob pressão de tempo. Baseie a conversa em especificidades: lembre uma decisão recente movida mais por senioridade ou entusiasmo do que por dados e pergunte se alguém a questionou, se isso pareceu seguro e o que um registro de decisão teria capturado. Uma boa resposta é franca sobre onde a hierarquia hoje vence, nomeia comportamentos concretos que os líderes adotarão para normalizar o questionamento e alia o compromisso cultural ao diário leve de decisões que torna o raciocínio auditável e evita que o mesmo debate seja refeito.

  4. Para as tecnologias que aprendem ou persistem — nossa IA, nossos algoritmos, nossos serviços de longa duração —, como saberíamos de fato se o desempenho delas se desviou desde que as validamos, e quem está de olho? O tópico é explícito: um ensaio pontual não captura o comportamento contínuo de tecnologias que aprendem ou mudam, e a "avaliação feita uma vez e esquecida" é um modo de falha nomeado cujo antídoto é a evidência do mundo real e o monitoramento contínuo. Esta pergunta importa porque o perigo é silencioso: um modelo de IA de deterioração clínica ou um algoritmo de triagem pode se degradar à medida que mudam o perfil de casos, a prática de codificação ou os fluxos de dados a montante e, ao contrário de uma funcionalidade quebrada, nada falha de modo óbvio — a ferramenta continua produzindo saídas plausíveis enquanto sua taxa de falsos alertas ou de omissões piora silenciosamente. A tensão a trazer à tona é que o monitoramento é pouco glamoroso e sem financiamento diante do entusiasmo da implantação: assinado o caso de negócio e contabilizados os benefícios, poucas organizações dão recursos ao trabalho observacional prospectivo, às métricas de desvio ou ao responsável nomeado que as revisa. Escolha uma ferramenta de IA ou algorítmica em produção e rastreie concretamente a sua vida pós-implantação — que dados de rotina são observados, em relação a qual linha de base, com que cadência e quem escalaria uma degradação, e a quem. Uma resposta honesta admite onde a validação parou na entrada em produção, distingue as ferramentas que realmente precisam de vigilância contínua das que não precisam e se compromete com um responsável nomeado, uma métrica e um ritmo de revisão, em vez de uma vaga intenção de "ficar de olho".

  5. Quando uma decisão que tomamos hoje for questionada daqui a dois anos — por um novo diretor, por um regulador ou pelo público —, o que o registro escrito de fato mostrará, e ele resistiria a esse escrutínio? O tópico trata o registro de decisão como infraestrutura central: um diário leve da decisão, das opções, das evidências ponderadas, de quem decidiu e de quando, valorizado porque torna o raciocínio auditável, sobrevive à rotatividade de pessoal e impede que o mesmo debate seja refeito a cada trimestre. Esta pergunta importa porque as decisões de saúde e cuidados atraem escrutínio regulatório, parlamentar e público de um modo que as comerciais raramente atraem, e o exemplo prático deste tópico gira justamente em torno disso — dois anos depois, um novo diretor questiona uma ferramenta implantada e "o registro responde". A tensão real está entre o custo minúsculo da disciplina por decisão e a pressão crônica para pulá-la: registrar por que se decidiu parece burocrático no momento, e as pessoas que mais precisam do registro são futuros colegas que não estão na sala para exigi-lo. Teste-a contra a realidade tentando reconstruir o raciocínio por trás de uma escolha significativa feita doze ou dezoito meses atrás — dá para encontrar que evidências foram ponderadas e que alternativas foram rejeitadas, ou apenas que uma decisão foi tomada? Uma boa resposta enfrenta se os registros são de fato mantidos para decisões significativas ou só para as fáceis, se capturam evidências e opções e não apenas conclusões, e se alguém alguma vez os relê — porque um diário não lido e só de conclusões é teatro de auditoria, não memória institucional.

  6. De quem são os dados que treinam e validam as nossas evidências, e temos confiança de que não consolidariam iniquidade — ou estamos tratando a ética de dados como um formulário a assinar e não como uma restrição de projeto? O tópico insiste que o trabalho com evidências roda sobre dados de pacientes e que licitude, consentimento, proporcionalidade e justiça são restrições de projeto, e não papelada, alertando especificamente contra conjuntos de dados enviesados que consolidam a iniquidade e contra a "ética como papelada" como modo de falha. Esta pergunta importa porque uma tecnologia validada numa população não representativa pode ter desempenho pior justamente para os grupos já menos bem atendidos — um modelo de deterioração ou de diagnóstico treinado onde certas etnias, idades ou comorbidades estão sub-representadas pode levar esse viés a toda decisão futura e, em escala nacional, um conjunto de dados endossado consolida essa iniquidade em todo o sistema. A tensão é que a análise de justiça é mais difícil e mais lenta do que um número de acurácia de manchete: exige que você interrogue quem está nos dados e quem está ausente, desagregue o desempenho por subgrupos e, às vezes, aceite que a sua evidência é mais fraca para as populações que você mais precisa atender. Torne-a concreta pegando uma ferramenta recente ou proposta e perguntando em cujos registros ela foi construída e testada, se o desempenho chegou a ser examinado por subgrupo e se a aprovação de governança da informação sequer tratou de justiça ou apenas confirmou a base legal. Uma resposta honesta separa o escrutínio ético genuíno do preenchimento de formulários, admite onde a representatividade nunca foi verificada e trata o viés e a justiça como perguntas que a própria evidência deve responder, e não como uma etapa de conformidade acrescentada no fim.

Na prática: um exemplo de saúde e cuidados#

Um hospital comunitário recebe a oferta de uma ferramenta de IA que sinaliza pacientes sob risco de deterioração a partir de dados de sinais vitais. Uma decisão HiPPO a implantaria porque um diretor respeitado ficou impressionado com a demonstração do fornecedor.

Em vez disso, o hospital trata a proposta como uma hipótese. Situa a ferramenta no nível de risco do ESF do NICE adequado a uma tecnologia que informa decisões clínicas e pede ao fornecedor evidência de eficácia nesse nível; o mais forte que lhe é oferecido é um pequeno estudo de centro único. O hospital escreve um modelo lógico (melhor alerta precoce → escalonamento mais cedo → menos deteriorações evitáveis) e desenha uma avaliação pragmática: uma implantação em modo sombra, em que os alertas da ferramenta são registrados, mas não usados para agir, comparados com os desfechos reais, além de entrevistas qualitativas com enfermeiros sobre o encaixe no fluxo de trabalho.

Em paralelo, reúne evidência de entrega: os clínicos perceberiam os alertas e confiariam neles? Executa testes ao estilo A/B sobre a apresentação dos alertas. Os responsáveis por governança da informação e segurança clínica aprovam o uso dos dados e o registro de perigos. Após três meses, a RWE mostra uma melhoria modesta, mas real, e uma taxa aceitável de falsos alertas, e a evidência de entrega mostra que os clínicos se engajam com os alertas redesenhados. A decisão de prosseguir — com implantação escalonada e monitoramento contínuo — é registrada num registro de decisão que cita as evidências ponderadas. Dois anos depois, quando um novo diretor questiona a ferramenta, o registro responde.

Perspectivas setoriais#

Todos devem o mesmo dever de ajustar a evidência ao risco, mas os recursos, os incentivos e a responsabilização em torno da evidência diferem muito conforme a organização.

Startup#

A restrição de uma startup é que a evidência clínica de padrão-ouro é lenta e cara enquanto o fôlego financeiro é curto; daí a tentação de vender métricas de adoção como se fossem prova de efeito clínico. A atitude honesta é situar cedo o produto no nível correto do ESF do NICE e ser franca com os compradores sobre a lacuna de evidências, usando um modelo lógico claro e uma avaliação pragmática barata (um piloto em modo sombra, uma série temporal interrompida em um único local) para gerar as primeiras evidências do mundo real. Os registros de decisão custam quase nada e são desproporcionalmente valiosos para uma equipe pequena, preservando o raciocínio em meio a mudanças rápidas de rumo e dando a investidores atentos à diligência e a avaliadores do NHS uma trilha de auditoria. A disciplina que compensa é resistir ao palpite do fundador HiPPO e tratar cada "a demonstração foi bem recebida" como uma hipótese a testar.

Pequena empresa#

Um pequeno prestador estabelecido — um consultório de clínica geral, uma farmácia comunitária, uma casa de repouso, uma clínica de unidade única, um pequeno fornecedor de tecnologia em saúde que já passou da fase de startup — carrega o mesmo dever de ajustar a evidência ao risco, mas tem pacientes reais, caixa apertado e pouca ou nenhuma capacidade digital dedicada para fazê-lo. A atitude realista é apoiar-se nas evidências que outros já produziram em vez de gerar as suas: usar o nível do ESF do NICE e a avaliação DTAC de uma ferramenta candidata como proporcionalidade pronta, pedir aos fornecedores a evidência de eficácia clínica adequada ao nível e recusar-se a ser convencido por uma demonstração polida a adotar um produto não avaliado. A evidência de entrega é onde uma organização pequena genuinamente pode liderar, porque observa de perto os próprios pacientes — algumas semanas de observação honesta sobre se a equipe de fato usa uma ferramenta e se ela reduz a demanda por falha são evidência do mundo real ao alcance. Um registro de decisão de uma linha — o que escolhemos, que evidência vimos, quem decidiu — custa quase nada a uma equipe pequena e a protege quando um sócio sai ou quando um inspetor da CQC pergunta por quê. A armadilha a evitar é supor que ser pequeno isenta do critério de evidência; o dever para com os pacientes é idêntico, só os recursos não são.

Grande organização#

Um hospital do NHS ou um ICS tem os dados de rotina, os volumes de pacientes e a capacidade analítica para fazer avaliações sérias — e a responsabilização que a exige, porque implantar em escala uma ferramenta não comprovada é, ao mesmo tempo, um risco para a segurança clínica e para o dinheiro público. O modo de falha é institucional: um diretor respeitado defendendo uma demonstração de fornecedor, ou um caso de negócio construído sobre benefícios projetados que ninguém verifica depois. O corretivo é tornar culturalmente seguro perguntar a qualquer decisor "qual é a evidência?", manter a evidência clínica e a de entrega em eixos separados em cada documento de conselho e financiar o monitoramento contínuo no mundo real para IA e serviços de longa duração, em vez de validar uma vez. Uma grande empresa farmacêutica ou de tecnologia em saúde traz a maquinaria formal de ensaios, mas deve proteger-se do viés de publicação e da confusão na evidência do mundo real que gera.

Governo#

Um órgão nacional — NICE, NHS England, DHSC, MHRA, UKHSA — muitas vezes define o critério de evidência que os demais precisam atender, de modo que seus modos de trabalho moldam todo o mercado: o ESF, o DTAC e a regulação de software como dispositivo médico são instrumentos de responsabilização em escala populacional. As decisões aqui atraem escrutínio regulatório, parlamentar e público; assim, o registro do porquê de uma tecnologia ter sido recomendada ou adquirida importa tanto quanto a decisão, e a transparência sobre as limitações das evidências é um dever, e não uma cortesia. O risco nessa escala é impor uma tecnologia a todo o sistema com base em evidências frágeis ou, ao contrário, exigir um ECR para uma mudança de baixo risco e emperrar uma inovação útil. O corretivo é a proporcionalidade tornada explícita em padrões publicados, mais atenção à ética de dados e à justiça, porque um conjunto de dados enviesado endossado nacionalmente consolida a iniquidade em escala.

Modos de falha comuns#

  • Decisões movidas por demonstração. Comprar porque uma demonstração impressionou um líder sênior. Antídoto: tratar propostas como hipóteses; exigir evidência adequada ao nível.
  • Uso confundido com validação. Citar números de adoção como prova de que uma ferramenta é clinicamente eficaz. Antídoto: manter evidência clínica e de entrega em eixos separados.
  • Avaliação feita uma vez e esquecida. Validar uma vez e nunca monitorar, sobretudo para IA que sofre desvio. Antídoto: evidência do mundo real e monitoramento contínuo.
  • Paralisia por análise. Exigir um ECR para uma mudança de conteúdo de baixo risco. Antídoto: métodos proporcionais; A/B e avaliação pragmática onde o risco é baixo.
  • Decisões não registradas. Nenhum rastro do porquê de uma escolha, de modo que ela é rediscutida e inauditável. Antídoto: um diário leve de decisões.
  • Ética como papelada. Tratar a ética de dados como um formulário a assinar e não como uma restrição de projeto. Antídoto: incorporar licitude, consentimento e justiça ao desenho da evidência.

Modelo de maturidade#

Dimensão Iniciar Desenvolver Padronizar Gerir Orquestrar
Base das decisões Senioridade / demonstrações (HiPPO) Alguns dados consultados Evidência exigida rotineiramente, escalonada por risco Critério de evidência acompanhado e assegurado por nível de risco Limiares de evidência pré-comprometidos; palpites testados
Clínica versus entrega Confundidas ou uma ignorada Ambas mencionadas Ambas exigidas e distinguidas Ambas medidas com base em limiares definidos Ambas monitoradas continuamente
Avaliação Nenhuma ou posterior ao fato Ocasional, ad hoc Modelos lógicos + desenhos proporcionais Avaliações governadas, com KPIs acompanhados até a meta RWE e avaliação contínua incorporadas
Ética de dados Reflexão tardia Apenas conformidade Ética incorporada ao projeto Métricas de justiça revistas com base em limiares Justiça e viés monitorados ativamente
Registros de decisão Nenhum Anotações inconsistentes Diário de decisões padrão Completude do diário medida e assegurada Diários reutilizados, auditados e aprendidos

Lista de verificação#

  • Cada tecnologia é situada num nível de risco do ESF do NICE, com a evidência exigida correspondente.
  • Toda decisão significativa tem evidência clínica e de entrega, mantidas distintas.
  • Existe um modelo lógico antes de construir, nomeando os resultados e as métricas.
  • O desenho da avaliação é proporcional ao risco (A/B e pragmática para o baixo; ensaios/RWE para o alto).
  • Evidência do mundo real e monitoramento estão implantados para IA e serviços de longa duração.
  • É culturalmente seguro perguntar a qualquer decisor "qual é a evidência?"
  • Toda decisão significativa é registrada num diário de decisões (o quê, por quê, evidência, quem, quando).
  • O uso de dados é lícito, consentido, proporcional e verificado quanto a viés e justiça.

Fontes-chave#

  • NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
  • NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
  • MHRA — orientações sobre software e IA como dispositivo médico.
  • Oxford Centre for Evidence-Based Medicine — Levels of Evidence (hierarquia das evidências).
  • HM Treasury — The Magenta Book (orientações sobre avaliação, modelos lógicos e desenhos de avaliação).
  • MRC — arcabouço Developing and evaluating complex interventions.
  • Ron Kohavi et al. — Trustworthy Online Controlled Experiments (testes A/B).
  • Michael Nygard — Architecture Decision Records (padrão de diário de decisões).

Referências#

  1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
  2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
  3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
  4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
  5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
  6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
  7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
  8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
  9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
  10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
  11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
  12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
  13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
  14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
  15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
  16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
  17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
  18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/

Editar esta página no GitHub — o livro é a fonte da verdade; este site apenas o exibe.