Tópico 8.6 — Pesquisa e avaliação em mundo real

Na saúde e nos cuidados, uma inovação digital é tão confiável quanto a evidência de que ela de fato funciona na prática — de modo que vocês devem projetar essa evidência desde o início, com um rigor proporcional ao risco e às alegações que fazem.

Por que isso importa na saúde e nos cuidados#

Todo produto digital que vocês implantam faz uma promessa implícita: isto ajudará pacientes, equipe ou o sistema sem causar dano. Na maioria dos setores, uma promessa não comprovada custa um cliente ou um trimestre de receita. Na saúde e nos cuidados, pode custar vidas, ampliar a iniquidade ou corroer a confiança pública da qual todo o sistema depende. Entusiasmo e uma boa demonstração não são evidência, e um mecanismo plausível não é prova de benefício.

A história da saúde digital está cheia de ferramentas que pareciam convincentes e foram adotadas em escala antes que alguém tivesse mostrado que funcionavam — e algumas que silenciosamente causaram dano, perderam diagnósticos ou levaram os clínicos a gambiarras. Reguladores, comissionadores e clínicos responderam elevando a barra: agora esperam evidência crível e proporcional antes, durante e depois da implantação. Se vocês não conseguem demonstrar que seu serviço entrega os resultados que alegam, devem esperar ser contestados, ter o financiamento cortado ou ser retirados — e com razão.

A evidência também é uma questão de equidade e de segurança, e não um obstáculo burocrático. Uma ferramenta que melhora os resultados médios ainda pode prejudicar um subgrupo — os digitalmente excluídos, pessoas com inglês limitado ou uma população sub-representada nos seus dados de treinamento. Só uma avaliação deliberada revela isso. Gerar boa evidência é, portanto, parte do seu dever de cuidado, da sua zeladoria do dinheiro público e da sua credibilidade perante as pessoas que vocês servem (ver Tópico 1.3 — Decisões baseadas em evidências e Tópico 1.6 — Segurança clínica e gestão de riscos).

Conceitos centrais#

Comecem por uma distinção que governa tudo o mais: a diferença entre pesquisa, avaliação de serviço e auditoria clínica. A pesquisa busca gerar conhecimento novo e generalizável — achados destinados a valer além do seu ambiente local. A avaliação de serviço pergunta quão bem este serviço está funcionando aqui, usando os padrões que o próprio serviço adotou. A auditoria clínica compara a prática atual frente a um padrão existente e acordado e fecha o ciclo com mudança. A distinção não é pedantismo acadêmico: determina o seu caminho de governança. A pesquisa que envolve pacientes, equipe ou dados do National Health Service (NHS) quase sempre precisa de aprovação ética formal; a maioria das avaliações de serviço e auditorias não. Classificar erroneamente uma pesquisa como avaliação para evitar aprovações é uma falha grave de governança.

Na Inglaterra, a governança da pesquisa passa pela Health Research Authority (HRA), um órgão independente do Department of Health and Social Care. A HRA protege e promove os interesses dos participantes e coordena as aprovações para que um estudo seja revisto uma só vez para todo o país. A revisão ética é conduzida por um Research Ethics Committee (REC) — o equivalente britânico de um comitê de ética em pesquisa (institutional review board) —, que julga se um estudo é ético, proporcional e seguro para os participantes. As solicitações são submetidas por meio do Integrated Research Application System (IRAS), um portal online único que encaminha o seu projeto aos RECs, à HRA Approval e a outras permissões de que precise. As ferramentas de decisão online da HRA ajudam a determinar se o seu projeto conta como pesquisa.

Muita da evidência de saúde digital é hoje construída a partir de dados de mundo real (RWD) — informações reunidas fora de ensaios controlados, como prontuários eletrônicos, registros de dispositivos, registros de doenças e dados de reembolso —, analisados para produzir evidência de mundo real (RWE) sobre como uma intervenção se comporta em condições comuns. A RWE é poderosa porque as ferramentas digitais geram ricos dados de uso como subproduto e porque reflete a realidade bagunçada que os ensaios muitas vezes excluem. É também frágil: os dados observacionais estão crivados de fatores de confusão e vieses, de modo que uma comparação ingênua de antes e depois pode confundir uma tendência sazonal ou uma mudança concomitante com o seu efeito.

É por isso que o desenho da avaliação importa. O desenho mais forte para alegações causais continua sendo o ensaio clínico randomizado (RCT), que reduz o viés ao alocar participantes ao acaso. Os contextos digitais muitas vezes favorecem variantes pragmáticas — ensaios randomizados por conglomerados e o ensaio em degraus (stepped-wedge), em que os locais passam do controle à intervenção em ondas randomizadas, encaixando-se numa implantação faseada que vocês iam fazer de qualquer forma. Onde a randomização é impraticável, os desenhos quase-experimentais ajudam: a análise de séries temporais interrompidas (ITS) acompanha um resultado em muitos pontos antes e depois da entrada em produção para detectar mudanças de nível e de tendência e é muitas vezes o melhor desenho viável para uma mudança digital em todo o sistema. A simples comparação de antes e depois é a mais fraca e enganosa, porque não consegue separar o seu efeito de tudo o mais que mudou.

Duas outras âncoras moldam o trabalho. A barra de evidência para a saúde digital na Inglaterra é fixada pelo Evidence Standards Framework for Digital Health Technologies, publicado pelo National Institute for Health and Care Excellence (NICE): gradua as ferramentas por risco potencial e especifica a força da evidência esperada para cada faixa. E uma distorção persistente contra a qual se resguardar é o viés de publicação — a tendência a compartilhar resultados positivos e enterrar os negativos, o que lisonjeia todo o campo e deixa ferramentas ineficazes se espalharem.

Boas práticas#

1. Classifiquem o projeto antes de desenhá-lo. Usem as ferramentas de decisão da HRA para determinar se o seu trabalho é pesquisa, avaliação de serviço ou auditoria e registrem o raciocínio. Esse passo isolado define o seu caminho de governança, o seu cronograma e as suas permissões. Errem na direção otimista e vocês arriscam conduzir pesquisa não aprovada com pacientes; errem na direção cautelosa e vocês oneram uma avaliação simples com meses de processo desnecessário.

2. Incorporem a avaliação desde o início, e não como acessório. Decidam o que significa "funcionar" e como o medirão durante a descoberta — antes de uma linha de código de produção (ver Tópico 3.4 — Fases de descoberta). Captem uma linha de base antes da entrada em produção, porque jamais se reconstitui depois, e instrumentem o produto para emitir os dados de resultado e de uso de que o desenho precisa. Retroajustar a avaliação a um serviço no ar quase sempre rende evidência mais fraca a custo mais alto e muitas vezes nenhuma linha de base utilizável.

3. Combinem o rigor com o risco e com a alegação. Uma ferramenta de agendamento que reordena uma lista de espera precisa de menos peso evidencial do que um algoritmo que tria dor torácica. Usem o NICE Evidence Standards Framework para situar a faixa de risco da ferramenta e façam alegações que a evidência suporte: se vocês têm uma série temporal interrompida mostrando taxas reduzidas de não comparecimento, digam isso — não insinuem um benefício de mortalidade. A proporcionalidade protege os pacientes do risco com evidência insuficiente e protege vocês de desperdiçar esforço provando demais ferramentas de baixo risco.

4. Escolham o desenho mais forte que seja viável e nomeiem seus limites. Recorram à randomização quando puderem e considerem um desenho em degraus quando uma implantação faseada impossibilitar um grupo de controle simultâneo. Quando a randomização é genuinamente inviável, prefiram séries temporais interrompidas à ingênua comparação de antes e depois e pré-especifiquem a análise para resistir à tentação de pescar um resultado favorável. Todo desenho tem fraquezas; declarem as suas com clareza para que os leitores possam pesar a evidência com honestidade.

5. Usem dados de mundo real deliberadamente e tratem a confusão como a inimiga. Os serviços digitais geram RWD abundantes, mas abundância não é validade. Planejem que dados usarão, sua qualidade e completude e os vieses que carregam e envolvam cedo um analista ou metodologista em vez de minerar registros depois do fato. Pré-registrem os resultados e a análise sempre que possível, para que os dados não possam ser torturados até dizer o que vocês esperavam ouvir.

6. Façam parceria com quem gera evidência para viver. As universidades, o National Institute for Health and Care Research (NIHR) e a sua Health Innovation Network regional — os órgãos antes conhecidos como Academic Health Science Networks (AHSNs) — trazem rigor metodológico, independência, vias de financiamento e credibilidade que vocês não conseguem fabricar internamente. A avaliação independente pesa muito mais com comissionadores e clínicos do que a análise do próprio fornecedor. Engajem-nas cedo, porque os melhores desenhos são definidos antes da implantação, e não depois (ver Tópico 9.0 — Colaboração com organizações parceiras).

7. Meçam resultados e economia, e não apenas atividade. Logins, cliques e pontuações de satisfação são necessários, mas não suficientes; os comissionadores financiam resultados e valor. Sempre que puderem, liguem a avaliação a resultados clínicos, sinais de segurança, equidade entre subgrupos e consequências de custo, trabalhando com economistas da saúde para enquadrar o benefício em termos que os decisores usam (ver Tópico 6.1 — Economia da saúde). Desagreguem sempre os resultados por população para que uma ferramenta que ajuda na média, mas prejudica um subgrupo, não possa se esconder atrás da média.

8. Publiquem os resultados — inclusive os decepcionantes. Comprometam-se de antemão a compartilhar os achados, positivos ou negativos, por meio de um relatório, um preprint ou um artigo revisado por pares. Publicar resultados negativos é uma obrigação profissional: poupa outras organizações de repetir os seus erros e contrapõe o viés de publicação que deixa ferramentas ineficazes proliferarem. Uma cultura que consegue dizer "avaliamos isto e não funcionou, por isso paramos" é mais confiável, e não menos.

9. Fechem o ciclo e ajam sobre o que aprenderem. Evidência que não muda nenhuma decisão é desperdício. Realimentem o roteiro, o caso de negócio e as decisões de faseamento com os achados — escalando o que funciona, consertando o que funciona pela metade e desativando o que não funciona (ver Tópico 8.0 — Implantação faseada da inovação). Depois reavaliem, porque uma ferramenta digital que funcionou em escala de piloto num ambiente pode se comportar de modo diferente em escala nacional ou numa população diferente.

Perguntas para discutir com a sua equipe#

1. O que estamos prestes a fazer é pesquisa, avaliação de serviço ou auditoria — e quão confiantes estamos nessa resposta? Esta é a primeira pergunta porque a resposta define todo o seu caminho de governança, e errá-la tem consequências sérias. Conversem sobre quem são os seus titulares de dados, se vocês estão randomizando alguma coisa, se pretendem produzir conhecimento generalizável e se planejam publicar — todos sinais que empurram um projeto para "pesquisa". Resistam a qualquer pressão para rotular algo como avaliação simplesmente porque a rota de aprovação é mais rápida; essa pressão é exatamente onde as falhas de governança começam. Usem juntos a ferramenta de decisão da HRA, na sala, e escrevam o raciocínio e quem o acordou. Uma boa resposta não é apenas um rótulo, mas um julgamento documentado e defensável que os seus colegas de governança da informação e de segurança clínica viram. Se vocês estão genuinamente em dúvida, o movimento honesto é perguntar à HRA ou ao seu escritório de P&D em vez de adivinhar na direção que convém ao seu cronograma.

2. O que contaria como evidência convincente de que isto funciona — e para quem? Públicos diferentes exigem evidências diferentes: um clínico quer dados de segurança e de resultado, um comissionador quer custo e valor, um regulador quer ver a faixa apropriada do NICE atendida e um paciente quer saber que é seguro e justo para pessoas como ele. Debatam o que "funciona" de fato significa para a sua ferramenta e que resultado os faria parar — porque uma equipe que não consegue articular uma condição de parada não está realmente avaliando. Considerem que desenho é viável dado o seu plano de implantação, os seus dados e o seu orçamento e sejam honestos sobre a concessão entre rigor e velocidade. Discutam se vocês precisam de avaliação independente para serem acreditados e, em caso afirmativo, quem deve conduzi-la. Uma boa resposta nomeia os decisores, os resultados que os moveriam, o desenho que pode produzir esses resultados de forma crível e o limiar em que vocês concluiriam que a ferramenta fracassou.

3. Como trataremos um resultado negativo ou decepcionante? Perguntem isto antes de ter o resultado, porque a resposta é muito mais honesta de antemão. Explorem o que fariam se a avaliação mostrasse nenhum benefício, ou benefício para a maioria mas dano para um subgrupo excluído, e quem precisaria ouvir. Tragam à tona as pressões reais: o custo afundado, as relações com fornecedores, a preocupação reputacional e os incentivos de carreira que fazem as pessoas quererem boas notícias. Discutam o compromisso prévio de publicar independentemente do resultado e que governança os seguraria nessa promessa quando o resultado for constrangedor. Uma boa resposta trata uma avaliação bem conduzida que produz um resultado negativo como um sucesso do processo, e não um fracasso da equipe — e tem um plano concreto para desativar com elegância, comunicar com franqueza e proteger as pessoas que entregaram o achado honesto.

4. O que precisamos captar e instrumentar antes da entrada em produção — e de fato o incorporamos? Uma avaliação é tão boa quanto a linha de base e os dados de que pode se valer, e ambos são muito mais baratos de garantir antes do lançamento do que depois. Percorram que estado "antes" vocês precisam — taxas de internação, tempos de espera, taxas de erro, custos atuais da via — e confirmem que está sendo registrado agora, desagregado pelos subgrupos que lhes importam, porque jamais se reconstitui uma linha de base que não se captou. Verifiquem se o próprio produto emitirá os dados de resultado e de uso de que o desenho escolhido precisa, ou se essa instrumentação ainda é um desejo no backlog. Debatam a tensão de prazo: a pressão para entregar muitas vezes tira a medição para cumprir uma data, e cada corte desses enfraquece em silêncio a evidência que vocês depois serão chamados a produzir. Envolvam um analista ou metodologista enquanto o desenho ainda é maleável, e não quando os registros já estão fluindo. Uma boa resposta é uma lista concreta do que é captado, desde quando, em que granularidade e quem confirmou que está no ar — e não uma intenção de resolver depois da implantação.

5. Quão bons são os dados em que pretendemos nos apoiar, e o que poderia confundir a nossa conclusão? Os dados de mundo real são abundantes, mas raramente limpos, e um gráfico plausível pode esconder sazonalidade, uma mudança concomitante de serviço, regressão à média ou uma mudança de codificação que nada tem a ver com a sua ferramenta. Interroguem a proveniência, a completude e a qualidade de cada fonte que planejam usar e nomeiem os vieses que cada uma carrega — quem falta nos prontuários eletrônicos, que campos são pouco confiáveis, com que consistência um código é aplicado. Perguntem o que mais mudou na mesma janela da sua entrada em produção, porque uma série temporal interrompida ou um antes-e-depois que ignora esses eventos creditará à sua ferramenta os efeitos de outras pessoas. Decidam de antemão qual comparação ou desenho dá o contrafactual mais justo e pré-especifiquem a análise para que os dados não possam ser remodelados em silêncio para lisonjear o resultado. Uma boa resposta mostra que vocês mapearam as fraquezas dos dados com honestidade e escolheram um desenho que sobrevive a um cético puxando cada uma delas.

6. Quem deve conduzir esta avaliação, e quão independente ela precisa ser para ser acreditada? Corrigir a própria prova é a forma mais rápida de ter achados críveis descartados; decidam, portanto, cedo se uma análise do fornecedor ou interna convencerá o público que vocês de fato precisam mover. Pesem o custo e o tempo de engajar uma equipe acadêmica apoiada pelo NIHR, uma universidade ou uma Health Innovation Network frente ao valor reputacional e comercial de uma evidência independente e publicável. Discutam onde estão os conflitos de interesse — as pessoas que construíram ou compraram a ferramenta raramente são as certas para julgar se ela funciona — e como vocês isolarão a avaliação da pressão por produzir boas notícias. Considerem o que os parceiros trazem além da independência: rigor metodológico, vias de financiamento e prestígio perante comissionadores e clínicos que vocês não conseguem fabricar internamente. Uma boa resposta combina o grau de independência com o que está em jogo e o ceticismo dos decisores e garante essa parceria antes de o desenho ser fixado, e não depois que os resultados decepcionarem.

Na prática: um exemplo de saúde e cuidados#

Um sistema de cuidados integrados (ICS) comissiona um aplicativo de monitoramento remoto para pacientes com insuficiência cardíaca crônica, na esperança de reduzir as internações não planejadas. Os slides do fornecedor mostram uma redução de 30% em outro lugar, e há pressão para implantar depressa nos doze distritos antes do inverno.

O líder de entrega digital pausa para classificar o trabalho. Como o ICS quer achados generalizáveis e pretende publicar, e como analisará dados identificáveis de pacientes para uma nova finalidade, isto é pesquisa, e não avaliação de serviço — e portanto são necessários uma solicitação ao IRAS e a revisão de um REC. Em vez de tratar isso como um bloqueio, o líder procura a Health Innovation Network regional e a equipe de pesquisa de uma universidade local, apoiada pelo NIHR, que ajudam a desenhar o estudo e a coescrever a solicitação. Em vez de ligar tudo de uma vez, adotam um desenho em degraus: os doze distritos entram em produção em ondas randomizadas ao longo de nove meses, de modo que todo distrito eventualmente recebe o aplicativo enquanto o início escalonado fornece uma comparação justa. Uma linha de base de taxas de internação, desagregada por privação e etnia, é captada antes da primeira onda.

Usando o NICE Evidence Standards Framework, a equipe situa a ferramenta numa faixa que carrega risco clínico e define a expectativa de evidência em conformidade, pré-registrando taxas de internação, mortalidade como sinal de segurança e custo por internação evitada como resultados. Nove meses depois, a análise intermediária é sóbria: as internações em geral caem modestamente, mas, entre a coorte mais carente — que menos usa o aplicativo —, não há benefício e há um aumento preocupante de apresentações tardias. A equipe não enterra isso. Reporta ao conselho do ICS, pausa a implantação para essas coortes, redesenha a integração e acrescenta apoio por telefone para pacientes digitalmente excluídos e publica tanto o déficit quanto o redesenho. O resultado é um serviço que genuinamente ajuda e um conselho decisório que confia na evidência porque viu a equipe dizer a verdade quando doeu.

Perspectivas setoriais#

Startup#

Uma pequena empresa de saúde digital vive ou morre pela evidência, mas raramente tem o dinheiro ou a metodologia interna para gerá-la sozinha. Sua rota crível mais rápida é a parceria: um colaborador acadêmico financiado pelo NIHR ou uma avaliação em mundo real de uma Health Innovation Network dá a vocês achados independentes em que investidores e compradores do NHS de fato acreditam, muito mais do que um white paper autopublicado. Sejam disciplinados quanto a alegações proporcionais — superestimar para ganhar um piloto é a forma mais rápida de falhar numa avaliação posterior e perder a reputação. Incorporem a captação de dados à arquitetura do produto desde o primeiro dia, porque retroajustá-la depois da rodada semente é caro e rende uma base de evidência mais pobre.

Pequena empresa#

Espera-se que um pequeno prestador estabelecido — um consultório de clínica geral, uma farmácia comunitária, uma casa de repouso ou uma clínica de unidade única que adota uma ferramenta digital — avalie o que implanta, mas não tem escritório de P&D, nem metodologista, nem mãos sobrando. O movimento realista não é conduzir um ensaio, mas uma avaliação de serviço disciplinada: captar uma linha de base simples antes de ligar, acordar um punhado de medidas honestas de resultado e registrar o que de fato muda para os seus pacientes. Apoiem-se fortemente na infraestrutura compartilhada que não precisam construir — a sua Health Innovation Network, uma universidade local ou uma federação ou rede de atenção primária que possa reunir dados e expertise entre vários pequenos locais. Desconfiem especialmente de aceitar ao pé da letra a alegação principal de um fornecedor quando não conseguem verificá-la de forma independente e tenham claro que os deveres de classificação ainda se aplicam a vocês mesmo em pequena escala. Uma evidência local proporcional e bem documentada é ao mesmo tempo alcançável e suficiente para justificar continuar, adaptar ou abandonar a ferramenta.

Grande organização#

Um grande hospital do NHS ou ICS tem um escritório de P&D, maquinaria de governança da informação e vínculos acadêmicos existentes — ativos que uma startup invejaria —, mas também a inércia de implantar ferramentas em todo o hospital antes de avaliá-las. O seu desafio é fazer de "avaliar antes de escalar" o padrão e resistir ao ímpeto de um contrato corporativo assinado quando a evidência inicial é fraca. Usem a escala como vantagem metodológica: vários locais tornam viáveis desenhos em degraus e randomizados por conglomerados de um modo que uma clínica isolada não consegue. Cuidado com a política interna dos resultados negativos, em que um grande investimento cria incentivos poderosos para declarar sucesso a qualquer custo.

Governo#

Um órgão nacional — NHS England, o Department of Health and Social Care ou um governo descentralizado — define as regras que os outros seguem, de modo que seus padrões de evidência moldam todo o mercado. Seu trabalho é zelar pelos arcabouços (o sistema de governança da HRA, o NICE Evidence Standards Framework, o DTAC) e financiar a infraestrutura — o NIHR, as Health Innovation Networks, os ambientes de pesquisa confiáveis — que permite a todos gerar boa evidência. Quando o governo contrata em escala nacional, o que está em jogo em termos de evidência é enorme: uma implantação mal evidenciada pode entrincheirar dano em milhões de cidadãos e é politicamente quase impossível de reverter. Ele deve, portanto, impor a si mesmo a mais alta barra que pede aos outros e publicar as próprias avaliações, incluindo os fracassos, para manter a confiança pública.

Modos de falha comuns#

• Evidência como reflexão tardia. Implantar primeiro e perguntar "funcionou?" depois, sem linha de base captada — o que deixa vocês incapazes de fazer qualquer alegação causal crível.
• Classificar erroneamente pesquisa como avaliação. Escolher o rótulo de "avaliação" para evitar as aprovações da HRA e do REC, expondo pacientes a pesquisa não aprovada e a organização a uma grave violação de governança.
• Antes-e-depois ingênuo. Comparar dois instantâneos e atribuir toda a mudança à ferramenta, ignorando sazonalidade, iniciativas concomitantes e regressão à média.
• Métricas de vaidade. Reportar logins, downloads e satisfação enquanto se cala sobre resultados clínicos, segurança, equidade e custo.
• Médias que escondem dano. Apresentar uma melhoria média principal sem desagregar por população, ocultando um subgrupo em que a ferramenta falha ou prejudica.
• Corrigir a própria prova. Depender apenas de evidência gerada pelo fornecedor, sem avaliação independente, de modo que nenhum público cético acredita.
• Enterrar más notícias. Publicar apenas achados positivos, alimentando o viés de publicação e deixando ferramentas ineficazes se espalharem pelo sistema.
• Superestimar. Esticar um resultado modesto e de desenho fraco até uma forte alegação clínica que a evidência não suporta.

Modelo de maturidade#

Lista de verificação#

• Classificar o projeto como pesquisa, avaliação de serviço ou auditoria usando as ferramentas de decisão da HRA e documentar o raciocínio.
• Se for pesquisa, planejar cedo a solicitação ao IRAS e a revisão do Research Ethics Committee.
• Definir o que significa "funcionar" e os resultados que o provariam durante a descoberta.
• Captar uma linha de base — desagregada pelos subgrupos relevantes — antes da entrada em produção.
• Situar a faixa de risco da ferramenta no NICE Evidence Standards Framework e combinar o rigor com ela.
• Escolher o desenho viável mais forte (RCT, em degraus ou série temporal interrompida) e registrar seus limites.
• Planejar as fontes de dados de mundo real, sua qualidade e seus vieses; pré-especificar a análise.
• Engajar um parceiro independente (NIHR, universidade, Health Innovation Network) onde a credibilidade ou o financiamento o exigirem.
• Incluir resultados clínicos, sinais de segurança, equidade e custo — não apenas métricas de atividade.
• Comprometer-se de antemão a publicar os resultados, inclusive os negativos, e nomear onde.
• Definir uma condição de parada e um plano de desativação elegante antes de começar.
• Realimentar o roteiro, o caso de negócio e as decisões de faseamento com os achados.

Fontes-chave#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — ferramentas de decisão "Is my study research?", HRA Approval e orientações de ética em pesquisa.
• Integrated Research Application System (IRAS) — o portal único para solicitações de pesquisa em saúde e cuidados sociais do Reino Unido.
• National Institute for Health and Care Research (NIHR) — financiamento, apoio à avaliação e infraestrutura de pesquisa.
• Health Innovation Network (antes Academic Health Science Networks) — avaliação em mundo real e apoio à adoção.
• Medicines and Healthcare products Regulatory Agency (MHRA) — orientações sobre dados de mundo real e software/IA como dispositivo médico.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (orientação de arcabouço).
• EQUATOR Network — diretrizes de relato (CONSORT, STROBE, TRIPOD) para o relato transparente de pesquisas.

Referências#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/