Тема 8.6 — Исследования и оценка в реальных условиях

В здравоохранении и уходе цифровая инновация достойна доверия лишь настолько, насколько достойны доказательства того, что она действительно работает на практике, — поэтому вы должны с самого начала проектировать эти доказательства, со строгостью, соразмерной риску и заявлениям, которые вы делаете.

Почему это важно в здравоохранении и уходе#

Каждый цифровой продукт, который вы разворачиваете, даёт неявное обещание: это поможет пациентам, персоналу или системе, не причинив вреда. В большинстве секторов недоказанное обещание стоит клиента или квартала выручки. В здравоохранении и уходе оно может стоить жизней, расширить неравенство или разрушить общественное доверие, на котором держится вся система. Энтузиазм и хорошая демонстрация — не доказательства, а правдоподобный механизм — не доказательство пользы.

История цифрового здравоохранения полна инструментов, которые выглядели убедительно и были приняты в масштабе, прежде чем кто-либо показал, что они работают, — а некоторые тихо причиняли вред, упускали диагнозы или толкали клиницистов к обходным путям. Регуляторы, комиссионеры и клиницисты ответили поднятием планки: теперь они ожидают достоверных, соразмерных доказательств до, во время и после внедрения. Если вы не можете продемонстрировать, что ваша услуга даёт заявленные результаты, ожидайте, что её оспорят, лишат финансирования или отзовут — и по праву.

Доказательства — также вопрос равенства и безопасности, а не бюрократическое препятствие. Инструмент, улучшающий средние результаты, всё равно может навредить подгруппе — цифрово исключённым, людям с ограниченным английским или населению, недопредставленному в ваших обучающих данных. Только осознанная оценка это выявляет. Порождение хороших доказательств поэтому — часть вашей обязанности заботы, вашего стюардства общественных денег и вашей достоверности перед людьми, которым вы служите (см. тему 1.3 — Решения, основанные на доказательствах и тему 1.6 — Клиническая безопасность и управление рисками).

Ключевые понятия#

Начните с различия, управляющего всем остальным: разницы между исследованием, оценкой услуги и клиническим аудитом. Исследование стремится породить новое, обобщаемое знание — выводы, призванные быть верными за пределами вашей местной обстановки. Оценка услуги спрашивает, насколько хорошо работает эта услуга здесь, по стандартам, принятым самой услугой. Клинический аудит сопоставляет текущую практику с существующим согласованным стандартом и замыкает цикл изменением. Различие — не академическая педантичность: оно определяет ваш путь управления. Исследование с участием пациентов, персонала или данных Национальной службы здравоохранения (NHS) почти всегда требует формального этического одобрения; большинство оценок услуг и аудитов — нет. Неверная классификация исследования как оценки, чтобы уйти от одобрений, — серьёзный провал управления.

В Англии управление исследованиями идёт через Health Research Authority (HRA), орган на расстоянии вытянутой руки Department of Health and Social Care. HRA защищает и продвигает интересы участников и координирует одобрения, чтобы исследование рассматривалось один раз для всей страны. Этическую экспертизу проводит Research Ethics Committee (REC) — британский эквивалент институционального наблюдательного совета, судящий, этично ли, соразмерно и безопасно ли для участников исследование. Заявки подаются через Integrated Research Application System (IRAS), единый онлайн-портал, направляющий ваш проект в REC, HRA Approval и другие нужные разрешения. Онлайн-инструменты решений HRA помогают определить, считается ли ваш проект исследованием вообще.

Значительная часть доказательств цифрового здравоохранения теперь строится из данных реального мира (RWD) — информации, собираемой вне контролируемых испытаний, такой как электронные медицинские записи, журналы устройств, регистры и данные о претензиях, — анализируемой для порождения доказательств реального мира (RWE) о том, как вмешательство работает в обычных условиях. RWE сильны, потому что цифровые инструменты порождают богатые данные об использовании как побочный продукт и потому что они отражают беспорядочную реальность, которую испытания часто исключают. Они и хрупки: наблюдательные данные пронизаны искажающими факторами и смещением, так что наивное сравнение «до и после» может принять сезонный тренд или сопутствующее изменение за ваш эффект.

Поэтому дизайн оценки важен. Сильнейший дизайн для причинных заявлений остаётся рандомизированным контролируемым испытанием (RCT), снижающим смещение случайным распределением участников. Цифровые контексты часто предпочитают прагматические варианты — кластерные рандомизированные испытания и испытание со ступенчатым внедрением (stepped-wedge), где площадки переходят из контроля в вмешательство рандомизированными волнами, что подходит поэтапному развёртыванию, которое вы всё равно собирались вести. Там, где рандомизация непрактична, помогают квазиэкспериментальные дизайны: анализ прерванных временных рядов (ITS) отслеживает результат по многим точкам до и после запуска, чтобы обнаружить изменения уровня и тренда, и часто — лучший осуществимый дизайн для общесистемного цифрового изменения. Простое сравнение «до и после» — самое слабое и вводящее в заблуждение, потому что не может отделить ваш эффект от всего остального, что изменилось.

Два дальнейших якоря формируют работу. Планку доказательств для цифрового здравоохранения в Англии задаёт Evidence Standards Framework for Digital Health Technologies, публикуемая National Institute for Health and Care Excellence (NICE): она градуирует инструменты по потенциальному риску и задаёт силу доказательств, ожидаемую для каждого уровня. А постоянное искажение, от которого нужно защищаться, — смещение публикации: склонность делиться положительными результатами и хоронить отрицательные, что льстит всей области и позволяет неэффективным инструментам распространяться.

Лучшие практики#

1. Классифицируйте проект до проектирования. Используйте инструменты решений HRA, чтобы определить, является ли ваша работа исследованием, оценкой услуги или аудитом, и запишите обоснование. Этот единственный шаг задаёт ваш путь управления, график и разрешения. Ошибётесь в оптимистичную сторону — рискуете вести неодобренное исследование на пациентах; ошибётесь в осторожную — обременяете простую оценку месяцами ненужного процесса.

2. Встраивайте оценку с самого начала, а не как приставку. Решите, что значит «работает» и как вы будете это измерять, во время исследования (discovery) — до строки продакшен-кода (см. тему 3.4 — Фазы исследования). Зафиксируйте базовую линию до запуска, потому что восстановить её потом невозможно, и оснастите продукт измерениями, чтобы он испускал данные о результатах и использовании, нужные вашему дизайну. Дооснащение оценки живой услуги почти всегда даёт более слабые доказательства по более высокой цене и часто вообще не даёт пригодной базовой линии.

3. Соразмеряйте строгость с риском и заявлением. Инструменту записи, переупорядочивающему лист ожидания, нужен меньший доказательный вес, чем алгоритму, проводящему триаж боли в груди. Используйте NICE Evidence Standards Framework, чтобы найти уровень риска вашего инструмента, и делайте заявления, которые ваши доказательства выдерживают: если у вас прерванный временной ряд, показывающий снижение неявок, так и скажите — не подразумевайте пользу для смертности. Соразмерность защищает пациентов от недоказанного риска и вас от траты усилий на избыточное доказывание малорисковых инструментов.

4. Выбирайте сильнейший осуществимый дизайн и называйте его пределы. Тянитесь к рандомизации, когда можете, и рассматривайте дизайн со ступенчатым внедрением, когда поэтапное развёртывание делает одновременную контрольную группу невозможной. Когда рандомизация подлинно неосуществима, предпочитайте прерванные временные ряды наивному «до и после» и заранее определяйте анализ, чтобы противиться соблазну выуживать благоприятный результат. У каждого дизайна есть слабости; заявляйте свои прямо, чтобы читатели могли честно взвесить доказательства.

5. Используйте данные реального мира осознанно и считайте искажающие факторы врагом. Цифровые услуги порождают обильные RWD, но обилие — не валидность. Планируйте, какие данные вы будете использовать, их качество и полноту и смещения, которые они несут, и вовлекайте аналитика или методолога рано, а не копайтесь в журналах задним числом. Заранее регистрируйте результаты и анализ, где возможно, чтобы данные нельзя было пытать, пока они не скажут то, на что вы надеялись.

6. Сотрудничайте с теми, кто порождает доказательства профессионально. Университеты, National Institute for Health and Care Research (NIHR) и ваша региональная Health Innovation Network — органы, прежде известные как Academic Health Science Networks (AHSN), — приносят методологическую строгость, независимость, пути финансирования и достоверность, которые нельзя произвести внутри. Независимая оценка весит у комиссионеров и клиницистов намного больше собственного анализа поставщика. Привлекайте их рано, потому что лучшие дизайны задаются до внедрения, а не после (см. тему 9.0 — Сотрудничество с партнёрскими организациями).

7. Измеряйте результаты и экономику, а не только активность. Входы, клики и оценки удовлетворённости необходимы, но недостаточны; комиссионеры финансируют результаты и ценность. Где можете, привязывайте оценку к клиническим результатам, сигналам безопасности, равенству по подгруппам и финансовым последствиям, работая с экономистами здравоохранения, чтобы формулировать выгоду в терминах, которые используют принимающие решения (см. тему 6.1 — Экономика здравоохранения). Всегда разбивайте результаты по населению, чтобы инструмент, помогающий в среднем, но вредящий подгруппе, не мог спрятаться за средним.

8. Публикуйте результаты, включая разочаровывающие. Заранее обязуйтесь делиться выводами, положительными или отрицательными, через отчёт, препринт или рецензируемую статью. Публикация отрицательных результатов — профессиональная обязанность: она избавляет другие организации от повторения ваших ошибок и противодействует смещению публикации, позволяющему неэффективным инструментам множиться. Культура, способная сказать «мы оценили это, и оно не сработало, поэтому остановились», заслуживает больше, а не меньше доверия.

9. Замыкайте цикл и действуйте по узнанному. Доказательства, не меняющие ни одного решения, — расточительство. Возвращайте выводы в вашу дорожную карту, бизнес-кейс и решения о поэтапности — масштабируя то, что работает, исправляя то, что работает наполовину, и выводя из эксплуатации то, что нет (см. тему 8.0 — Поэтапное внедрение инноваций). Затем оценивайте повторно, потому что цифровой инструмент, работавший в масштабе пилота в одной обстановке, может вести себя иначе в национальном масштабе или в другой популяции.

Вопросы для обсуждения с командой#

1. То, что мы собираемся делать, — исследование, оценка услуги или аудит и насколько мы уверены в этом ответе? Это первый вопрос, потому что ответ задаёт весь ваш путь управления, а ошибка имеет серьёзные последствия. Проговорите, кто ваши субъекты данных, рандомизируете ли вы что-нибудь, намерены ли производить обобщаемое знание и планируете ли публиковать — всё сигналы, толкающие проект к «исследованию». Противьтесь любому давлению назвать что-то оценкой просто потому, что путь одобрения быстрее; именно здесь начинаются провалы управления. Используйте инструмент решений HRA вместе, в комнате, и запишите ваши рассуждения и кто их согласовал. Хороший ответ — не просто ярлык, а документированное, защитимое суждение, которое видели ваши коллеги по управлению информацией и клинической безопасности. Если вы подлинно не уверены, честный ход — спросить HRA или ваш офис R&D, а не гадать в сторону, удобную вашему графику.

2. Что считалось бы убедительным доказательством того, что это работает, и для кого? Разные аудитории требуют разных доказательств: клиницисту нужны данные о безопасности и результатах, комиссионеру — стоимость и ценность, регулятору — чтобы был достигнут соответствующий уровень NICE, а пациенту — знать, что это безопасно и справедливо для людей вроде него. Обсудите, что «работает» на самом деле значит для вашего инструмента и какой результат заставил бы вас остановиться, потому что команда, не способная сформулировать условие остановки, на самом деле не оценивает. Подумайте, какой дизайн осуществим с учётом вашего плана развёртывания, данных и бюджета, и будьте честны в компромиссе между строгостью и скоростью. Обсудите, нужна ли независимая оценка, чтобы вам поверили, и если да, кто должен её вести. Хороший ответ называет принимающих решения, результаты, которые их сдвинули бы, дизайн, способный достоверно произвести эти результаты, и порог, при котором вы заключите, что инструмент провалился.

3. Как мы обработаем отрицательный или разочаровывающий результат? Спросите это до получения результата, потому что ответ заранее куда честнее. Изучите, что вы сделали бы, если бы оценка показала отсутствие пользы или пользу для большинства, но вред для исключённой подгруппы, и кому нужно было бы об этом услышать. Выведите реальные давления: невозвратные затраты, отношения с поставщиком, репутационное беспокойство и карьерные стимулы, заставляющие хотеть хороших новостей. Обсудите ваше предварительное обязательство публиковать независимо от исхода и какое управление удержит вас от этого обещания, когда результат постыден. Хороший ответ считает хорошо проведённую оценку, давшую отрицательный результат, успехом процесса, а не провалом команды, и имеет конкретный план изящного вывода из эксплуатации, откровенной коммуникации и защиты людей, которые сообщили честную находку.

4. Что мы должны зафиксировать и оснастить измерениями до запуска и встроили ли мы это на самом деле? Оценка хороша лишь настолько, насколько хороши базовая линия и данные, на которые она опирается, и то и другое намного дешевле обеспечить до запуска, чем после. Проработайте, какое состояние «до» вам нужно — доли госпитализаций, время ожидания, доли ошибок, стоимость текущего пути, — и подтвердите, что оно записывается сейчас, в разбивке по подгруппам, которые вам важны, потому что нельзя восстановить базовую линию, которую вы не зафиксировали. Проверьте, будет ли сам продукт испускать данные о результатах и использовании, нужные выбранному вами дизайну, или это измерительное оснащение всё ещё пожелание в бэклоге. Обсудите напряжение времени: давление выпустить часто вырезает измерения ради даты, и каждое такое сокращение тихо ослабляет доказательства, которые вас позже попросят предъявить. Вовлекайте аналитика или методолога, пока дизайн ещё мягкий, а не когда журналы уже текут. Хороший ответ — конкретный список того, что фиксируется, с какого момента, с какой гранулярностью и кто подтвердил, что оно работает, а не намерение разобраться после развёртывания.

5. Насколько хороши данные, на которые мы собираемся опираться, и что может исказить наш вывод? Данные реального мира обильны, но редко чисты, а правдоподобный график может скрывать сезонность, одновременное изменение услуги, регрессию к среднему или сдвиг кодирования, не имеющий отношения к вашему инструменту. Допросите происхождение, полноту и качество каждого источника, который планируете использовать, и назовите смещения, которые несёт каждый: кого нет в электронных записях, какие поля ненадёжны, насколько единообразно применяется код. Спросите, что ещё изменилось в том же окне, что и ваш запуск, потому что прерванный временной ряд или «до и после», игнорирующие эти события, припишут вашему инструменту чужие эффекты. Решите заранее, какое сопоставление или дизайн даёт самую справедливую контрфактуальную ситуацию, и заранее определите анализ, чтобы данные нельзя было тихо переформировать в угоду результату. Хороший ответ показывает, что вы честно нанесли на карту слабости данных и выбрали дизайн, способный пережить скептика, тянущего за каждую из них.

6. Кто должен вести эту оценку и насколько независимой она должна быть, чтобы ей поверили? Проверка собственной домашней работы — самый быстрый способ получить отклонение достоверных выводов, так что решите рано, убедит ли аудиторию, которую вам на самом деле нужно сдвинуть, анализ поставщика или внутренний. Взвесьте стоимость и время привлечения академической команды при поддержке NIHR, университета или Health Innovation Network против репутационной и коммерческой ценности независимых, публикуемых доказательств. Обсудите, где лежат конфликты интересов — те, кто построил или купил инструмент, редко подходящие люди, чтобы судить, работает ли он, — и как вы изолируете оценку от давления производить хорошие новости. Подумайте, что партнёры приносят помимо независимости: методологическую строгость, пути финансирования и вес у комиссионеров и клиницистов, которые нельзя произвести внутри. Хороший ответ соразмеряет степень независимости со ставками и скептицизмом принимающих решения и обеспечивает это партнёрство до фиксации дизайна, а не после разочарования результатами.

На практике: пример из здравоохранения и ухода#

Интегрированная система ухода (ICS) заказывает приложение дистанционного мониторинга для пациентов с хронической сердечной недостаточностью в надежде сократить внеплановые госпитализации. На слайдах поставщика показано 30%-ное сокращение в другом месте, и есть давление быстро развернуть по всем двенадцати районам до зимы.

Руководитель цифровой поставки останавливается, чтобы классифицировать работу. Поскольку ICS хочет обобщаемых выводов и намерена публиковать и поскольку будет анализировать идентифицируемые данные пациентов для новой цели, это исследование, а не оценка услуги, — так что нужны заявка IRAS и экспертиза REC. Вместо того чтобы считать это блокером, руководитель обращается к региональной Health Innovation Network и исследовательской команде местного университета при поддержке NIHR, которые помогают спроектировать исследование и соавторствуют заявку. Вместо одновременного включения всего они принимают дизайн со ступенчатым внедрением: двенадцать районов запускаются рандомизированными волнами в течение девяти месяцев, так что каждый район в итоге получает приложение, а разнесённый старт даёт справедливое сопоставление. Базовая линия долей госпитализаций, разбитая по лишениям и этнической принадлежности, фиксируется до первой волны.

По NICE Evidence Standards Framework команда относит инструмент к уровню, несущему клинический риск, и соответственно задаёт ожидание доказательств, заранее регистрируя доли госпитализаций, смертность как сигнал безопасности и стоимость на предотвращённую госпитализацию как результаты. Через девять месяцев промежуточный анализ отрезвляет: общие госпитализации скромно падают, но в наиболее неблагополучной когорте — которая пользуется приложением меньше всего — нет пользы и есть тревожный рост поздних обращений. Команда не хоронит это. Она докладывает совету ICS, приостанавливает развёртывание для этих когорт, перепроектирует онбординг и добавляет телефонную поддержку для цифрово исключённых пациентов и публикует и недостачу, и перепроектирование. Результат — услуга, подлинно помогающая, и совет, принимающий решения, который доверяет доказательствам, потому что видел, как команда говорит правду, когда это больно.

Секторные линзы#

Стартап#

Небольшая компания в цифровом здравоохранении живёт или умирает по доказательствам, но редко имеет деньги или внутреннюю методологию, чтобы порождать их в одиночку. Ваш самый быстрый достоверный путь — партнёрство: академический сотрудник, финансируемый NIHR, или оценка в реальных условиях от Health Innovation Network дают независимые выводы, которым действительно верят инвесторы и покупатели NHS, куда больше самоизданной белой книги. Будьте дисциплинированы в соразмерных заявлениях: преувеличение ради выигрыша пилота — быстрейший способ провалить последующую оценку и потерять репутацию. Встройте сбор данных в архитектуру продукта с первого дня, потому что дооснащение после посевного раунда дорого и даёт более бедную доказательную базу.

Малый бизнес#

От устоявшегося малого поставщика — общей практики, общинной аптеки, дома ухода или клиники на одной площадке, принимающей цифровой инструмент, — ожидают оценки того, что он внедряет, но у него нет офиса R&D, методолога и почти нет лишних рук. Ваш реалистичный ход — не вести испытание, а вести дисциплинированную оценку услуги: зафиксируйте простую базовую линию до включения, согласуйте горстку честных мер результатов и записывайте, что реально меняется для ваших пациентов. Сильно опирайтесь на общую инфраструктуру, которую не нужно строить: вашу Health Innovation Network, местный университет или федерацию или первичную сеть помощи, способную объединять данные и экспертизу по нескольким малым площадкам. Особенно остерегайтесь принимать заголовочное заявление поставщика на веру, когда вы не можете независимо проверить, и будьте ясны, что обязанности классификации применяются к вам даже в малом масштабе. Соразмерные, хорошо документированные местные доказательства и достижимы, и достаточны, чтобы оправдать продолжение, адаптацию или отказ от инструмента.

Предприятие#

У крупного траста NHS или ICS есть офис R&D, механизм управления информацией и существующие академические связи — активы, которым позавидовал бы стартап, — но и инерция развёртывать инструменты по всему трасту до их оценки. Ваша задача — сделать «оценивай до масштабирования» умолчанием и противиться импульсу подписанного корпоративного контракта, когда ранние доказательства слабы. Используйте масштаб как методологическое преимущество: многие площадки делают осуществимыми ступенчатые и кластерные рандомизированные дизайны так, как не может отдельная клиника. Остерегайтесь внутренней политики отрицательных результатов, где большая инвестиция создаёт мощные стимулы объявить успех независимо.

Правительство#

Национальный орган — NHS England, Department of Health and Social Care или делегированное правительство — задаёт правила, которым следуют другие, так что его стандарты доказательств формируют весь рынок. Его задача — вести стюардство рамок (система управления HRA, NICE Evidence Standards Framework, DTAC) и финансировать инфраструктуру — NIHR, Health Innovation Networks, доверенные исследовательские среды, — позволяющую всем порождать хорошие доказательства. Когда правительство закупает в национальном масштабе, доказательные ставки огромны: плохо подкреплённое доказательствами развёртывание может закрепить вред по миллионам граждан и политически почти необратимо. Поэтому оно должно держать себя к самой высокой планке, которую требует от других, и публиковать собственные оценки, включая провалы, чтобы сохранять общественное доверие.

Типичные виды отказов#

• Доказательства как запоздалая мысль. Развёртывание сначала и вопрос «сработало ли?» потом, без зафиксированной базовой линии — оставляющее вас неспособными сделать какое-либо достоверное причинное заявление.
• Неверная классификация исследования как оценки. Выбор ярлыка «оценка», чтобы избежать одобрений HRA и REC, подвергает пациентов неодобренному исследованию, а вашу организацию — серьёзному нарушению управления.
• Наивное «до и после». Сравнение двух снимков и приписывание всего изменения вашему инструменту, игнорируя сезонность, параллельные инициативы и регрессию к среднему.
• Тщеславные метрики. Отчётность о входах, скачиваниях и удовлетворённости при молчании о клинических результатах, безопасности, равенстве и стоимости.
• Средние, скрывающие вред. Представление заголовочного среднего улучшения без разбивки по населению, скрывающее подгруппу, которую инструмент подводит или которой вредит.
• Проверка собственной домашней работы. Опора только на доказательства, порождённые поставщиком, без независимой оценки, так что ни одна скептическая аудитория им не верит.
• Захоронение плохих новостей. Публикация только положительных выводов питает смещение публикации и позволяет неэффективным инструментам распространяться по системе.
• Преувеличение. Растягивание скромного результата со слабым дизайном в сильное клиническое заявление, которое доказательства не выдерживают.

Модель зрелости#

Контрольный список#

• Классифицируйте проект как исследование, оценку услуги или аудит с помощью инструментов решений HRA и документируйте обоснование.
• Если это исследование, рано планируйте заявку IRAS и экспертизу Research Ethics Committee.
• Определите, что значит «работает», и результаты, которые это докажут, во время исследования.
• Зафиксируйте базовую линию — в разбивке по релевантным подгруппам — до запуска.
• Найдите уровень риска инструмента в NICE Evidence Standards Framework и соразмерьте строгость.
• Выберите сильнейший осуществимый дизайн (RCT, ступенчатое внедрение или прерванный временной ряд) и запишите его пределы.
• Спланируйте источники данных реального мира, их качество и смещения; заранее определите анализ.
• Привлеките независимого партнёра (NIHR, университет, Health Innovation Network), где этого требуют достоверность или финансирование.
• Включите клинические результаты, сигналы безопасности, равенство и стоимость, а не только метрики активности.
• Заранее обяжитесь публиковать результаты, включая отрицательные, и назовите где.
• Определите условие остановки и план изящного вывода из эксплуатации до начала.
• Возвращайте выводы в дорожную карту, бизнес-кейс и решения о поэтапности.

Ключевые источники#

• NICE — Evidence Standards Framework for Digital Health Technologies (ESF).
• Health Research Authority — инструменты решений «Is my study research?», HRA Approval и руководство по этике исследований.
• Integrated Research Application System (IRAS) — единый портал заявок на исследования здравоохранения и социального ухода Великобритании.
• National Institute for Health and Care Research (NIHR) — финансирование, поддержка оценки и исследовательская инфраструктура.
• Health Innovation Network (прежде Academic Health Science Networks) — оценка в реальных условиях и поддержка принятия.
• Medicines and Healthcare products Regulatory Agency (MHRA) — руководство по данным реального мира и ПО/ИИ как медицинскому изделию.
• NHS England — Digital Technology Assessment Criteria (DTAC).
• MRC/NIHR — Developing and evaluating complex interventions (рамочное руководство).
• EQUATOR Network — руководства по отчётности (CONSORT, STROBE, TRIPOD) для прозрачной отчётности об исследованиях.

Литература#

1. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
2. Real world data — Wikipedia — https://en.wikipedia.org/wiki/Real_world_data
3. Clinical audit — Wikipedia — https://en.wikipedia.org/wiki/Clinical_audit
4. Health Research Authority — Wikipedia — https://en.wikipedia.org/wiki/Health_Research_Authority
5. Institutional review board — Wikipedia — https://en.wikipedia.org/wiki/Institutional_review_board
6. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
7. Stepped-wedge trial — Wikipedia — https://en.wikipedia.org/wiki/Stepped-wedge_trial
8. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
9. National Institute for Health and Care Research — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Research
10. National Institute for Health and Care Excellence — Wikipedia — https://en.wikipedia.org/wiki/National_Institute_for_Health_and_Care_Excellence
11. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
12. Evidence Standards Framework for Digital Health Technologies — National Institute for Health and Care Excellence (NICE) — https://www.nice.org.uk/about/what-we-do/digital-health/evidence-standards-framework-for-digital-health-technologies
13. Is my study research? — Health Research Authority — https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
14. Integrated Research Application System (IRAS) — Health Research Authority — https://www.myresearchproject.org.uk/
15. National Institute for Health and Care Research — NIHR — https://www.nihr.ac.uk/
16. Health Innovation Network — The Health Innovation Network — https://thehealthinnovationnetwork.co.uk/
17. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
18. Framework for developing and evaluating complex interventions — Medical Research Council / NIHR — https://www.bmj.com/content/374/bmj.n2061
19. Enhancing the QUAlity and Transparency Of health Research (EQUATOR) Network — https://www.equator-network.org/