Тема 1.3 — Решения на основе доказательств

Одним предложением: Принятие решений на основе доказательств означает решать, что строить, покупать и масштабировать, опираясь на лучшие доступные доказательства (клинические и доказательства поставки), соразмерные риску, и записывать обоснование так, чтобы оно пережило людей, которые его приняли.

Почему это важно в здравоохранении и уходе#

В большинстве отраслей плохое продуктовое решение стоит денег. В здравоохранении и уходе оно может стоить безопасности, равенства и доверия, и принимается на государственные средства в рамках законодательной обязанности. Решение внедрить цифровой диагностический инструмент, который никогда не оценивался, — не коммерческая ставка, а клинический риск. Это поднимает планку доказательств гораздо выше, чем «демо выглядело хорошо».

Область также своеобразна тем, что требует двух видов доказательств одновременно. Клинические доказательства отвечают на вопрос «работает ли эта технология, безопасна ли она и эффективна ли для пациентов?». Доказательства поставки отвечают на вопрос «строим ли мы правильную вещь хорошо и принимается ли она и используется ли?». Услуга может быть клинически обоснованной, но провалом поставки (никто не пользуется) или успехом поставки, но клинически недоказанной (широко используется, никогда не валидировалась). Старшие руководители должны требовать оба вида и никогда не позволять одному выдавать себя за другой. А поскольку решения в здравоохранении привлекают пристальное внимание регуляторов, общественности и клиницистов, запись о том, почему вы решили, значит не меньше самого решения.

Ключевые понятия#

Иерархия доказательств. Доказательная медицина ранжирует дизайны исследований по тому, насколько хорошо они контролируют смещение: на вершине систематические обзоры и метаанализы рандомизированных контролируемых испытаний (РКИ); затем отдельные РКИ; затем когортные исследования и исследования «случай-контроль»; затем серии случаев; а в основании мнение экспертов и анекдот. Иерархия — ориентир, а не смирительная рубашка, но она приучает замечать, когда утверждение опирается на анекдот, выдаваемый за доказательство.

Evidence Standards Framework (ESF) NICE для цифровых медицинских технологий. NICE совместно с NHS England и партнёрами создал ESF, чтобы определить, какой уровень доказательств нужен цифровой медицинской технологии (DHT) соразмерно её функции и несомому риску. Он распределяет DHT по уровням потенциального риска: от простых системных сервисов через инструменты, информирующие или направляющие уход, до тех, что непосредственно диагностируют или лечат, и определяет ожидаемые клинические и экономические доказательства эффективности на каждом уровне. Чем выше клинический риск, тем сильнее требуемые доказательства. ESF — точка отсчёта для заказчиков и разработчиков, решающих, готова ли DHT.

Данные реальной практики и доказательства реальной практики. Данные реальной практики (RWD) поступают из рутинного ухода: электронных медицинских карт, регистров, результатов, сообщаемых пациентами, телеметрии устройств, а не из контролируемых испытаний. Хорошо проанализированные (проспективными наблюдательными исследованиями, прагматичными испытаниями или тщательным анализом ЭМК), они становятся доказательствами реальной практики (RWE) о том, как технология работает на деле. RWE необходимы для технологий, которые учатся или меняются (ИИ, носимые устройства), где разовое испытание не может уловить поведение во времени, но несут риски искажения, с которыми нужно обращаться честно.

Клинические доказательства и доказательства поставки. Держите их на отдельных осях. Клинические доказательства используют иерархию выше и ESF: эффективность в идеальных условиях, безопасность, результативность на практике. Доказательства поставки используют аналитику продукта и услуги: удобна ли услуга, принята ли, выполняет ли задачу пользователя, снижает ли вторичный спрос из-за сбоев? Нужны оба; их смешение — классическая ошибка (высокий показатель использования не клиническое доказательство).

Дизайны оценки. Логическая модель (или теория изменений) делает явным, как входы и деятельность должны порождать выходы и результаты; это карта, которую проверяет любая оценка. РКИ даёт самый сильный причинный ответ, но медленно, дорого и порой непрактично или неэтично для быстро меняющейся услуги. Прагматичная оценка: прагматичные испытания, прерванные временные ряды, «до/после» с контролем, оценка услуги смешанными методами, жертвует частью определённости ради скорости и релевантности реальной практике. Выбирайте дизайн, соразмерный риску и ставке решения.

A/B-тестирование и аналитика. Для менее рискованных вопросов стороны поставки (какая формулировка повышает явку на приём? какой поток снижает отсев?) контролируемые онлайн-эксперименты (A/B-тесты) дают быстрые причинные доказательства поставки. Они мощны для оптимизации, но никогда не должны использоваться для непроверенных клинических изменений и должны уважать границы согласия и управления информацией.

Решения HiPPO. «HiPPO» — мнение самого высокооплачиваемого человека (Highest-Paid Person's Opinion) — называет сбой, когда старшинство подавляет доказательства. Культуры, основанные на доказательствах, делают безопасным и нормальным спросить «что показывают данные?» у любого в комнате и считают предчувствие руководителя гипотезой для проверки, а не выводом.

Записи о решениях. Запись о решении (журнал решений / запись архитектурного решения) кратко фиксирует: решение, рассмотренные варианты, взвешенные доказательства, кто решил и когда. Она делает рассуждение проверяемым, переживает текучесть кадров и не даёт одному и тому же спору разгораться заново каждый квартал.

Лучшие практики#

1. Соотносите силу доказательств с уровнем риска. Используйте уровни ESF NICE как мерило: низкорисковому системному инструменту нужны лёгкие доказательства; инструменту, диагностирующему или направляющему лечение, нужны качественные доказательства клинической эффективности. Соразмерность позволяет двигаться быстро в безопасном и медленно в опасном, а не применять одну планку ко всему.

2. Требуйте клинические доказательства и доказательства поставки и никогда не путайте их. Для любой значимой инвестиции задавайте два отдельных вопроса: «клинически ли это эффективно и безопасно?» и «удобно ли это и принято ли?» и требуйте доказательств по каждому. Показатели принятия не заменяют клиническую валидацию, а положительное испытание не гарантирует реального использования.

3. Начинайте каждую инициативу с логической модели. Прежде чем строить, запишите, как, по вашему мнению, вмешательство даст желаемый результат. Это рано выявляет непроверенные допущения, определяет значимые метрики и даёт вашей последующей оценке нечто конкретное для проверки.

4. Используйте доказательства реальной практики для технологий, которые учатся или сохраняются. Для ИИ, алгоритмов и долгоживущих услуг дополняйте начальные испытания или следуйте за ними структурированным мониторингом рутинных данных (проспективные наблюдательные дизайны, прагматичная оценка), чтобы знать, как производительность держится на практике, и ловить дрейф.

5. Экспериментируйте над вопросами поставки; оценивайте клинические. Свободно используйте A/B-тестирование и аналитику для оптимизации поставки (формулировки, поток, подсказки) в пределах управления информацией и согласия. Формальную оценку (испытания, прагматичные исследования) оставьте для вопросов клинического эффекта. Направляйте каждый вопрос к правильному методу.

6. Искореняйте решения HiPPO культурно, а не только процедурно. Сделайте явно допустимым запрашивать доказательства у любого лица, принимающего решения, оформляйте мнения старших как гипотезы и заранее обязывайтесь, какие доказательства изменили бы ваше мнение. Команда, способная безопасно оспаривать старшинство, принимает лучшие решения.

7. Записывайте решения и их доказательства. Ведите лёгкий журнал решений по каждому значимому выбору: что, почему, какие доказательства, кто, когда. Это создаёт проверяемость для регуляторов и общественности, предотвращает бесконечные пересуды и сохраняет институциональную память сквозь текучесть кадров.

8. Уделяйте внимание этике данных. Работа с доказательствами использует данные пациентов; рассматривайте законность, согласие, соразмерность и справедливость как проектные ограничения. Остерегайтесь смещённых наборов данных, закрепляющих неравенство, уважайте обязанность конфиденциальности и следите, чтобы ваши практики работы с доказательствами сами выдержали бы общественный контроль.

Вопросы для обсуждения с командой#

1. Для нашего самого значимого недавнего решения можем ли мы указать и клинические доказательства, и доказательства поставки, различая их, или одно тихо заменило другое? Этот вопрос проверяет настойчивость темы в том, что клинические доказательства («работает ли это и безопасно ли?») и доказательства поставки («удобно ли это и принято ли?») лежат на отдельных осях и что их смешение — классическая, опасная ошибка. Это важно, потому что услуга может быть клинически обоснованной, но неиспользуемой, или активно используемой, но клинически невалидированной, и в здравоохранении и уходе принятие высокого показателя использования за клиническое доказательство может подвергнуть пациентов риску, выглядя при этом успехом. Противоречие, которое стоит вынести на свет: доказательства поставки быстры, дёшевы и лестны (аналитические дашборды быстро наполняются), тогда как клинические доказательства медленны, дороги и часто неубедительны, поэтому постоянно давит желание позволить показателям принятия нести аргумент. Возьмите реальную записку для совета или инвестиционное обоснование и проверьте: разделены ли два вида доказательств, присутствует ли каждый и опирается ли клиническое утверждение на что-либо выше демонстрации поставщика или исследования в одном центре? Хороший, честный ответ определяет конкретное решение, признаёт, где один вид доказательств был тонок или отсутствовал, и обязуется явно и раздельно требовать оба вида при будущих значимых выборах, а не позволять сильному показателю использования успокаивать всех.

2. Насколько соразмерна наша планка доказательств на самом деле: не требуем ли мы золотого стандарта испытаний для низкорисковых изменений, пропуская более рискованные инструменты на тонких доказательствах? Тема формулирует соразмерность через уровни ESF NICE: лёгкие доказательства для низкорискового системного инструмента, качественные доказательства клинической эффективности для инструмента, диагностирующего или направляющего лечение, и этот вопрос проверяет, калибрует ли ваша организация планку под риск или применяет один грубый стандарт. Это важно, потому что оба направления сбоя дороги: паралич анализа задерживает полезное низкорисковое изменение содержания за ненужным РКИ, тогда как недостаточно проверенный ИИ-инструмент, информирующий клинические решения, проскальзывает на убедительной демонстрации, и каждое подрывает доверие к культуре доказательств. Компромисс для обсуждения: соразмерность требует суждения и уверенности для её защиты, что труднее единого правила; всеобщее «всему нужно испытание» или «если это цифровое, просто сделайте пилот» проще в администрировании, но неверно. Разберите вместе две-три текущие или недавние технологии, определите уровень ESF для каждой и проверьте, соответствовали ли требуемые вами доказательства уровню или определялись тем, кто за неё ратовал. Честный ответ показывает, что команда умеет определять уровень риска технологии, признаёт, где планка выставлена неверно в ту или иную сторону, и считает соразмерность явным, защитимым стандартом, а не инстинктом.

3. Насколько культурно безопасно спросить самого старшего в комнате «а каковы доказательства?» и когда мы в последний раз считали предчувствие руководителя гипотезой для проверки, а не решением? Этот вопрос напрямую обращён к сбою HiPPO, когда мнение самого высокооплачиваемого человека подавляет доказательства, и проверяет, переживает ли ваша заявленная приверженность доказательствам столкновение с иерархией и с демонстрацией поставщика, впечатлившей уважаемого директора. Это важно, потому что в здравоохранении и уходе решение внедрить непроверенный инструмент по итогам демонстрации — не коммерческая ставка, а риск клинической безопасности и государственных денег, и момент, когда возражать становится небезопасно, — это момент, когда доказательства перестают управлять решениями. Реальное противоречие в том, что психологическую безопасность нельзя предписать политикой; её строят старшие руководители, наглядно приглашая возражения, формулируя собственные взгляды как гипотезы и заранее обязываясь, какие доказательства изменили бы их мнение, а такое поведение кажется обнажающим и легко пропускается под давлением времени. Опирайтесь на конкретику: вспомните недавнее решение, продиктованное больше старшинством или энтузиазмом, чем данными, и спросите, возражал ли кто-нибудь, было ли это безопасно и что зафиксировала бы запись о решении. Хороший ответ откровенен в том, где сейчас побеждает иерархия, называет конкретные модели поведения, которые примут руководители, чтобы возражения стали нормой, и сочетает культурную приверженность с лёгким журналом решений, делающим рассуждение проверяемым и не дающим одному спору разгораться заново.

4. Для технологий, которые учатся или сохраняются (наш ИИ, наши алгоритмы, наши долгоживущие услуги), как бы мы на самом деле узнали, что их производительность дрейфовала с момента валидации, и кто за этим следит? Тема прямо говорит, что разовое испытание не может уловить поведение технологий, которые учатся или меняются, и что «оценка один раз и навсегда» — названный сбой, противоядием от которого служат доказательства реальной практики и непрерывный мониторинг. Этот вопрос важен, потому что опасность тихая: модель выявления ухудшения состояния на основе ИИ или алгоритм сортировки может деградировать по мере сдвига структуры случаев, практики кодирования или вышестоящих конвейеров данных, и в отличие от сломанной функции ничего очевидно не отказывает: инструмент продолжает давать правдоподобные выводы, пока доля ложных тревог или пропусков тихо растёт. Противоречие, которое стоит вынести на свет: мониторинг непривлекателен и недофинансирован по сравнению с азартом внедрения; когда бизнес-кейс подписан и выгоды учтены, мало какие организации обеспечивают ресурсами проспективную наблюдательную работу, метрики дрейфа или названного владельца, который их пересматривает. Выберите один действующий ИИ- или алгоритмический инструмент и конкретно проследите его жизнь после внедрения: какие рутинные данные отслеживаются, относительно какой базовой линии, с какой периодичностью и кто и кому эскалировал бы деградацию. Честный ответ признаёт, где валидация остановилась при запуске, отличает инструменты, действительно нуждающиеся в непрерывном надзоре, от тех, которым он не нужен, и обязуется назначить владельца, метрику и ритм пересмотра, а не расплывчатое намерение «приглядывать».

5. Когда решение, которое мы принимаем сегодня, поставят под вопрос через два года (новый директор, регулятор или общественность), что на самом деле покажет письменная запись и выдержит ли она этот контроль? Тема рассматривает запись о решении как базовую инфраструктуру: лёгкий журнал решения, вариантов, взвешенных доказательств, того, кто решил, и когда; её ценят за то, что она делает рассуждение проверяемым, переживает текучесть кадров и не даёт одному спору разгораться каждый квартал. Этот вопрос важен, потому что решения в здравоохранении и уходе привлекают внимание регуляторов, парламента и общественности так, как коммерческие редко, и разобранный в этой теме пример строится именно на этом: два года спустя новый директор ставит под вопрос внедрённый инструмент, и «запись отвечает». Реальное противоречие — между ничтожной ценой дисциплины на одно решение и хроническим давлением пропустить её: записывать, почему вы решили, кажется бюрократией в данный момент, а нужнее всего запись будущим сотрудникам, которых нет в комнате и которые не могут потребовать её. Проверьте на реальности: попробуйте восстановить рассуждение за значимым выбором двенадцати- или восемнадцатимесячной давности; можете ли вы найти, какие доказательства взвешивались и какие альтернативы отвергнуты, или лишь то, что решение было принято? Хороший ответ признаёт, ведутся ли записи по-настоящему для значимых решений или только для лёгких, фиксируют ли они доказательства и варианты, а не только выводы, и читает ли их кто-нибудь потом: непрочитанный журнал, содержащий только выводы, — театр аудита, а не институциональная память.

6. Чьи данные обучают и валидируют наши доказательства и уверены ли мы, что они не закрепят неравенство, или мы относимся к этике данных как к бланку, который нужно подписать, а не как к проектному ограничению? Тема настаивает, что работа с доказательствами идёт на данных пациентов и что законность, согласие, соразмерность и справедливость — проектные ограничения, а не бумаги, и специально предупреждает о смещённых наборах данных, закрепляющих неравенство, и об «этике как бумажной работе» как о сбое. Это важно, потому что технология, валидированная на нерепрезентативном населении, может хуже работать для групп, которые уже хуже всего обслуживаются: модель выявления ухудшения состояния или диагностики, обученная там, где определённые этнические группы, возрасты или сопутствующие состояния недопредставлены, может нести это смещение в каждое будущее решение, а в национальном масштабе одобренный набор данных закрепляет это неравенство по всей системе. Противоречие в том, что анализ справедливости труднее и медленнее заголовочного показателя точности: он требует спросить, кто есть в данных и кого нет, разбить производительность по подгруппам и порой смириться с тем, что ваши доказательства слабее для групп, которым вы больше всего нужны. Сделайте это конкретным: возьмите недавний или предлагаемый инструмент и спросите, на чьих записях он создавался и тестировался, исследовалась ли когда-либо производительность по подгруппам и затрагивало ли согласование управления информацией справедливость вообще или лишь подтвердило законное основание. Честный ответ отделяет подлинную этическую проверку от галочек, признаёт, где репрезентативность никогда не проверялась, и считает смещение и справедливость вопросами, на которые должны отвечать сами доказательства, а не шагом соответствия, навешенным в конце.

На практике: пример из здравоохранения и ухода#

Общественному трасту предлагают ИИ-инструмент, помечающий пациентов с риском ухудшения состояния по данным жизненных показателей. Решение HiPPO внедрило бы его, потому что уважаемого директора впечатлила демонстрация поставщика.

Вместо этого траст рассматривает предложение как гипотезу. Он относит инструмент к уровню риска ESF NICE, подходящему для технологии, информирующей клинические решения, и просит у поставщика доказательства эффективности на этом уровне; сильнейшее, что предложено, — небольшое исследование в одном центре. Траст пишет логическую модель (лучшее раннее предупреждение → более ранняя эскалация → меньше предотвратимых ухудшений) и разрабатывает прагматичную оценку: внедрение в теневом режиме, когда оповещения инструмента регистрируются, но не используются, с их сопоставлением с реальными исходами, а также качественные интервью с медсёстрами о соответствии рабочему процессу.

Параллельно он собирает доказательства поставки: заметят ли клиницисты оповещения и станут ли им доверять? Он проводит тесты в духе A/B по подаче оповещений. Руководители по управлению информацией и клинической безопасности согласовывают использование данных и журнал опасностей. Через три месяца RWE показывают скромное, но реальное улучшение и приемлемую долю ложных оповещений, а доказательства поставки — что клиницисты работают с переработанными оповещениями. Решение продолжить, с поэтапным внедрением и непрерывным мониторингом, записано в запись о решении со ссылкой на взвешенные доказательства. Два года спустя, когда новый директор ставит инструмент под вопрос, запись отвечает.

Отраслевые перспективы#

Каждый обязан одинаково соотносить доказательства с риском, но ресурсы, стимулы и подотчётность вокруг доказательств резко различаются по организациям.

Стартап#

Ограничение стартапа в том, что клинические доказательства золотого стандарта медленны и дороги, а запас денег короток, поэтому возникает соблазн продавать показатели принятия как доказательство клинического эффекта. Честный ход — рано отнести продукт к нужному уровню ESF NICE и откровенно говорить покупателям о пробеле в доказательствах, используя чёткую логическую модель и дешёвую прагматичную оценку (пилот в теневом режиме, прерванный временной ряд на одной площадке) для получения первых доказательств реальной практики. Записи о решениях почти ничего не стоят и непропорционально ценны для небольшой команды: они сохраняют рассуждение сквозь быстрые развороты и дают инвесторам, проверяющим должную добросовестность, и оценщикам NHS след для аудита. Дисциплина, которая окупается, — сопротивляться предчувствию основателя в духе HiPPO и считать каждое «демо зашло хорошо» гипотезой для проверки.

Малый бизнес#

Устоявшийся небольшой поставщик (практика врача общей практики, общественная аптека, дом престарелых, клиника в одном месте, небольшой поставщик health-tech, миновавший стадию стартапа) несёт ту же обязанность соотносить доказательства с риском, но у него реальные пациенты, туго с деньгами и мало или нет выделенных цифровых возможностей. Реалистичный ход — опираться на доказательства, уже подготовленные другими, а не создавать свои: использовать уровень ESF NICE и оценку DTAC инструмента-кандидата как готовую соразмерность, просить у поставщиков доказательства клинической эффективности, соответствующие уровню, и отказываться поддаваться на лощёную демонстрацию, продающую непроверенный продукт. Доказательства поставки — то, где небольшая организация действительно может быть лидером, потому что она вблизи видит своих пациентов: несколько недель честных наблюдений за тем, пользуется ли персонал инструментом и снижает ли он вторичный спрос из-за сбоев, — доступные доказательства реальной практики. Запись о решении в одну строку (что выбрали, какие доказательства видели, кто решил) почти ничего не стоит маленькой команде и защищает её, когда уходит партнёр или инспектор CQC спрашивает почему. Ловушка, которой нужно избегать, — предполагать, что малый размер освобождает от планки доказательств; обязанность перед пациентами та же, отличаются только ресурсы.

Крупная организация#

У траста NHS или ICS есть рутинные данные, объёмы пациентов и аналитические возможности для серьёзной оценки, а также подотчётность, которая этого требует, потому что внедрение недоказанного инструмента в масштабе — одновременно риск клинической безопасности и государственных денег. Сбой институционален: уважаемый директор, ратующий за демонстрацию поставщика, или бизнес-кейс на прогнозируемых выгодах, которые никто потом не проверяет. Лекарство — сделать культурно безопасным вопрос «а каковы доказательства?» к любому лицу, принимающему решение, держать клинические доказательства и доказательства поставки на отдельных осях в каждой записке для совета и финансировать непрерывный мониторинг реальной практики для ИИ и долгоживущих услуг вместо однократной валидации. Крупная фармацевтическая или health-tech организация приносит формальный аппарат испытаний, но должна остерегаться смещения публикаций и искажения в создаваемых ею доказательствах реальной практики.

Государство#

Национальный орган (NICE, NHS England, DHSC, MHRA, UKHSA) часто задаёт планку доказательств, которую должны преодолеть другие, поэтому его способы работы формируют весь рынок: ESF, DTAC и регулирование программного обеспечения как медицинского изделия — инструменты подотчётности в масштабе населения. Решения здесь привлекают внимание регуляторов, парламента и общественности, поэтому запись о том, почему технологию рекомендовали или закупили, значит не меньше решения, а прозрачность в отношении ограничений доказательств — обязанность, а не любезность. Риск в этом масштабе — предписать технологию по всей системе на тонких доказательствах или, наоборот, потребовать РКИ для низкорискового изменения и задержать полезные инновации. Лекарство — соразмерность, явно закреплённая в опубликованных стандартах, плюс внимание к этике данных и справедливости, потому что смещённый набор данных, одобренный на национальном уровне, закрепляет неравенство в масштабе.

Типичные способы сбоя#

• Решения под влиянием демонстраций. Покупка потому, что демонстрация впечатлила старшего руководителя. Противоядие: считать предложения гипотезами; требовать доказательства, соответствующие уровню.
• Использование принимают за валидацию. Ссылка на показатели принятия как на доказательство клинической эффективности инструмента. Противоядие: держать клинические доказательства и доказательства поставки на отдельных осях.
• Оценка один раз и навсегда. Валидация один раз и никакого мониторинга, особенно для ИИ, который дрейфует. Противоядие: доказательства реальной практики и непрерывный мониторинг.
• Паралич анализа. Требование РКИ для низкорискового изменения содержания. Противоядие: соразмерные методы; A/B и прагматичная оценка при низком риске.
• Незаписанные решения. Нет следа того, почему сделан выбор, поэтому он оспаривается заново и непроверяем. Противоядие: лёгкий журнал решений.
• Этика как бумажная работа. Отношение к этике данных как к бланку для подписи, а не к проектному ограничению. Противоядие: заложить законность, согласие и справедливость в проект доказательств.

Модель зрелости#

Контрольный список#

• Каждая технология отнесена к уровню риска ESF NICE, и доказательства требуются соответственно.
• По каждому значимому решению есть и клинические доказательства, и доказательства поставки, различаемые.
• До разработки существует логическая модель, называющая результаты и метрики.
• Дизайн оценки соразмерен риску (A/B и прагматичные для низкого; испытания/RWE для высокого).
• Для ИИ и долгоживущих услуг действуют доказательства реальной практики и мониторинг.
• Культурно безопасно спросить любого лица, принимающего решение: «а каковы доказательства?»
• Каждое значимое решение фиксируется в журнале решений (что, почему, доказательства, кто, когда).
• Использование данных законно, согласовано, соразмерно и проверено на смещение и справедливость.

Ключевые источники#

• NICE — Evidence Standards Framework for digital health technologies (ESF) (nice.org.uk).
• NHS England / NHSX — Digital Technology Assessment Criteria (DTAC).
• MHRA — руководство по программному обеспечению и ИИ как медицинскому изделию.
• Oxford Centre for Evidence-Based Medicine — Levels of Evidence (иерархия доказательств).
• HM Treasury — The Magenta Book (руководство по оценке, логическим моделям и дизайнам оценки).
• MRC — рамка Developing and evaluating complex interventions.
• Ron Kohavi et al. — Trustworthy Online Controlled Experiments (A/B-тестирование).
• Michael Nygard — Architecture Decision Records (паттерн журнала решений).

Ссылки#

1. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
2. Evidence-based medicine — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_medicine
3. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
4. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Real world evidence — Wikipedia — https://en.wikipedia.org/wiki/Real_world_evidence
7. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
8. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
9. Interrupted time series — Wikipedia — https://en.wikipedia.org/wiki/Interrupted_time_series
10. A/B testing — Wikipedia — https://en.wikipedia.org/wiki/A/B_testing
11. Architectural decision (Architecture Decision Records) — Wikipedia — https://en.wikipedia.org/wiki/Architectural_decision
12. Evidence Standards Framework for digital health technologies (ESF) — NICE — https://www.nice.org.uk/about/what-we-do/digital-health
13. Digital Technology Assessment Criteria (DTAC) — NHS England — https://www.nhs.uk/digital-technology-assessment-criteria-dtac/
14. Software and AI as a Medical Device — MHRA, GOV.UK — https://www.gov.uk/government/publications/software-and-artificial-intelligence-ai-as-a-medical-device
15. Oxford Centre for Evidence-Based Medicine: Levels of Evidence — University of Oxford — https://www.cebm.ox.ac.uk/resources/levels-of-evidence/ocebm-levels-of-evidence
16. The Magenta Book (guidance on evaluation) — HM Treasury, GOV.UK — https://www.gov.uk/government/publications/the-magenta-book
17. Developing and evaluating complex interventions — Medical Research Council (MRC) — https://www.mrc.ukri.org/documents/pdf/complex-interventions-guidance/
18. Trustworthy Online Controlled Experiments — Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press — https://experimentguide.com/