Два взгляда на проблему электронных дневников в клинических исследованиях

Специалисты Смуз провели исследования с использованием разработанной ими платформы электронных дневников. Выводы, к которым они пришли, могут иметь значение при выборе метода сбора данных от пациентов.

Через несколько дней редакция Фармвестника получила комментарий от экспертов Ассоциации организаций по клиническим исследованиям (АОКИ), в котором подвергались сомнению положения, озвученные в статье. После того, как с этим комментарием ознакомились в Смуз, специалисты компании передали редакции документ, в котором ответили на комментарии АОКИ.

Мы решили предоставить слово обеим сторонам и приводим оба комментария без купюр и редакционных правок.

Комментарий экспертов АОКИ

Преимущества электронного дневника по сравнению с бумажной версией без сомнения очевидны. Но статья вызывает целый ряд вопросов.

Прежде всего хотелось бы отметить, что авторы, случайно или намеренно жонглируя профессиональными понятиями, делают довольно смелые выводы, которые не очень-то следуют из приведенного текста (и из графиков, которые даны практически без пояснений). Возможно все эти выводы сильно выхвачены из контекста, а авторы просто «сэкономили» на описательной части исследования, на примере которого пытаются доказать преимущества электронного дневника, но в таком виде заключение выглядит достаточно голословно и бездоказательно.

Электронные дневники и опросники оценки результатов лечения пациентами (ePRO), действительно, имеют много плюсов, так как данные вводят сами пациенты, и можно стимулировать и отслеживать их своевременное и правильное заполнение (сигналом в определенное время). Сейчас очень много компаний разработали такие приложения (для смартфонов, к примеру).

Но применение электронных дневников как инструмента фиксации конечных точек исследований пока имеет много ограничений. Во многих КИ пациенты возрастные, далеко не все имеют навыки работы с такими девайсами. Невключение же в исследование пациентов, которые не смогут использовать электронный дневник, сильно искажает популяцию (bias).

Второй момент, на который нам хотелось бы обратить внимание – во многих случаях сбор конечной точки в электронном приложении – не эквивалент сбору на бумажном носителе. Электронный опросник всегда должен пройти валидацию по сравнению с бумажным. Известны случаи, когда компаниям приходилось менять дизайн исследования и убирать сравнение с данными «на бумаге», так как было некорректно сравнивать их результаты в рамках статистической модели исследования.

Слишком большое отличие в данных электронного и бумажного дневника само по себе должно вызывать сомнение. В случае валидированного дневника и правильного формирования выборки такой разницы не должно быть!!! Почему же разброс данных с использованием электронных дневников оказался меньше? Мы можем только предположить, что в случае выраженных различий может иметь место то самое ограничение включения пациентов, о котором говорилось выше, а также тот факт, что неправильно запрограммированный дневник может “подсказывать” определенные ответы.

Еще один вопрос к авторам - в большинстве случаев данные опросников/дневников не должны уточняться пост-фактум, потому что это искажает чистоту и целостность (integrity) результатов. К каждому уважающему себя опроснику имеется алгоритм обработки, который рассказывает, как быть в случае пропущенных или “невозможных” данных и при каких условиях ошибки в дневнике делают его корректную обработку невозможной. Статья позволяет предположить, что упомянутые в Таблице 3 вопросы относятся к дневникам пациентов: «Среднее количество запросов на уточнение данных, единиц 4,8 и 0,1.». Если наше предположение верно, то эти вопросы тоже могли способствовать тому, что данные в бумажном и электронном дневниках отличаются.

Посвятив статью преимуществам электронного дневника, в самом конце авторы вдруг делают ссылку на адаптивный дизайн: «С учетом многолетнего опыта статистиков Смуз в применении адаптивного дизайна КИ можно предположить, что такие особенности имеют потенциал применения на практике, когда расчет размера выборки и точек промежуточного анализа строится на основе статистического моделирования с учетом диапазонов коэффициента вариабельности. Это, в свою очередь, снижает стоимость КИ и сокращает его продолжительность по сравнению с исследованием, в котором используются бумажные дневники.»

Адаптивный дизайн сам по себе может снизить количество пациентов в КИ. Но связи между адаптивным дизайном и использованием электронных дневников нет.

И в заключение хотелось бы остановиться на самом заголовке статьи: «Электронный дневник в КИ позволяет уменьшить размер выборки в 2 раза и более». Действительно, в некоторых случаях, когда опросник пациента является оценкой первичной конечной точки исследования (это меньшая доля из всех КИ, которые к тому же проводятся в определенных областях), применение электронного варианта опросника позволяет несколько уменьшить размер выборки за счет уменьшения выбывания пациентов из исследования (drop out): электронный дневник снижает долю пропущенных ответов (missing data). Но двукратное и более уменьшение – скорее из области фантастики или совсем уж экзотических случаев, даже сложно привести пример.

Как нам кажется, статья все-таки рассчитана на малосведущего в области КИ пользователя, который, как на конфету в яркой обертке, должен повестись на кричащий заголовок, сулящий магическое уменьшение размера выборки в два и более раза (а значит и значительной экономии расходов на проведение исследования) за счет использований электронных технологий. Увы, чудодейственность рекламируемых средств очень часто не оправдывается на практике.

Комментарии Смуз

Прежде всего хотелось бы отметить, что авторы, случайно или намеренно жонглируя профессиональными понятиями, делают довольно смелые выводы, которые не очень-то следуют из приведенного текста (и из графиков, которые даны практически без пояснений). Возможно все эти выводы сильно выхвачены из контекста, а авторы просто «сэкономили» на описательной части исследования, на примере которого пытаются доказать преимущества электронного дневника, но в таком виде заключение выглядит достаточно голословно и бездоказательно.

Комментарий Смуз: Мы рады тому, что тема оказалась актуальной, и хотим поблагодарить коллег из АОКИ за обратную связь. Как следует из текста публикации, мы не ставили перед собой цель статистически достоверно доказать какую-либо гипотезу. Цель – поделиться практическими наблюдениями, которые мы получили на примере двух сходных исследований, проанализировать причины этих наблюдений и попытаться применить эти выводы к планированию будущих исследований. Формат статьи не подразумевает публикацию всех исходных данных и аннотаций к расчетам, поэтому мы понимаем, что какие-то аспекты могут требовать более подробных пояснений. Мы понимаем, что не все специальные термины понятны широкому кругу читателей, и мы будем рады пригласить наших потенциальных Клиентов для подробной демонстрации системы, рассказать об особенностях ее применения и познакомить их с командой Смуз.

Мы также будем признательны, если наши коллеги по отрасли опубликуют подобный анализ по своим кейсам по данной или сходной тематике для более полной картины.

Электронные дневники и опросники оценки результатов лечения пациентами (ePRO), действительно, имеют много плюсов, так как данные вводят сами пациенты, и можно стимулировать и отслеживать их своевременное и правильное заполнение (сигналом в определенное время). Сейчас очень много компаний разработали такие приложения (для смартфонов, к примеру). Но применение электронных дневников как инструмента фиксации конечных точек исследований пока имеет много ограничений. Во многих КИ пациенты возрастные, далеко не все имеют навыки работы с такими девайсами. Невключение же в исследование пациентов, которые не смогут использовать электронный дневник, сильно искажает популяцию (bias).

Комментарий Смуз: Мы полностью согласны с данным утверждением. Стандартом мировой практики при планировании исследования является оценка влияния методов сбора данных на результаты исследования. При выборе бумажного или электронного дневника всегда следует тщательно оценить плюсы и минусы технологии и обосновать выбор.

Однако в современном мире степень развития и использования электронных систем такова, что даже пациенты пожилого возраста способны использовать простые электронные системы после предоставления им соответствующего обучения.

Второй момент, на который нам хотелось бы обратить внимание – во многих случаях сбор конечной точки в электронном приложении – не эквивалент сбору на бумажном носителе. Электронный опросник всегда должен пройти валидацию по сравнению с бумажным. Известны случаи, когда компаниям приходилось менять дизайн исследования и убирать сравнение с данными «на бумаге», так как было некорректно сравнивать их результаты в рамках статистической модели исследования.

Комментарий Смуз: Разумеется, одним из основных требований было использование валидированных опросников, которые на экране планшета выглядят так же, как на бумаге. В соответствии с требованиями опросников, пациент мог предварительно просмотреть все вопросы, ответить на них в строго определенном порядке и исправить ответы перед окончательным подтверждением и отправкой на сервер.

Слишком большое отличие в данных электронного и бумажного дневника само по себе должно вызывать сомнение. В случае валидированного дневника и правильного формирования выборки такой разницы не должно быть!!! Почему же разброс данных с использованием электронных дневников оказался меньше? Мы можем только предположить, что в случае выраженных различий может иметь место то самое ограничение включения пациентов, о котором говорилось выше, а также тот факт, что неправильно запрограммированный дневник может “подсказывать” определенные ответы.

Комментарий Смуз: Именно такое значимое различие побудило нас проводить анализ и искать ответы на вопросы. Мы намеренно не приводили в статье свои предположения, а ограничились перечислением фактов. Мы предполагаем, что решающую роль сыграли 2 предпосылки:

1. Поскольку бумажный дневник не позволяет достоверно фиксировать время заполнения, некоторая часть дневников в исследовании (к сожалению, мы не можем точно сказать, какая именно) будет заполнена пациентом задним числом, например, перед походом к врачу, либо частично пропущена. Соответственно, часть данных будут в той или иной мере неточными, а неполные анкеты будут отклонены, что будет увеличивать дисперсию основного параметра.
2. Размер выборки рассчитывается по опубликованным данным ранее проведенных исследований. Поскольку в большинстве таких исследований были использованы бумажные дневники, коэффициенты вариабельности учитывают пункт 1.

В пользу этих доводов говорит то, что в случае с бумажным дневником расчет выборки точно соответствовал прогнозу при планировании исследования.

Вариант с «подсказками» дневника мы исключаем, поскольку пациент на экране видит вопрос с теми же вариантами ответа, что и в бумажной версии. Возможность посмотреть свои прошлые анкеты у пациента также отсутствует. Популяция также была однородной, случаев, когда пациент может заполнять бумажный дневник, но не может электронный, мы не нашли.

Еще один вопрос к авторам - в большинстве случаев данные опросников/дневников не должны уточняться пост-фактум, потому что это искажает чистоту и целостность (integrity) результатов. К каждому уважающему себя опроснику имеется алгоритм обработки, который рассказывает, как быть и при каких условиях ошибки в дневнике делают его корректную обработку невозможной. Статья позволяет предположить, что упомянутые в Таблице 3 вопросы относятся к дневникам пациентов: «Среднее количество запросов на уточнение данных, единиц 4,8 и 0,1.». Если наше предположение верно, то эти вопросы тоже могли способствовать тому, что данные в бумажном и электронном дневниках отличаются.

Комментарий Смуз: Запросы на уточнение данных с бумажным дневником относились к переносу данных с бумажного дневника в ИРК исследователями.

Запросы на уточнение данных с электронным дневником относились к подтверждению анкет исследователем и монитором.

Следует отметить, что в представленном проекте никакие данные, полученные от пациентов, не изменялись постфактум. Пропущенные или сомнительные данные обрабатывались строго в соответствии с заданным алгоритмом.

Безусловно, при работе с данными до начала исследования формулируются правила работы с пропущенными или «невозможными» данными, однако такая практика направлена на устранение уже имеющихся недочетов при сборе информации, тогда как основной задачей любого исследования является сбор точных и достоверных данных для каждого измерения интересующего параметра, которые не требуют применения правил для дальнейшей замены либо исключения. В этом плане электронный дневник явно лидирует перед традиционным бумажным дневником.

Посвятив статью преимуществам электронного дневника, в самом конце авторы вдруг делают ссылку на адаптивный дизайн: «С учетом многолетнего опыта статистиков Смуз в применении адаптивного дизайна КИ можно предположить, что такие особенности имеют потенциал применения на практике, когда расчет размера выборки и точек промежуточного анализа строится на основе статистического моделирования с учетом диапазонов коэффициента вариабельности. Это, в свою очередь, снижает стоимость КИ и сокращает его продолжительность по сравнению с исследованием, в котором используются бумажные дневники.» Адаптивный дизайн сам по себе может снизить количество пациентов в КИ. Но связи между адаптивным дизайном и использованием электронных дневников нет.

Комментарий Смуз: Оценив полученные выводы, мы задались вопросом, как их можно использовать на практике без риска для планируемых исследований. Ведь планирование выборки по минимальному коэффициенту вариабельности может привести к отсутствию результата, а планирование по обычной схеме не даст преимуществ.

Наша компания имеет большой опыт в проведении исследований с промежуточным анализом, по положительным результатам которого исследование можно остановить досрочно, тем самым снизив стоимость и сроки проведения. Таким образом, зная, что использование электронного дневника может помочь снижению вариабельности данных и, как следствие, достижению мощности теста на меньшей популяции, его можно использовать как инструмент для достижения указанных целей без неоправданного риска.

И в заключение хотелось бы остановиться на самом заголовке статьи: «Электронный дневник в КИ позволяет уменьшить размер выборки в 2 раза и более». Действительно, в некоторых случаях, когда опросник пациента является оценкой первичной конечной точки исследования (это меньшая доля из всех КИ, которые к тому же проводятся в определенных областях), применение электронного варианта опросника позволяет несколько уменьшить размер выборки за счет уменьшения выбывания пациентов из исследования (drop out): электронный дневник снижает долю пропущенных ответов (missing data). Но двукратное и более уменьшение – скорее из области фантастики или совсем уж экзотических случаев, даже сложно привести пример.

Комментарий Смуз: Если на практике проанализировать данные исследований, можно заметить, что мощность теста является очень вариабельным параметром в ходе исследования (это хорошо заметно на графике 1). Именно для этого проводят исследования с промежуточным анализом, и нередко оказывается, что первичные конечные точки достигнуты уже на половине первоначальной расчетной популяции или менее.

Из своего опыта мы знаем, что двукратное уменьшение по результатам заранее запланированного промежуточного анализа – это существенный, но далеко не фантастический разброс.

Как нам кажется, статья все-таки рассчитана на малосведущего в области КИ пользователя, который, как на конфету в яркой обертке, должен повестись на кричащий заголовок, сулящий магическое уменьшение размера выборки в два и более раза (а значит и значительной экономии расходов на проведение исследования) за счет использований электронных технологий. Увы, чудодейственность рекламируемых средств очень часто не оправдывается на практике.

Комментарий Смуз: Мы в равной степени ценим как положительные, так и критические отзывы о нашей публикации. Согласно полученным многочисленным откликам, мы понимаем, что разбор данного кейса оказался полезен как сведущим, так и малосведущим в области клинических исследований. Будем рады и дальше повышать осведомленность, отвечать на любые вопросы и делиться собственным опытом.