А.В. ПРАСОЛОВ 1, А.С. КОЛБИН 2, 3, Е.А. МАКСИМКИНА 4, З.М. ГОЛАНТ 5, Ю.С. ПОЛУШИН 2, А.А. КУРЫЛЕВ 2, И.А. ВИЛЮМ 2, Ю.Е. БАЛЫКИНА 1
1 Факультет прикладной математики -- процессов управления, Санкт-Петербургский государственный университет
2 Первый Санкт-Петербургский государственный медицинcкий университет им. акад. И.П. Павлова
3 Медицинский факультет, Санкт-Петербургский государственный университет
4 Департамент лекарственного обеспечения и регулирования обращения медицинских изделий Минздрава России
5 Санкт-Петербургская государственная химико-фармацевтическая академия
В 2014 г. были предложены новые формализированные Правила формирования ограничительных списков ЛС. Были проанализированы данные заключений экспертных организаций, заключение главного внештатного специалиста министерства здравоохранения, окончательное решение междисциплинарной комиссии на площадке министерства здравоохранения. Методологически применяли математический аппарат: описание задачи; обзор методов моделирования; анализ принятых решений на различных уровнях; построение прогностических моделей. В результате было показано, что использование нейронных сетей с нелинейными решающими функциями в данном случаем невозможно. При анализе Перечня с помощью линейных моделей было показано, что построенные нами правила (прогноз) для экспертной организации давали ошибку 12,4%; для главного внештатного специалиста -- 10%. Модель для окончательного решения давала ошибку около 35%. Это означает, что определить окончательное решение комиссии исходя из балльной оценки, сделанной формально предыдущими субъектами, невозможно. Предложены рекомендации по оптимизации формализированного подхода.
Актуальность
Первый российский Перечень жизненно необходимых и важнейших лекарственных препаратов (ЖНВЛП, далее Перечень) был создан в 1992 г. Согласно мнению ряда экспертов, Перечень был составлен с нарушениями многих принципов и правил (с позиции ВОЗ), в частности, отличался изобилием торговых наименований, комбинированных препаратов, включал свыше 300 применяемых in vitro диагностических средств [1]. Значительную часть Перечня составляли морально устаревшие ЛС с недоказанной эффективностью, а также продукты известных фирм. В связи с этим дальнейшие перечни подвергались модификации; расширялись (к примеру, «Семь нозологий» или дополнительное лекарственное обеспечение); предлагались различные требования; критерии для включения и исключения лекарств. Прописывались новые процедуры, экспертные площадки (например, Формулярный комитет при РАМН). В начале 2000-х гг. при формировании Перечня стали использовать данные фармакоэкономических расчетов и, безусловно, принципы доказательной медицины. С 1992 г. и по настоящее время к составлению Перечня привлекали различных специалистов, в основном врачей или провизоров, зачастую со специфическими знаниями в области оценки медицинских технологий. Таким образом, субъективный характер принятия решения при формировании Перечня остается значительным. В 2014 г. правительством РФ был утвержден документ «Об утверждении Правил формирования перечней лекарственных препаратов для медицинского применения…» [2]. В данном документе прописаны требования (бальная система), этапы (в т. ч. процедура работы экспертной организации (ЭО) и главного специалиста), указаны сроки, формы для заключений. Фактически включение ЛС в Перечень равносильно принятию решения в форме бинарной оценки: 0, если ЛС включается в список, и 1 -- если не включается. Исходными данными для каждого ЛС было количество баллов. Основным принципом, который проходит сквозь весь документ, является формализированный подход, иными словами, структурированное формализированное экспертное мнение. В итоге в обновленный Перечень вошло 50 новых ЛС, отсутствующих в предыдущих перечнях.
Целью настоящего исследования было построение модели принятия решений на основании формализованного подхода формирования Перечня с помощью математических инструментов.
Методы
Основным и единственным источником данных служили заключения по результатам проведения экспертизы предложения о включении (исключении) лекарственного препарата в перечни лекарственных препаратов (Приложение №7 к «Правилам формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи»). На первом этапе все анализируемые данные (нам было доступно 169 международных непатентованных названий) были обезличены, каждому ЛС был присвоен цифровой и буквенный код. Затем их произвольно объединили в таблицу (Приложение к данной работе), куда включили все ЛС, досье на которые были поданы в ЭО (50 субъектов) в 2014 г. и в отношении которых ЭО выносили заключения. В результате в качестве исходных данных были использованы баллы по п. 5, 6, 7 Приложения 7 (результаты клинической оценки, результаты клинико-экономической оценки, результаты экспертизы прочих данных по предложению, соответственно, стб. 2, 3, 4); суммарным баллам (стб. 5); заключение о включении в список со стороны ЭО; заключение главного внештатного специалиста министерства здравоохранения (ГВС); окончательное решение междисциплинарной комиссии на площадке министерства здравоохранения (ОР) – стб. 6, 7 и 8 соответственно. Под формализацией процесса составления Перечня понимаем создание алгоритма (или формулы) превращения трех указанных чисел для каждого ЛC либо в 0, либо в 1 единственным образом. Такой алгоритм называется решающим правилом.
Методология проведения настоящего исследования состояла из следующих взаимодополняющих друг друга этапов: I. Описание задачи. Математическая формальная постановка задачи. II. Обзор методов моделирования. III. Анализ принятых решений: ЭО; ГВС; ОР. IV. Построение прогностических моделей.
I. Описание задачи и ее математическая формальная постановка
Математически задача состояла в разделении множества точек трехмерного пространства на два подмножества (попала точка в список или не попала): для первых точек решение равно 1, а для вторых -- 0. Речь шла о трехмерном пространстве, т. к. каждое ЛС характеризуется тремя системами баллов и эти системы независимы. В Приложении представлена сумма баллов (стб. 5), что представляется некоторым экспертам полезным для принятия решения (например, если сумма баллов больше некоторой пороговой величины, то ЛС принимается в Перечень). Однако когда анализировали решающее правило среди линейных моделей, то сумма была частным случаем, одной из линейных зависимостей и, следовательно, привлечение суммы не добавляло информации к трем балловым оценкам.
II. Обзор методов моделирования
II.1. Анализ Перечня с помощью нейронных сетей
В теории нейронных сетей используют нелинейные модели, например сигмоиды (их еще называют логистическими кривыми) [3]. Это функции нескольких переменных (в нашем случае трех балловых оценок), которые принимали значения от 0 до 1 некоторым непрерывно дифференцируемым образом. Один из вариантов сигмоид записывается в форме:
Y = ______1__________ (1),
1 + Σn i=1 exp (–ai xi)
где xi входные величины (в нашем случае балловые оценки); ai
-- коэффициенты, настраиваемые по известным входам и результатам (процесс обучения нейронной сети). Очевидно, что решающее правило, полученное с помощью (1), будет получать дополнительную информацию от входа, содержащего сумму баллов, из-за нелинейности.
Мы провели статистические исследования (на основе нейронных сетей) с сигмоидами и не нашли преимуществ перед линейными моделями (с последующим округлением). Вычисления были очень трудоемкие, а окончательная ошибка модели составила 23%. В связи с этим аппарат нейронных сетей в настоящем исследовании не использовали.
II.2. Анализ Перечня с помощью линейных моделей
Были рассмотрены линейные модели с округлением:
Y = a1x1 + a2x2 + a3x3 + a4 (2),
где Y -- одно из принятых решений (стб. 6, 7, 8 таблицы; xi -- баллы (стб. 2, 3, 4 таблицы); ai -- коэффициенты, подбираемые методом наименьших квадратов так, чтобы линейная комбинация (2) приближалась к значению Y, данному в таблице Приложения. Так как Y в любом случае принимает значения либо 0, либо 1, то числа ai автоматически подбирали так, что линейная комбинация (2) после округления до целых частей числа была равна либо 0, либо 1 [4--6]. С математической точки зрения округление -- это нелинейная операция:
Было показано, как работало решающее правило на простом иллюстративном примере в случае только двух входных переменных: x1, x2. Описали два случая: когда удалось четко разделить множества на две группы и когда не удалось (нечеткое разделение). В таблице 1 приведены координаты нескольких точек на плоскости. Точки разбиты на две группы характеристикой Y, принимающей значение 0 для одной группы и значение 1 -- для другой.
Как видно из представленных на рисунке 1 данных, подгруппы точек выделены разным цветом (синим и красным) и разными маркерами (ромбы и квадраты соответственно). Зеленые треугольники изображали прямую линию, разделяющую подгруппы. Это и есть решающее правило: если точка находится по одну сторону от разделяющей прямой, то Y равен 0, а если по другую, то 1. Уравнение разделяющей прямой получено следующим образом: предполагали, что
Y=a1 x1+a2 x2+a3
и искали ai, доставляющие наименьшее значение функционалу ∑8(k=1) (Yk - a1x1 - a2x2 - a3 )2 на данных таблицы 1. Получили линейную зависимость Y= 0,222 x1 - 0,222 x2 + 0,5. Округляя по формуле (3), пришли к решающему правилу: если x1 > x2, то пара чисел дает красный квадратик и точка на плоскости была ниже прямой линии из зеленых треугольников x2 = x1. В противном случае пара даст синий ромб, т. е. выше линии x2 = x1.
Но это получилось, когда подмножества, на которые мы хотели разделить точки плоскости, имели непересекающиеся выпуклые оболочки. Если это не так, то не существует разделяющей прямой. Далее добавили в таблицу 1 две пары чисел. Получили новые данные, которые отображены в таблице 2 и на рисунке 2, где уже не разделить подмножества прямой линией.
Как видно из представленных на рисунке 2 точек, разделяющая прямая линия допускала «ошибочные» решения по размещению точек в подмножества -- это следствие того, что «обучающее» множество не было разделено на подмножества так, чтобы не пересекались их выпуклые оболочки. Уравнение разделяющей прямой построено по данным таблицы 2 и соотношению 0,5 = 0,161 x1 - 0,261x2 + 0,75, правая часть в котором получена в процессе оптимизации с функционалом ∑ 10(k=1) (Yk - a1x1 - a2x2 - a3 )2 . Из рисунка 2 видно, что достаточно в таблице 2 поменять в 9-й и 10-й строках значения Y на противоположные, чтобы прямая разделила бы подмножества точно (при этом две новые точки на рисунке 2 около разделяющей прямой поменялись местами).
Анализ случайного и неслучайного воздействия
В реальных задачах экспертные оценки всегда подвержены случайному и неслучайному воздействию, а входные данные также нельзя считать идеальными, поэтому условия, при которых существует единственная разделяющая прямая (или в пространстве -- плоскость), чаще всего не выполняют. Для удобства изображения выделили две входные переменные: баллы по 5 п. и по 6 п. (стб. 2 и 3) и решение комиссии (стб. 8).
Как видно из представленных на рисунке 3 данных, после оптимизации параметров разделяющей прямой (зеленые треугольники на рисунке 3) наилучшее разделение имели ошибку 25%, т. е. из 16 входных пар неправильно попали (не в свои подмножества) 4 пары. Разделяющая прямая получена из уравнения 0,5= 0,036x1 + 0,011x2 - 0,49. Таким образом, наилучшая разделяющая прямая дает «плохой» результат на «обучающей» выборке данных.
III. Анализ принятых решений
В Приложении было достаточное количество принятых решений о включении ЛC в Перечень, чтобы с формально статистической точки зрения оценить качество этих решений. Были рассмотрены три набора решений: ЭО; ГВС; ОР.
В качестве математической модели решающего правила построили разделяющую плоскость в трехмерном пространстве. Процент ошибок разделения характеризовал адекватность модели. Данные о баллах, помещенные в стб. 2, 3, 4 Приложения, обозначили x1, x2, x3
для удобства в формулах. Всего было 169 троек. Характеристику подмножеств Y, соответственно, обозначали ЭО, ГВС и ОР (стб. 6, 7, 8). Их в Приложении -- различное число, поэтому таблицу пришлось деформировать для каждого случая.
Модель решающего правила для заключения о включении в список со стороны экспертной организации
Всего данных, характеризующих оценку ЭО, насчитывалось 169. Из них принять в список (=1) -- 141 ЛП и не принять (=0) -- 29 ЛП. На основании статистического анализа имеющейся информации была получена модель:
ЭО = ОКР (0,0095x1 + 0,021x2 + 0,0305x3 + 0,142) (4).
Эта модель давала ошибку 12,4% (т. е. 21 неправильный результат из 169). Отметим, что все коэффициенты статистически значимы и детерминация R2=0,28. Решающее правило было следующим: если для тройки чисел (x ̂1,x ̂2, x ̂3 ) выполнено неравенство 0,358<0,0095x ̂1+0,021x ̂2+0,0305x ̂3, то ЭО = 1. В противном случае – 0, и ЛС не рекомендовано для включения в Перечень. Заметим, что поскольку все данные, баллы и результаты экспертиз о включении или не включении ЛC в Перечень имели случайные ошибки, то говорить о правильности экспертизы нельзя. Однако, совпадение действия решающего правила с экспертизой на 12,4% говорит об удовлетворительном формализме.
Модель решающего правила для заключения главного внештатного специалиста министерства здравоохранения
При анализе оценок ГВС были выявлены 2 существенные особенности. Во-первых, не ясно, влияет ли ЭО на ГВС. Во-вторых, в выборе много пропущенных данных, которые уменьшали общее число наблюдений, и тем не менее линейная модель с округлением описывается формулой:
ГВС = ОКР (0,0102x1 + 0,0045x2 - 0,0025x3 + 0,4222) (5).
При этом коэффициенты статистически были не значимы и детерминация почти равна нулю, что говорит об очень плохой модели. Но из 98 экспериментов ошибочно модель давала только 14 ответов (14,3%). Решающее правило для ГВС формулировали следующим образом: если для тройки чисел (x ̂1,x ̂2,x ̂3) выполнено неравенство 0,0778 < 0,0102x ̂1 + 0,0045x ̂2 - 0,0025x ̂3, то ГВС = 1. В противном случае – 0, и ЛС не рекомендовано для включения в Перечень. Данное правило давало ошибку 14,3%. Такое решающее правило оставляет много сомнений.
Анализ влияния заключения экспертной организации на заключение главного внештатного специалиста министерства здравоохранения
При построении этой модели использовали данные о 97 наблюдениях.
ГВС = 0,523 * ЭО + 0,002x1 - 0,003x2 - 0,02x3 + 0,53 (6).
В результате получили 10 ошибок, т. е. почти 10%. Статистическая значимость достаточна только в трех из пяти коэффициентов и R2 = 0,24. По-видимому, это самая приемлемая модель. Она имела решающее правило в виде неравенства, связывающего тройку чисел (баллов) (x ̂1,x ̂2,x ̂3 ) и уже известное решение (ЭО) ̂: -0,03 < 0,523 (ЭО) ̂ + 0,002x ̂1 - 0,003x ̂2 - 0,02x ̂3. Этот вариант решающего правила имеет шанс быть принятым для последующих составлений Перечня.
Модель решающего правила для окончательного решения междисциплинарной комиссии на площадке министерства здравоохранения (ОР)
Ни одна модель не дает понимания, как принимается решение: все варианты имели примерно третью часть ошибок. Если бы 0 либо 1 ставились бы по равномерному закону распределения (бросание монеты), то мы бы получили 50% ошибок. Некоторое уменьшение числа ошибок получается за счет информации в баллах. Об этом свидетельствует статистический анализ, результаты которого приведены в таблице 4.
Для таких данных невозможно предложить статистически значимое линейное правило, т. к. точки в пространстве сильно перемешаны и для любой разделяющей плоскости их количество велико по обе стороны от нее.
Обсуждение полученных данных
Ограничительные списки в разных странах мира преследуют различные задачи, но в целом всегда пытаются решить основную цель -- рациональное использование финансовых средств для лекарств с доказанной эффективностью и известным профилем безопасности. Таким образом, основным вопросом, который пытаются решить организаторы (создатели, идеологи) любого Перечня, является методология включения и исключения ЛС в зависимости от поставленной цели. С 2014 г. в РФ была предложена попытка создания единых критериев для включения ЛС в следующие перечни (списки): ЖНВЛП; дорогостоящий перечень; льготный (врачебная комиссия); минимальный ассортимент. При этом список ЖНПЛП является основообразующим. Исключение ЛС из ЖНВЛП является критерием исключения ЛС из других списков [2]. Заявлено, что Перечень должен быть одобренным экспертным сообществом.
Мы провели статистические исследования на основе нейронных сетей. Было показано, что не было обнаружено преимуществ перед линейными моделями, в связи с чем далее был проанализирован линейный подход. Для этого на каждое ЛС действовали линейным решающим правилом: если некоторая линейная фиксированная комбинация баллов досье превышает определенное число -- «пороговое значение», то данное ЛС проходит дальше к Перечню. Коэффициенты линейной комбинации и «пороговый» уровень должны подбираться так, чтобы наилучшим образом удовлетворять прошлому опыту, оценкам ЭО («обучение» правила). Следует отметить, что простая сумма баллов также является линейной комбинацией с одинаковыми коэффициентами. И поэтому правило, гласящее, что ЛС проходит дальше по процедуре фильтрации, если сумма баллов превосходит некоторое пороговое значение, оказывается уже охваченным -- это первый фильтр. Далее использовали второй фильтр: также линейным решающим правилом оценивали одновременно баллы и мнение ЭО. Коэффициенты должны быть подобраны так, чтобы линейная комбинация наилучшим образом отражала мнение ГВС обо всех ЛС по всем известным случаям. Предварительный список содержал 175 ЛС, экспертная организация высказала 169 мнений: ГВС высказал 97 формализованных на бумажном носителе заключений. Таким образом, множество, на котором происходит «обучение» второго решающего правила, существенно меньше. Результаты статистических оценок, построенная нами линейная комбинация баллов, мнения ЭО и ГВС, заключительное решение представлены в таблице 5.
Выводы и рекомендации
1. Использование нейронных сетей с нелинейными решающими функциями не возможно для решения поставленных целей, т. к. оно продемонстрировало количество ошибок более 23%.
2. При анализе Перечня с помощью линейных моделей (разделяющих плоскостей) было показано, что они частично могут быть применены для решений указанных выше задач.
3. Доказано, что общая сумма баллов, выставленная экспертной организацией, не добавляет информацию к принятию решения о включении ЛС в Перечень, т. к. сумма является частным случаем перебираемых линейных комбинаций. Дальнейшее уточнение решающего правила, по-видимому, состоит в необходимости разработать «пороговый» уровень для каждой нозологической единицы.
4. Модель заключения для экспертной организации, которая была нами построена по результатам настоящего анализа, давала ошибку 12,4%. Модель можно было считать удовлетворительной. Это означает, что экспертная организация при вынесении заключения о рекомендации препарата к включению в Перечень опирается на бальные оценки, или наоборот: по числу баллов можно правильно предсказать решение экспертной организации в 87,6% случаев.
5. Модель для заключений главного специалиста, которая была построена по результатам настоящего анализа, давала ошибку 14,3%, если мы предполагали, что эксперт не был знаком с данными экспертной организации. Модель можно было считать условно удовлетворительной.
6. Модель для анализа влияния экспертной организации на заключение главного специалиста, которая была построена по результатам настоящего анализа, давала ошибку 10%. Модель можно было считать хорошей. Это означает, что ГВС в своем решении опирается на результаты ЭО.
7. Модель для окончательного решения комиссии, которая была построена по результатам настоящего анализа, давала ошибку около 35%. Модель можно было считать неудовлетворительной. Это означает, что определить окончательное решение комиссии исходя из балльной оценки, мнения ЭО и ГВС возможно только лишь с вероятность 35%, что равносильно опыту с подбрасыванием монеты.
Таким образом, проведенный анализ результатов экспертизы поданных досье методами математической статистики показал согласованность оценок экспертных организаций и главных специалистов с количеством баллов по результатам клинической, клинико-экономической оценок и оценок прочих данных по предложению. Мы действительно можем считать предложенные Правила формализированным подходом. Однако ни баллы, ни заключения экспертных организаций, ни мнения главных специалистов не влияют на окончательное решение междисциплинарной комиссии. Необходима более четкая процедура принятия решений на данном уровне.
Рекомендации
В ходе проведения анализа было отмечено, что препараты, входящие в разные группы по анатомо-терапевтической классификации (АТХ), имели разные суммы баллов по оцениваемым шкалам (например, безопасность противоопухолевых препаратов и антигипертензивных средств), что при усреднении может привести к смещению оценок. На наш взгляд, необходимо определить группы препаратов, внутри которых возможно рассмотрение вновь поданных предложений. Безусловно, для каждой группы необходимо свое решающее правило, посредством которого мы формально будем считать, рекомендуем ли данное ЛС или другую медицинскую технологию для включения или исключения из перечней.
Список литературы
Мешковский А.П. Очередной Российский перечень ЖНВЛС: рекомендации ВОЗ и поиски собственного пути. Режим доступа: http://www.apteka.ua/article/14049, свободный.
Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_167999/, свободный.
Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. [и др.]. Нейроинформатика. Новосибирск: Наука. Сибирское предприятие РАН, 1998: 296.
Алгоритмы и программы восстановления зависимостей. Под ред. В.Н. Вапника. М.: Наука, 1984.
Прасолов А.В., Хованов Н.В. О прогнозировании с использованием статистических и экспертных методов. Автоматика и телемеханика, 2008, 6: 129-143.
Прасолов А.В. Об одном методе определения спроса и цены на новую продукцию. Российский журнал менеджмента, 2009, 7(3): 45-60.
