1СПб ГБУЗ «Консультативно-диагностический центр для детей»,
2ГБОУ ВПО СЗГМУ им. И.И. Мечникова, Санкт-Петербург,
3 ФГУП «ВНИИМ им. Д.И. Менделеева», Санкт-Петербург
В статье дан обзор новой для российских лабораторий концепции индикаторов качества. Рассмотрено требование ИСО 15189, касающееся индикаторов качества. На практическом примере применения индекса гемолиза как индикатора качества преаналитического этапа рассмотрены условия, необходимые для включения индикатора в бенчмаркинг по оценке эффективности инструментов комплексного управления.
Глоссарий
Результативность (effectiveness) -- степень реализации запланированной деятельности и достижения запланированных результатов [п. 3.2.14 ГОСТ ISO 9000-2011].
Эффективность (efficiency) -- связь между достигнутым результатом и использованными ресурсами [п. 3.2.15 ГОСТ ISO 9000-2011].
В стандартах по системам менеджмента качества вообще и в сфере производства в частности широко и успешно применяются критерии результативности и эффективности процессов. Одним из способов оценки эффективности процессов является бенчмаркинг - сравнительная оценка показателей изучаемых процессов в различных организациях для выявления примеров эффективного функционирования с целью улучшения собственной работы. В лабораторной медицине такими показателями могут выступать индикаторы качества.
Целью данной статьи является ознакомление широкого круга специалистов с позицией международного лабораторного сообщества в отношении индикаторов качества для оценки управления медицинскими лабораториями.
Новая версия ИСО 15189 «Лаборатории медицинские. Специальные требования к качеству и компетентности» издания 2012 г. содержит пункт п. 4.14.7: «Индикаторы качества. Лаборатория должна установить индикаторы качества, чтобы отслеживать и оценивать качество выполнения в отношении критических аспектов преаналитического, аналитического и постаналитического процессов» [1]. Обратимся к существующим определениям «индикатора качества». В ИСО 15189:2012 дается следующее понятие данного термина: «…measure of the degree to which a set of inherent characteristics fulfils requirements» (мера, отражающая степень того, насколько набор присущих характеристик [результата процесса, процедуры и т. п.] удовлетворяет требованиям). По определению, данному М. Плебани и его коллегами, индикатор качества -- это базовый инструмент, который позволяет пользователям количественно оценить качество выбранных элементов путем сравнения с определенными критериями [2]. По своей сути индикатор качества -- это и есть критерий результативности, позволяющий определить факт достижения целевого уровня. Работа над выявлением и установкой индикаторов качества в сфере лабораторной медицины началась относительно недавно.
В последние годы во всем мире здравоохранение уделяет большое внимание вопросам безопасности пациентов. При этом понимание безопасности пациента трактуется все более широко, и для ее обеспечения в 2008 г. была создана рабочая группа IFCC (International Federation of Clinical Chemistry and Laboratory Medicine -- Международная федерация клинической химии и лабораторной медицины) Laboratory Errors and Patient Safety (WG-LEPS) (Лабораторные ошибки и безопасность пациента) [3]. К 2013 г. рабочая группа сформировала модель индикаторов качества, включающую 34 индикатора для оценки преаналитического, 7 индикаторов для аналитического и 15 -- постаналитического этапов [5]. Данная модель была выбрана в связи с тем, что в современных лабораториях повышение качества аналитического этапа во многом обеспечивается использованием автоматических систем, а результат лабораторного исследования становится более зависим от эффективной организации пре- и постаналитического этапов лабораторного процесса.
В основе предложенных к использованию индикаторов качества заложены следующие принципы:
1) обеспечение безопасности пациента;
2) соответствие требованиям международного стандарта ISO 15189 «Лаборатории медицинские. Частные требования к качеству и компетентности»;
3) охват всех стадий лабораторного процесса (total testing process).
Помимо этого, необходимо, чтобы индикаторы качества создавали условия для объективного сравнения лабораторий между собой, а значит, должны быть применимы во всех лабораториях. Основная ценность индикаторов качества, а значит, и основная сложность, с ними связанная, -- это создание с их помощью инструмента для реализации бенчмаркинга, который позволяет понять, насколько эффективно работает лаборатория.
Важно понимать, что индикатор качества не только дает первичную оценку, позволяющую оценить качество работы, но и выявляет те области, которые требуют особого внимания.
При внедрении индикаторов в систему управления лаборатории возникает следующий вопрос. Полученное значение индикатора -- хорошо это или плохо? Какими критериями пользоваться? Конечно, можно идти ретроспективным путем. Собрать статистику за предыдущие периоды, рассчитать среднее значение для данного индикатора и его считать целевым, чтобы планировать постепенные улучшения. Но более правильным видится другой путь: когда мы сравниваем полученные нами в конкретной лаборатории значения индикатора с результатами других лабораторий, лучших или похожих на нас, а после этого устанавливаем критерии качества на основе достижений других лабораторий, если их достижения значительно превышают наши.
Здесь мы сталкиваемся с еще одной непростой методической задачей. Для того чтобы рассчитать значения для различных индикаторов качества, необходимо провести дополнительную работу. В общем виде -- система управленческого учета (для медицинских лабораторий - лабораторная информационная система) должна обладать возможностью предоставления необходимой информации без больших усилий. Кроме того, в процессе внедрения индикаторов может возникнуть необходимость развития системы фиксации и сбора данных. При этом очевидно, что если способ оценки какого-либо индикатора потребует много времени и ручного труда, то индикатор будет нежизнеспособным, т. к. ресурсы, потраченные на получение данных для его постоянного расчета, будут чрезмерны.
Очевидно, что собственная модель индикаторов качества для лабораторий разного уровня будет разной. Степень полноты данной модели будет зависеть от уровня автоматизации лаборатории, наличия медицинской и лабораторной информационной систем (МИС, ЛИС), квалификации персонала, вовлеченности в процесс внедрения индикаторов качества высшего руководства и т. д. Именно поэтому международный стандарт ИСО 15189 рекомендует лаборатории использовать показатели, а не предлагает каких-либо конкретных моделей индикаторов качества. При этом лаборатория вольна использовать любую доступную модель или разработать индикаторы самостоятельно. В том случае если предложенный какой-либо лабораторией индикатор не будет принят коллегами из других лабораторий, его использование будет ограничено рамками собственной лаборатории. Помимо этого, важно учесть, что кроме основных существуют и вспомогательные процессы, обеспечивающие качество. И для них также необходимо разработать и установить индикаторы качества и дискриминационные значения, с которыми можно будет сравнивать реально достигнутый уровень.
Наглядным показателем методической разработки внедрения индикаторов качества в практическую лабораторию является процент гемолизированных образцов сыворотки/плазмы, рассчитанный на основании индекса гемолиза (HI -- индекс гемолиза). Рассмотрим это на конкретном примере.
В Санкт-Петербургском Консультативно-диагностическом центре для детей (СПб КДЦД) ведется разработка и внедрение системы менеджмента качества лаборатории в соответствии с требованиями ИСО 15189 и рекомендациями CLSI (Clinical and laboratory standards institute). При внедрении в работу индикаторов качества было принято решение взять за основу модель WG-LEPS IFCC. Индекс гемолиза является интегральным показателем качества преаналитического этапа, т. к. на его появление (in vitro) влияет несоблюдение правил взятия, условий и времени доставки биологического материала от заборного пункта в лабораторию [9]. Решение о начале работы с HI как индикатором качества было связано с тем, что СПб КДЦД имеет в своем составе межрайонную централизованную клинико-диагностическую лабораторию (МЦКДЛ), оказывающую лабораторные услуги 33 контрагентам, доставляющим образцы пациентов из собственных заборных пунктов. Критически важной является оценка качества преаналитического внелабораторного этапа во всех ЛПУ, транспортирующих биоматериал в лабораторию.
При внедрении данного индикатора было принято во внимание, что на данный момент большинство лабораторий используют визуальный метод оценки гемолиза, который является субъективным, низко производительным и слабо согласуется с реальным содержанием свободного гемоглобина в сыворотке/плазме [10, 11]. Помимо этого, визуальный метод оценки является трудозатратным, поскольку после выявления образцов с подозрением на гемолиз следует измерить концентрацию свободного гемоглобина в образце [12]. Следовательно, визуальный метод неприемлем для централизованной лаборатории, где наблюдается огромный поток входящего биоматериала.
Кроме визуальной оценки образца на современных автоматических анализаторах доступно количественное или полуколичественное измерение в образцах сыворотки/плазмы содержания свободного гемоглобина, что позволяет исключить влияние субъективности и недостоверности при оценке гемолиза, достоверно определить наличие/отсутствие влияния гемоглобина на результат и избежать отказа в проведении исследования, если интерференция отсутствует. Опыт СПб КДЦД показывает, что индекс гемолиза, измеренный во всех образцах, поступивших в лабораторию, соответствует всем требованиям, предъявляемым к индикаторам качества, и служит ключевым элементом в построении системы менеджмента качества на преаналитическом этапе [13].
Как было сказано выше, одним из ключевых этапов при внедрении системы оценки индикаторов качества является определение критерия, с которым сравниваются полученные данные. Сегодня международное сообщество перешло к обсуждению дискриминационных границ концентрации гемоглобина, используемого для расчета процента гемолиза в качестве индикатора преаналитического качества. В СПб КДЦД определение минимальной границы свободного гемоглобина, влияющего на результат аналита, основано на данных инструкций производителя реагентов (Roche), где указано значение индекса гемолиза, выше которого велика вероятность влияния на достоверность полученного результата. Все пороговые значения индекса гемолиза для каждого теста, выполняемого в лаборатории, были введены в ЛИС, что позволяет проводить простую статистическую обработку данных с целью своевременного выявления проблемы.
В силу того, что в настоящее время отсутствует стандартизация метода оценки гемолиза [14], было принято решение, что минимальное значение гемолиза, которое может потенциально влиять на результат пациента, соответствующее 10 HI (10 мг/дл), в полной мере отвечает приоритету безопасности пациента. Часто предлагаемая дискриминационная граница в 50 HI (50 мг/дл) - граница уверенного распознавания гемолиза при визуальной оценке, на наш взгляд, не отвечает требованию безопасности. Свободный гемоглобин в диапазоне до 50 мг/дл будет влиять на результат, но при этом такие образцы будут отнесены в группу оптимального качества, а существующая проблема останется не распознанной.
После определения дискриминационного значения индекса гемолиза была проведена дифференцировка контрагентов в соответствии с уровнем качества преаналитического этапа. Для этого использовался следующий метод расчета: приемлемый уровень качества соответствует медиане процента гемолизированных проб, оптимальный уровень на 25% ниже медианы, минимальный -- на 25% выше медианы. Те значения, которые лежат выше минимального уровня, характеризуют неприемлемый уровень качества [14, 16]. Разделение контрагентов по уровням качества было проведено как для 10< HI<50, так и для HI>50. Показательно, что два контрагента, классифицированные как оптимальные по HI>50, по проценту гемолиза образцов с 10< HI<50 были отнесены в группу с неприемлемым уровнем качества. Это утвердило нас во мнении, что процент образцов с индексом гемолиза в диапазоне 10< HI<50 является более чувствительным и пациент ориентированным индикатором преаналитического качества, чем HI>50.
В приведенном примере описаны шаги, которые были предприняты в конкретной лаборатории для внедрения лишь одного индикатора. Как видно, это непростая работа, требующая серьезных усилий на этапах методической разработки, планирования и внедрения в практику, после чего использование индикатора становится рутинным и не требует практически никаких усилий со стороны сотрудников лаборатории.
Еще раз кратко опишем алгоритм действий лаборатории при внедрении индикатора качества преаналитического этапа «индекс гемолиза»:
1. Получение от поставщика реагентов конкретных значений по интерференции со стороны гемоглобина.
2. Дополнительные настройки в ЛИС: экспорт данных по дискриминационному значению индекса гемолиза для каждого теста и установка для введения комментария к результату в бланк ответа при превышении дискриминационного значения HI.
3. Формирование статистических отчетов и их обработка.
4. Внедрение индикатора в систему обнаружения несоответствий и быстрого реагирования (контроль качества преаналитического этапа у контрагентов).
Как индекс гемолиза можно применить на практике? Есть по меньшей мере три прикладных направления при использовании индекса гемолиза:
1. Оценка интерферирующего влияния: определение потенциально недостоверных результатов и/или возможного отказа в принятии пробы.
2. Оценка работы медицинских организаций на этапе сбора и транспортировки биоматериала: выявление организаций с неприемлемым уровнем преаналитического качества внелабораторного этапа с проведением дальнейших корректирующих действий.
3. Бенчмаркинг процесса: сравнение данных по количеству гемолизированных проб с другими лабораториями (требуется гармонизированная методология сбора и обработки данных).
Последние направления позволяют говорить об индексе гемолиза как об управленческом индикаторе. В частности, в СПб КЦДЦ было проанализировано распределение процента гемолизированных образцов по месяцам, поступивших в лабораторию от медицинской организации (МО) N. Процент гемолиза в образцах из МО N за период 4-месячного наблюдения оставался достаточно высоким, а при сравнительной оценке был отнесен в категорию неприемлемого уровня качества. На основании показателя, объективизировавшего проблему, по согласованию с руководителем МО N была проведена проверка работы процедурного кабинета, в результате выявились грубые нарушения процесса взятия крови. По результатам данной проверки был проведен как теоретический, так и практический курс обучения процедурных сестер на муляжах, что привело к значительному снижению процента гемолизированных образцов. По результатам следующих двух месяцев процент гемолиза из МО N соответствовал критериям контрагента с оптимальным уровнем качества. Это еще раз доказывает, что данный индикатор качества служит объективным показателем качества внелабораторного преаналитического этапа, а также позволяет в кратчайшие сроки выявить проблемных контрагентов, проанализировать причины сложившейся ситуации и провести соответствующие корректирующие действия.
Также по МО NN из когорты оптимального уровня качества мы наблюдали резкое увеличение процента гемолизированных образцов в 5,2 раза в июле 2013 г. по сравнению с предыдущими месяцами. После проведения внутреннего аудита на базе контрагента было выяснено, что это было связано с отпуском процедурной сестры. В это время ее замещала сотрудница, не имеющая высокой квалификации. В данной ситуации индекс гемолиза является индикатором профессиональной компетенции конкретного сотрудника процедурного кабинета.
Индикаторы качества, как видно, могут и должны быть использованы в рамках всей системы управления качеством. Приведенный пример показывает, что на основе данных по индикаторам качества можно проводить планирование внутренних аудитов, т. к. данные индикаторов предоставляют нам возможность выявить именно те процессы, где наблюдаются несоответствия или, что важнее, где такие несоответствия могут возникнуть. Тем самым индикаторы качества неразрывно связаны с такими процессами системы менеджмента качества (СМК) лаборатории, как корректирующие и предупреждающие действия, внутренние аудиты, постоянные улучшения, анализ со стороны руководства и т. д.
ИСО 15189:2012 предлагает следующий план работы с индикаторами качества:
• определить цели применения индикаторов качества;
• определить методологию определения индикаторов качества;
• провести интерпретацию полученных результатов;
• разработать пределы дискриминационных величин;
• обозначить запланированные действия в случае получения неудовлетворительных результатов;
• определить продолжительность измерения.
Первый этап -- определение целей применения индикаторов качества - кажется простым и понятным, но на самом деле он не настолько однозначный. Как мы уже писали раньше, индикаторы качества -- это лишь некоторая количественная информация. Она необходима для бенчмаркинга и принятия управленческих решений. Будете ли вы ориентироваться для установки критериев по качеству на данные мировых лабораторий, или предпочтете сравнивать свою эффективность с близкими отечественными лабораториями; и будут ли индикаторы являться инструментом быстрого реагирования на возникающие проблемы -- по аналогии с KPI (key performance indicators -- ключевыми показателями эффективности) -- система должна быть выстроена так, чтобы вы могли получать данные с заданной частотой и в необходимом формате. Необходимо решить, кто имеет доступ к информации по индикаторам и какие полномочия получают сотрудники, управляющие системой индикаторов, могут ли они остановить процесс или обязаны лишь доложить о наблюдаемых проблемах. Все это требует вдумчивого анализа и фиксации решений в виде стандартных операционных процедур.
Под методологией определения индикаторов можно понимать как минимум два процесса. Первый -- выбор модели. Рекомендации рабочей группы IFCC -- это лишь рекомендации. ИСО 15189:2012 не навязывает лаборатории никаких индикаторов, лаборатория вправе сама определить их.
Также под методологией понимается механизм выбора конкретной совокупности индикаторов для данной лаборатории и способы сбора данных для их оценки. Способ сбора данных -- это ключевой элемент методологии. Использование самостийных подходов не позволит лабораториям сравнивать полученные данные между собой. Разработка гармонизированной методологии работы с индикаторами качества -- одна из ключевых задач рабочей группы IFCC.
Проведение интерпретации полученных данных неразрывно связано с этапом определения дискриминационных величин. Вы должны установить целевые показатели для индикаторов, специфичные именно для вашей лаборатории. По сути, здесь мы можем говорить об использовании индикаторов качества для установки целей по качеству.
Также заранее необходимо продумать действия, которые можно и нужно будет предпринять в случае, если полученные результаты конкретного индикатора существенно хуже установленных критериев. Подобные решения также полезно оформить в виде рабочей версии СОПа (стандартной операционной процедуры или аналогичного документа), который будет уточняться по мере сбора статистических данных по конкретному индикатору.
Индикаторы качества следует периодически пересматривать с целью актуализации, т. е. для того чтобы удостовериться, что используемый набор индикаторов продолжает удовлетворять поставленным на первом этапе целям.
Теперь рассмотрим предложенный рабочей группой IFCC набор индикаторов качества.
Этот набор мы рекомендуем лабораториям в качестве входящей информации, которую необходимо проанализировать и выбрать те индикаторы, которые будут использованы в первую очередь. При этом полезно ориентироваться не только на те, которые проще всего внедрить в работу, но использовать и те, которые с большой вероятностью помогут выявить существующие проблемы. Каждый руководитель лаборатории интуитивно знает, какие области деятельности лаборатории являются проблемными. Внедрение в них индикаторов качества позволит более точно понять широту проблемы, дать ей количественную оценку, наметить пути выявления причин проблем и их решения.
В рабочей группе по IFCC также подчеркивают, что при работе с индикаторами качества необходима гармонизация методологии: для каждого индикатора необходимо определить, как именно проводить подсчет, периодичность, какой критерий использовать. Продолжим приведенный выше пример с индексом гемолиза: если в одной лаборатории на гемолиз оценивают визуально все пробирки, в другой - визуально выборочно и делают статистический вывод об общем количестве гемолизированных проб, в третьей -- выборочно автоматически полуколичественно, в четвертой -- автоматически количественно все и при этом применяют разные критерии -- в одной засчитывают за гемолизированную пробу ту, где HI превышает 15 HI, а в другой -- 10 HI, то ВСЕ эти данные несопоставимы.
И это касается каждого критерия. Должны быть разработаны четкие критерии, правила фиксации и отчетности. Индикаторы качества, предложенные рабочей группой IFCC [5], приведены в таблице 1.
Позволим себе привести частное мнение авторов статьи по поводу некоторых предложенных индикаторов.
1. Количество проб, взятых в неподходящее время/ общее число проб, в процентах.
Использование данного индикатора возможно в том случае, если установлен модуль ЛИС (или МИС) в месте взятия биоматериала и существует внутреннее правило (в виде СОПа), где четко указана необходимость фиксации времени взятия биоматериала. С точки зрения управления рисками данный критерий весьма удобен, т. к. при размещении в пункте взятия биоматериала модуля информационной системы в настройках задается допустимый временной диапазон взятия биоматериала для каждого аналита. Используя ресурс информационной системы, можно программно запретить взятие биоматериала по данному запросу, если его получение происходит в неподобающее время.
2. Количество неприемлемых результатов ВОК (внешней оценки качества), которые возникли в результате причин, которые уже были ранее устранены, в год / общее число неприемлемых результатов, в процентах.
Предложенный индикатор демонстрирует тесную связь индикаторов качества с системой менеджмента качества лаборатории. Напомним, что в рамках требований ИСО стандартов (ИСО 9001, ИСО/МЭК 17025, ИСО 15189, ИСО 13485) жестко различают устранение конкретного несоответствия и причину найденного несоответствия. Идеология СМК такова, что любое найденное несоответствие имеет некую причину. Устранение именно причины несоответствия должно привести к тому, что аналогичные несоответствия больше не будут появляться. А если они появляются, значит, мы неверно идентифицировали первопричину или предприняли неверные действия для ее устранения.
3. Количество результатов ВКК (внутреннего контроля качества), превышающих установленные границы, в год / общее количество данных ВКК, в процентах.
На наш взгляд, помимо этого критерия можно использовать сигмаметрию. По результатам ВКК рассчитать для каждого аналита вероятностное значение сигм, отражающих число ошибочных исследований на 1млн. Критерием может служить количество аналитов, попадающих в одну из групп, связанную с числом сигм.
Таким образом, индикаторы качества предоставляют управленческому звену лаборатории набор объективных данных. Именно они обеспечивают выполнение базового принципа менеджмента качества -- принятие решений на основе фактов [6]. Сегодня мы наблюдаем первые шаги по внедрению индикаторов качества в практику медицинских лабораторий. Приглашаем продолжить обсуждение действий, призванных повысить доверие к результатам деятельности медицинских лабораторий в среде профессионалов-клиницистов и пациентов. Применение гармонизированных индикаторов качества для проведения бенчмаркинга в лабораторной медицине выявит наиболее уязвимые области, требующие безотлагательных действий с целью повышения качества оказываемых услуг.
ИСТОЧНИКИ
1. ISO 15189:2012 “Medical laboratories. Requirements for quality and competence”, Switzerland.
2. Mario Plebani, Laura Sciacovelli, Mariela Marinova, Jessica Marcuccitti, Maria Laura Chiozza. Quality indicators in laboratory medicine: A fundamental tool for quality and patient safety. Clinical Biochemistry, 2013;46:1170-1174.
3. http://www.ifcc.org/ifcc-education-division/working-groups-special-projects/laboratoryerrorswg-leps/.
4. Mario Plebani. Harmonization in laboratory medicine: the complete picture. Clin Chem Lab Med, 2013 Apr;51(4):741-51.
5. Mario Plebani, Maria Laura Chiozza and Laura Sciacovelli. Towards harmonization of quality indicators in laboratory medicine. Clin Chem Lab Med, 2013; 51(1): 187-195.
6. Эмануэль А.В. Элементы системы менеджмента качества на базе ГОСТР Р ИСО 9001-2008 и ГОСТ Р ИСО 9004-2010. Обзор стандартов. Менеджмент качества в сфере здравоохранения и социального развития, 2012;1:112-121.
7. http://rochediagnostics.ru/rochediagnostics/data/serum_indices.pdf.
8. Artif Organs. 1994 Jan;18(1):7-10.The need for standardizing the index of hemolysis. Naito K, Mizuguchi K, Nosé Y. Department of Surgery, Baylor College of Medicine, Houston, Texas 77030.
9. Chawla R., Goswami B., et al. Identification of the Types of Preanalytical Errors in the Clinical Chemistry Laboratory: 1-Year Study at G.B. Pant Hospital. Labmedicine, 2010;41(2):89-92.
10. Glick M., Ryder K., Glick S., Woods J. Unreliable visual estimation of the incidence and amount of turbidity, hemolysis and icterus in serum from hospitalized patients. Clin. Chem., 1989;35:837-839.
11. Hawkins R., Discrepancy between visual and spectrophotometric assessment of sample haemolysis. Ann Clin Biochem., 2002;39:521-522.
12. Клименкова О.А., Желтякова О.В. и соавт. Визуальная оценка гемолиза – взгляд на вершину айсберга. Поликлиника. Лаборатория ЛПУ. Спецвыпуск, 2013;3:43-47.
13. Клименкова О.А., Берестовская В.С., Ларичева Е.С. Индекс гемолиза: от обсуждения к решению проблем преаналитического качества. Современная лаборатория, 2013;3:38-40.
14. Sciacovelli L., O’Kane M., et al. Quality Indicators in Laboratory Medicine: from theory to practice. Preliminary data from the IFCC Working Group Project «Laboratory Errors and Patient Safety». Clin Chem Lab Med, 2011;49(5):835-844.
15. Vermeer H. J., Thomassen E., de Jonge N. Automated Processing of Serum Indices Used for Interference Detection by the Laboratory Information System. Clinical Chemistry, 2005;51(1):244-247.
16. Мошкин А.В. Индекс гемолиза как индикатор качества внелабораторной части преаналитического этапа лабораторного исследования. Клиническая лабораторная диагностика, 2012;11:63-64.
17. Breil B., Fritz F., et al. Mapping Turnaround Times (TAT) to a Generic Timeline: A Systematic Review of TAT Definitions in Clinical Domains. BMC Medical Informatics and Decision Making, 2011;11:34-45.
18. Ervasti M., Penttila K., et al. Diagnostic, clinical and laboratory turnaround times in troponin T testing. Clin. Chem. Lab. Med., 2008;46(7):1030-1032.
19. Сочкова Л.В., Морозова М.Г., и соавт. Оценка эффективности управления внутрилабораторными потоками на основе анализа времени выполнения исследования. Клиническая лабораторная диагностика, 2012;11:60-62.
20. Schimke I Quality and timeliness in medical laboratory testing. Anal. Bioanal. Chem., 2009;393:1499-1504.
2ГБОУ ВПО СЗГМУ им. И.И. Мечникова, Санкт-Петербург,
3 ФГУП «ВНИИМ им. Д.И. Менделеева», Санкт-Петербург
В статье дан обзор новой для российских лабораторий концепции индикаторов качества. Рассмотрено требование ИСО 15189, касающееся индикаторов качества. На практическом примере применения индекса гемолиза как индикатора качества преаналитического этапа рассмотрены условия, необходимые для включения индикатора в бенчмаркинг по оценке эффективности инструментов комплексного управления.
Глоссарий
Результативность (effectiveness) -- степень реализации запланированной деятельности и достижения запланированных результатов [п. 3.2.14 ГОСТ ISO 9000-2011].
Эффективность (efficiency) -- связь между достигнутым результатом и использованными ресурсами [п. 3.2.15 ГОСТ ISO 9000-2011].
В стандартах по системам менеджмента качества вообще и в сфере производства в частности широко и успешно применяются критерии результативности и эффективности процессов. Одним из способов оценки эффективности процессов является бенчмаркинг - сравнительная оценка показателей изучаемых процессов в различных организациях для выявления примеров эффективного функционирования с целью улучшения собственной работы. В лабораторной медицине такими показателями могут выступать индикаторы качества.
Целью данной статьи является ознакомление широкого круга специалистов с позицией международного лабораторного сообщества в отношении индикаторов качества для оценки управления медицинскими лабораториями.
Новая версия ИСО 15189 «Лаборатории медицинские. Специальные требования к качеству и компетентности» издания 2012 г. содержит пункт п. 4.14.7: «Индикаторы качества. Лаборатория должна установить индикаторы качества, чтобы отслеживать и оценивать качество выполнения в отношении критических аспектов преаналитического, аналитического и постаналитического процессов» [1]. Обратимся к существующим определениям «индикатора качества». В ИСО 15189:2012 дается следующее понятие данного термина: «…measure of the degree to which a set of inherent characteristics fulfils requirements» (мера, отражающая степень того, насколько набор присущих характеристик [результата процесса, процедуры и т. п.] удовлетворяет требованиям). По определению, данному М. Плебани и его коллегами, индикатор качества -- это базовый инструмент, который позволяет пользователям количественно оценить качество выбранных элементов путем сравнения с определенными критериями [2]. По своей сути индикатор качества -- это и есть критерий результативности, позволяющий определить факт достижения целевого уровня. Работа над выявлением и установкой индикаторов качества в сфере лабораторной медицины началась относительно недавно.
В последние годы во всем мире здравоохранение уделяет большое внимание вопросам безопасности пациентов. При этом понимание безопасности пациента трактуется все более широко, и для ее обеспечения в 2008 г. была создана рабочая группа IFCC (International Federation of Clinical Chemistry and Laboratory Medicine -- Международная федерация клинической химии и лабораторной медицины) Laboratory Errors and Patient Safety (WG-LEPS) (Лабораторные ошибки и безопасность пациента) [3]. К 2013 г. рабочая группа сформировала модель индикаторов качества, включающую 34 индикатора для оценки преаналитического, 7 индикаторов для аналитического и 15 -- постаналитического этапов [5]. Данная модель была выбрана в связи с тем, что в современных лабораториях повышение качества аналитического этапа во многом обеспечивается использованием автоматических систем, а результат лабораторного исследования становится более зависим от эффективной организации пре- и постаналитического этапов лабораторного процесса.
В основе предложенных к использованию индикаторов качества заложены следующие принципы:
1) обеспечение безопасности пациента;
2) соответствие требованиям международного стандарта ISO 15189 «Лаборатории медицинские. Частные требования к качеству и компетентности»;
3) охват всех стадий лабораторного процесса (total testing process).
Помимо этого, необходимо, чтобы индикаторы качества создавали условия для объективного сравнения лабораторий между собой, а значит, должны быть применимы во всех лабораториях. Основная ценность индикаторов качества, а значит, и основная сложность, с ними связанная, -- это создание с их помощью инструмента для реализации бенчмаркинга, который позволяет понять, насколько эффективно работает лаборатория.
Важно понимать, что индикатор качества не только дает первичную оценку, позволяющую оценить качество работы, но и выявляет те области, которые требуют особого внимания.
При внедрении индикаторов в систему управления лаборатории возникает следующий вопрос. Полученное значение индикатора -- хорошо это или плохо? Какими критериями пользоваться? Конечно, можно идти ретроспективным путем. Собрать статистику за предыдущие периоды, рассчитать среднее значение для данного индикатора и его считать целевым, чтобы планировать постепенные улучшения. Но более правильным видится другой путь: когда мы сравниваем полученные нами в конкретной лаборатории значения индикатора с результатами других лабораторий, лучших или похожих на нас, а после этого устанавливаем критерии качества на основе достижений других лабораторий, если их достижения значительно превышают наши.
Здесь мы сталкиваемся с еще одной непростой методической задачей. Для того чтобы рассчитать значения для различных индикаторов качества, необходимо провести дополнительную работу. В общем виде -- система управленческого учета (для медицинских лабораторий - лабораторная информационная система) должна обладать возможностью предоставления необходимой информации без больших усилий. Кроме того, в процессе внедрения индикаторов может возникнуть необходимость развития системы фиксации и сбора данных. При этом очевидно, что если способ оценки какого-либо индикатора потребует много времени и ручного труда, то индикатор будет нежизнеспособным, т. к. ресурсы, потраченные на получение данных для его постоянного расчета, будут чрезмерны.
Очевидно, что собственная модель индикаторов качества для лабораторий разного уровня будет разной. Степень полноты данной модели будет зависеть от уровня автоматизации лаборатории, наличия медицинской и лабораторной информационной систем (МИС, ЛИС), квалификации персонала, вовлеченности в процесс внедрения индикаторов качества высшего руководства и т. д. Именно поэтому международный стандарт ИСО 15189 рекомендует лаборатории использовать показатели, а не предлагает каких-либо конкретных моделей индикаторов качества. При этом лаборатория вольна использовать любую доступную модель или разработать индикаторы самостоятельно. В том случае если предложенный какой-либо лабораторией индикатор не будет принят коллегами из других лабораторий, его использование будет ограничено рамками собственной лаборатории. Помимо этого, важно учесть, что кроме основных существуют и вспомогательные процессы, обеспечивающие качество. И для них также необходимо разработать и установить индикаторы качества и дискриминационные значения, с которыми можно будет сравнивать реально достигнутый уровень.
Наглядным показателем методической разработки внедрения индикаторов качества в практическую лабораторию является процент гемолизированных образцов сыворотки/плазмы, рассчитанный на основании индекса гемолиза (HI -- индекс гемолиза). Рассмотрим это на конкретном примере.
В Санкт-Петербургском Консультативно-диагностическом центре для детей (СПб КДЦД) ведется разработка и внедрение системы менеджмента качества лаборатории в соответствии с требованиями ИСО 15189 и рекомендациями CLSI (Clinical and laboratory standards institute). При внедрении в работу индикаторов качества было принято решение взять за основу модель WG-LEPS IFCC. Индекс гемолиза является интегральным показателем качества преаналитического этапа, т. к. на его появление (in vitro) влияет несоблюдение правил взятия, условий и времени доставки биологического материала от заборного пункта в лабораторию [9]. Решение о начале работы с HI как индикатором качества было связано с тем, что СПб КДЦД имеет в своем составе межрайонную централизованную клинико-диагностическую лабораторию (МЦКДЛ), оказывающую лабораторные услуги 33 контрагентам, доставляющим образцы пациентов из собственных заборных пунктов. Критически важной является оценка качества преаналитического внелабораторного этапа во всех ЛПУ, транспортирующих биоматериал в лабораторию.
При внедрении данного индикатора было принято во внимание, что на данный момент большинство лабораторий используют визуальный метод оценки гемолиза, который является субъективным, низко производительным и слабо согласуется с реальным содержанием свободного гемоглобина в сыворотке/плазме [10, 11]. Помимо этого, визуальный метод оценки является трудозатратным, поскольку после выявления образцов с подозрением на гемолиз следует измерить концентрацию свободного гемоглобина в образце [12]. Следовательно, визуальный метод неприемлем для централизованной лаборатории, где наблюдается огромный поток входящего биоматериала.
Кроме визуальной оценки образца на современных автоматических анализаторах доступно количественное или полуколичественное измерение в образцах сыворотки/плазмы содержания свободного гемоглобина, что позволяет исключить влияние субъективности и недостоверности при оценке гемолиза, достоверно определить наличие/отсутствие влияния гемоглобина на результат и избежать отказа в проведении исследования, если интерференция отсутствует. Опыт СПб КДЦД показывает, что индекс гемолиза, измеренный во всех образцах, поступивших в лабораторию, соответствует всем требованиям, предъявляемым к индикаторам качества, и служит ключевым элементом в построении системы менеджмента качества на преаналитическом этапе [13].
Как было сказано выше, одним из ключевых этапов при внедрении системы оценки индикаторов качества является определение критерия, с которым сравниваются полученные данные. Сегодня международное сообщество перешло к обсуждению дискриминационных границ концентрации гемоглобина, используемого для расчета процента гемолиза в качестве индикатора преаналитического качества. В СПб КДЦД определение минимальной границы свободного гемоглобина, влияющего на результат аналита, основано на данных инструкций производителя реагентов (Roche), где указано значение индекса гемолиза, выше которого велика вероятность влияния на достоверность полученного результата. Все пороговые значения индекса гемолиза для каждого теста, выполняемого в лаборатории, были введены в ЛИС, что позволяет проводить простую статистическую обработку данных с целью своевременного выявления проблемы.
В силу того, что в настоящее время отсутствует стандартизация метода оценки гемолиза [14], было принято решение, что минимальное значение гемолиза, которое может потенциально влиять на результат пациента, соответствующее 10 HI (10 мг/дл), в полной мере отвечает приоритету безопасности пациента. Часто предлагаемая дискриминационная граница в 50 HI (50 мг/дл) - граница уверенного распознавания гемолиза при визуальной оценке, на наш взгляд, не отвечает требованию безопасности. Свободный гемоглобин в диапазоне до 50 мг/дл будет влиять на результат, но при этом такие образцы будут отнесены в группу оптимального качества, а существующая проблема останется не распознанной.
После определения дискриминационного значения индекса гемолиза была проведена дифференцировка контрагентов в соответствии с уровнем качества преаналитического этапа. Для этого использовался следующий метод расчета: приемлемый уровень качества соответствует медиане процента гемолизированных проб, оптимальный уровень на 25% ниже медианы, минимальный -- на 25% выше медианы. Те значения, которые лежат выше минимального уровня, характеризуют неприемлемый уровень качества [14, 16]. Разделение контрагентов по уровням качества было проведено как для 10< HI<50, так и для HI>50. Показательно, что два контрагента, классифицированные как оптимальные по HI>50, по проценту гемолиза образцов с 10< HI<50 были отнесены в группу с неприемлемым уровнем качества. Это утвердило нас во мнении, что процент образцов с индексом гемолиза в диапазоне 10< HI<50 является более чувствительным и пациент ориентированным индикатором преаналитического качества, чем HI>50.
В приведенном примере описаны шаги, которые были предприняты в конкретной лаборатории для внедрения лишь одного индикатора. Как видно, это непростая работа, требующая серьезных усилий на этапах методической разработки, планирования и внедрения в практику, после чего использование индикатора становится рутинным и не требует практически никаких усилий со стороны сотрудников лаборатории.
Еще раз кратко опишем алгоритм действий лаборатории при внедрении индикатора качества преаналитического этапа «индекс гемолиза»:
1. Получение от поставщика реагентов конкретных значений по интерференции со стороны гемоглобина.
2. Дополнительные настройки в ЛИС: экспорт данных по дискриминационному значению индекса гемолиза для каждого теста и установка для введения комментария к результату в бланк ответа при превышении дискриминационного значения HI.
3. Формирование статистических отчетов и их обработка.
4. Внедрение индикатора в систему обнаружения несоответствий и быстрого реагирования (контроль качества преаналитического этапа у контрагентов).
Как индекс гемолиза можно применить на практике? Есть по меньшей мере три прикладных направления при использовании индекса гемолиза:
1. Оценка интерферирующего влияния: определение потенциально недостоверных результатов и/или возможного отказа в принятии пробы.
2. Оценка работы медицинских организаций на этапе сбора и транспортировки биоматериала: выявление организаций с неприемлемым уровнем преаналитического качества внелабораторного этапа с проведением дальнейших корректирующих действий.
3. Бенчмаркинг процесса: сравнение данных по количеству гемолизированных проб с другими лабораториями (требуется гармонизированная методология сбора и обработки данных).
Последние направления позволяют говорить об индексе гемолиза как об управленческом индикаторе. В частности, в СПб КЦДЦ было проанализировано распределение процента гемолизированных образцов по месяцам, поступивших в лабораторию от медицинской организации (МО) N. Процент гемолиза в образцах из МО N за период 4-месячного наблюдения оставался достаточно высоким, а при сравнительной оценке был отнесен в категорию неприемлемого уровня качества. На основании показателя, объективизировавшего проблему, по согласованию с руководителем МО N была проведена проверка работы процедурного кабинета, в результате выявились грубые нарушения процесса взятия крови. По результатам данной проверки был проведен как теоретический, так и практический курс обучения процедурных сестер на муляжах, что привело к значительному снижению процента гемолизированных образцов. По результатам следующих двух месяцев процент гемолиза из МО N соответствовал критериям контрагента с оптимальным уровнем качества. Это еще раз доказывает, что данный индикатор качества служит объективным показателем качества внелабораторного преаналитического этапа, а также позволяет в кратчайшие сроки выявить проблемных контрагентов, проанализировать причины сложившейся ситуации и провести соответствующие корректирующие действия.
Также по МО NN из когорты оптимального уровня качества мы наблюдали резкое увеличение процента гемолизированных образцов в 5,2 раза в июле 2013 г. по сравнению с предыдущими месяцами. После проведения внутреннего аудита на базе контрагента было выяснено, что это было связано с отпуском процедурной сестры. В это время ее замещала сотрудница, не имеющая высокой квалификации. В данной ситуации индекс гемолиза является индикатором профессиональной компетенции конкретного сотрудника процедурного кабинета.
Индикаторы качества, как видно, могут и должны быть использованы в рамках всей системы управления качеством. Приведенный пример показывает, что на основе данных по индикаторам качества можно проводить планирование внутренних аудитов, т. к. данные индикаторов предоставляют нам возможность выявить именно те процессы, где наблюдаются несоответствия или, что важнее, где такие несоответствия могут возникнуть. Тем самым индикаторы качества неразрывно связаны с такими процессами системы менеджмента качества (СМК) лаборатории, как корректирующие и предупреждающие действия, внутренние аудиты, постоянные улучшения, анализ со стороны руководства и т. д.
ИСО 15189:2012 предлагает следующий план работы с индикаторами качества:
• определить цели применения индикаторов качества;
• определить методологию определения индикаторов качества;
• провести интерпретацию полученных результатов;
• разработать пределы дискриминационных величин;
• обозначить запланированные действия в случае получения неудовлетворительных результатов;
• определить продолжительность измерения.
Первый этап -- определение целей применения индикаторов качества - кажется простым и понятным, но на самом деле он не настолько однозначный. Как мы уже писали раньше, индикаторы качества -- это лишь некоторая количественная информация. Она необходима для бенчмаркинга и принятия управленческих решений. Будете ли вы ориентироваться для установки критериев по качеству на данные мировых лабораторий, или предпочтете сравнивать свою эффективность с близкими отечественными лабораториями; и будут ли индикаторы являться инструментом быстрого реагирования на возникающие проблемы -- по аналогии с KPI (key performance indicators -- ключевыми показателями эффективности) -- система должна быть выстроена так, чтобы вы могли получать данные с заданной частотой и в необходимом формате. Необходимо решить, кто имеет доступ к информации по индикаторам и какие полномочия получают сотрудники, управляющие системой индикаторов, могут ли они остановить процесс или обязаны лишь доложить о наблюдаемых проблемах. Все это требует вдумчивого анализа и фиксации решений в виде стандартных операционных процедур.
Под методологией определения индикаторов можно понимать как минимум два процесса. Первый -- выбор модели. Рекомендации рабочей группы IFCC -- это лишь рекомендации. ИСО 15189:2012 не навязывает лаборатории никаких индикаторов, лаборатория вправе сама определить их.
Также под методологией понимается механизм выбора конкретной совокупности индикаторов для данной лаборатории и способы сбора данных для их оценки. Способ сбора данных -- это ключевой элемент методологии. Использование самостийных подходов не позволит лабораториям сравнивать полученные данные между собой. Разработка гармонизированной методологии работы с индикаторами качества -- одна из ключевых задач рабочей группы IFCC.
Проведение интерпретации полученных данных неразрывно связано с этапом определения дискриминационных величин. Вы должны установить целевые показатели для индикаторов, специфичные именно для вашей лаборатории. По сути, здесь мы можем говорить об использовании индикаторов качества для установки целей по качеству.
Также заранее необходимо продумать действия, которые можно и нужно будет предпринять в случае, если полученные результаты конкретного индикатора существенно хуже установленных критериев. Подобные решения также полезно оформить в виде рабочей версии СОПа (стандартной операционной процедуры или аналогичного документа), который будет уточняться по мере сбора статистических данных по конкретному индикатору.
Индикаторы качества следует периодически пересматривать с целью актуализации, т. е. для того чтобы удостовериться, что используемый набор индикаторов продолжает удовлетворять поставленным на первом этапе целям.
Теперь рассмотрим предложенный рабочей группой IFCC набор индикаторов качества.
Этот набор мы рекомендуем лабораториям в качестве входящей информации, которую необходимо проанализировать и выбрать те индикаторы, которые будут использованы в первую очередь. При этом полезно ориентироваться не только на те, которые проще всего внедрить в работу, но использовать и те, которые с большой вероятностью помогут выявить существующие проблемы. Каждый руководитель лаборатории интуитивно знает, какие области деятельности лаборатории являются проблемными. Внедрение в них индикаторов качества позволит более точно понять широту проблемы, дать ей количественную оценку, наметить пути выявления причин проблем и их решения.
В рабочей группе по IFCC также подчеркивают, что при работе с индикаторами качества необходима гармонизация методологии: для каждого индикатора необходимо определить, как именно проводить подсчет, периодичность, какой критерий использовать. Продолжим приведенный выше пример с индексом гемолиза: если в одной лаборатории на гемолиз оценивают визуально все пробирки, в другой - визуально выборочно и делают статистический вывод об общем количестве гемолизированных проб, в третьей -- выборочно автоматически полуколичественно, в четвертой -- автоматически количественно все и при этом применяют разные критерии -- в одной засчитывают за гемолизированную пробу ту, где HI превышает 15 HI, а в другой -- 10 HI, то ВСЕ эти данные несопоставимы.
И это касается каждого критерия. Должны быть разработаны четкие критерии, правила фиксации и отчетности. Индикаторы качества, предложенные рабочей группой IFCC [5], приведены в таблице 1.
Позволим себе привести частное мнение авторов статьи по поводу некоторых предложенных индикаторов.
1. Количество проб, взятых в неподходящее время/ общее число проб, в процентах.
Использование данного индикатора возможно в том случае, если установлен модуль ЛИС (или МИС) в месте взятия биоматериала и существует внутреннее правило (в виде СОПа), где четко указана необходимость фиксации времени взятия биоматериала. С точки зрения управления рисками данный критерий весьма удобен, т. к. при размещении в пункте взятия биоматериала модуля информационной системы в настройках задается допустимый временной диапазон взятия биоматериала для каждого аналита. Используя ресурс информационной системы, можно программно запретить взятие биоматериала по данному запросу, если его получение происходит в неподобающее время.
2. Количество неприемлемых результатов ВОК (внешней оценки качества), которые возникли в результате причин, которые уже были ранее устранены, в год / общее число неприемлемых результатов, в процентах.
Предложенный индикатор демонстрирует тесную связь индикаторов качества с системой менеджмента качества лаборатории. Напомним, что в рамках требований ИСО стандартов (ИСО 9001, ИСО/МЭК 17025, ИСО 15189, ИСО 13485) жестко различают устранение конкретного несоответствия и причину найденного несоответствия. Идеология СМК такова, что любое найденное несоответствие имеет некую причину. Устранение именно причины несоответствия должно привести к тому, что аналогичные несоответствия больше не будут появляться. А если они появляются, значит, мы неверно идентифицировали первопричину или предприняли неверные действия для ее устранения.
3. Количество результатов ВКК (внутреннего контроля качества), превышающих установленные границы, в год / общее количество данных ВКК, в процентах.
На наш взгляд, помимо этого критерия можно использовать сигмаметрию. По результатам ВКК рассчитать для каждого аналита вероятностное значение сигм, отражающих число ошибочных исследований на 1млн. Критерием может служить количество аналитов, попадающих в одну из групп, связанную с числом сигм.
Таким образом, индикаторы качества предоставляют управленческому звену лаборатории набор объективных данных. Именно они обеспечивают выполнение базового принципа менеджмента качества -- принятие решений на основе фактов [6]. Сегодня мы наблюдаем первые шаги по внедрению индикаторов качества в практику медицинских лабораторий. Приглашаем продолжить обсуждение действий, призванных повысить доверие к результатам деятельности медицинских лабораторий в среде профессионалов-клиницистов и пациентов. Применение гармонизированных индикаторов качества для проведения бенчмаркинга в лабораторной медицине выявит наиболее уязвимые области, требующие безотлагательных действий с целью повышения качества оказываемых услуг.
ИСТОЧНИКИ
1. ISO 15189:2012 “Medical laboratories. Requirements for quality and competence”, Switzerland.
2. Mario Plebani, Laura Sciacovelli, Mariela Marinova, Jessica Marcuccitti, Maria Laura Chiozza. Quality indicators in laboratory medicine: A fundamental tool for quality and patient safety. Clinical Biochemistry, 2013;46:1170-1174.
3. http://www.ifcc.org/ifcc-education-division/working-groups-special-projects/laboratoryerrorswg-leps/.
4. Mario Plebani. Harmonization in laboratory medicine: the complete picture. Clin Chem Lab Med, 2013 Apr;51(4):741-51.
5. Mario Plebani, Maria Laura Chiozza and Laura Sciacovelli. Towards harmonization of quality indicators in laboratory medicine. Clin Chem Lab Med, 2013; 51(1): 187-195.
6. Эмануэль А.В. Элементы системы менеджмента качества на базе ГОСТР Р ИСО 9001-2008 и ГОСТ Р ИСО 9004-2010. Обзор стандартов. Менеджмент качества в сфере здравоохранения и социального развития, 2012;1:112-121.
7. http://rochediagnostics.ru/rochediagnostics/data/serum_indices.pdf.
8. Artif Organs. 1994 Jan;18(1):7-10.The need for standardizing the index of hemolysis. Naito K, Mizuguchi K, Nosé Y. Department of Surgery, Baylor College of Medicine, Houston, Texas 77030.
9. Chawla R., Goswami B., et al. Identification of the Types of Preanalytical Errors in the Clinical Chemistry Laboratory: 1-Year Study at G.B. Pant Hospital. Labmedicine, 2010;41(2):89-92.
10. Glick M., Ryder K., Glick S., Woods J. Unreliable visual estimation of the incidence and amount of turbidity, hemolysis and icterus in serum from hospitalized patients. Clin. Chem., 1989;35:837-839.
11. Hawkins R., Discrepancy between visual and spectrophotometric assessment of sample haemolysis. Ann Clin Biochem., 2002;39:521-522.
12. Клименкова О.А., Желтякова О.В. и соавт. Визуальная оценка гемолиза – взгляд на вершину айсберга. Поликлиника. Лаборатория ЛПУ. Спецвыпуск, 2013;3:43-47.
13. Клименкова О.А., Берестовская В.С., Ларичева Е.С. Индекс гемолиза: от обсуждения к решению проблем преаналитического качества. Современная лаборатория, 2013;3:38-40.
14. Sciacovelli L., O’Kane M., et al. Quality Indicators in Laboratory Medicine: from theory to practice. Preliminary data from the IFCC Working Group Project «Laboratory Errors and Patient Safety». Clin Chem Lab Med, 2011;49(5):835-844.
15. Vermeer H. J., Thomassen E., de Jonge N. Automated Processing of Serum Indices Used for Interference Detection by the Laboratory Information System. Clinical Chemistry, 2005;51(1):244-247.
16. Мошкин А.В. Индекс гемолиза как индикатор качества внелабораторной части преаналитического этапа лабораторного исследования. Клиническая лабораторная диагностика, 2012;11:63-64.
17. Breil B., Fritz F., et al. Mapping Turnaround Times (TAT) to a Generic Timeline: A Systematic Review of TAT Definitions in Clinical Domains. BMC Medical Informatics and Decision Making, 2011;11:34-45.
18. Ervasti M., Penttila K., et al. Diagnostic, clinical and laboratory turnaround times in troponin T testing. Clin. Chem. Lab. Med., 2008;46(7):1030-1032.
19. Сочкова Л.В., Морозова М.Г., и соавт. Оценка эффективности управления внутрилабораторными потоками на основе анализа времени выполнения исследования. Клиническая лабораторная диагностика, 2012;11:60-62.
20. Schimke I Quality and timeliness in medical laboratory testing. Anal. Bioanal. Chem., 2009;393:1499-1504.
