А.В. ЖУРАВЛЁВ, аспирант кафедры общественного здоровья и здравоохранения ГБОУ ВПО МГМСУ им. А.И. Евдокимова Минздрава России, А.В. КОЧУБЕЙ, д.м.н., профессор кафедры общественного здоровья и здравоохранения ГБОУ ВПО МГМСУ им. А.И. Евдокимова Минздрава России, А.С. КАЗАКОВ, главный врач ГБУЗ «Вороновская больница Департамента здравоохранения города Москвы»
Опросы для оценки удовлетворенности пациентов качеством медицинской помощи и знаний медицинского персонала в настоящее время весьма часто применяются в практическом здравоохранении и научных исследованиях. Для обеспечения надежности результатов опросов следует проводить стандартизацию используемых анкет. Методика стандартизации анкеты для оценки знаний врачей-терапевтов вопросов организации и учета активных посещений представлена в настоящей статье.
Опрос в рамках научных исследований в сфере здравоохранения -- широко распространенный метод. Методом опроса в исследованиях в области общественного здоровья и здравоохранения изучают, например, удовлетворенность пациентов качеством медицинской помощи, также определяют востребованность и пригодность различных организационных технологий оказания медицинской помощи среди медицинских работников.
К сожалению, в работах последнего десятилетия, выполненных по специальности «общественное здоровье и здравоохранение», авторы не проводят стандартизацию применяемых анкет. В этой связи заключения, сделанные на основании применения анкет, валидность, надежность, устойчивость и согласованность которых не доказана, могут быть подвергнуты сомнению.
В ходе исследования, проведенного кафедрой общественного здоровья и здравоохранения МГМСУ им. А.И. Евдокимова, для выполнения одной из поставленных задач был проведен опрос участковых врачей-терапевтов с помощью специально разработанной анкеты. В связи с отсутствием апробированных стандартизированных анкет по изучаемой проблеме, а также тем, что анкета выступает в роли измерительного инструмента для оценки знаний участковых врачей-терапевтов, нами была проведена самостоятельная стандартизация анкеты по нижеприведенному алгоритму (рис. 1).
Нами была составлена анкета, содержащая 17 вопросов, из которых с 1-го по 4-й составляют паспортную часть (пол, возраст, стаж работы, специальность), а с 5-го по 17-й призваны определить знания участковых врачей-терапевтов в организации и учета активных посещений. Вопросы 6, 9, 12, 16 имели открытую форму ответа, респонденты должны были вписать ответ. Остальные вопросы имели зарытую форму, где респонденты должны были выбрать ответ из предложенных. Закрытая форма для большинства вопросов была выбрана для того, чтобы облегчить процесс анкетирования.
Для обеспечения содержательной валидности анкеты был проведен экспертный опрос. В роли экспертов выступили 8 сотрудников кафедры общественного здоровья и здравоохранения МГМСУ, из которых 3 имеют степень доктора медицинских наук, остальные -- кандидата медицинских наук. Все эксперты занимаются научно-педагогической деятельностью по специальности более 5 лет. Средний возраст экспертов составил 50,3 ± 14,41 года. В результате экспертизы на предмет валидности содержания анкеты были скорректированы формулировки всех вопросов. Вместо открытых вариантов ответа были даны закрытые варианты ответов с выбором одного варианта. Также для облегчения ответа на вопрос 11 были включены графы «Книги записей вызовов врачей на дом». Кроме того, была изменена последовательность вопросов в анкете, также их количество было уменьшено до 11. Внешняя валидность, а также оценка надежности-устойчивости была обеспечена в ходе проведения пилотного опроса 12 участковых врачей-терапевтов из генеральной совокупности и ретеста (t ≤ 1) соответственно. Методом типологического отбора были отобраны 12 врачей, признаком отбора был стаж по специальности более 10 лет.
Проверка внешней валидности производилась путем интервьюирования, когда респонденты указывали на все неясные/непонятные формулировки и давали собственное понимание формулировок вопросов. После проверки внешней валидности была уточнена формулировка трех вопросов.
Для оценки надежности-устойчивости результатов во времени последний вариант анкеты был протестирован дважды в одной и той же выборке: тест и через 3 нед. ретест.
Для проведения оценки надежности-устойчивости и в последующем оценки надежности-согласованности вариантам ответов были присвоены баллы: за ответ А -- 1 балл, Б -- 2 балла, В -- 3 балла. Результаты теста и ретеста оценивались по средним значениям и значению коэффициента корреляции Спирмена. Сопоставление средних значений, полученных при тестировании и ретестировании респондентов, установило, что доверительный коэффициент равен 1,24, что значительно меньше 2,20 -- критического значения критерия Стьюдента для уровня значимости р = 0,05 и числа степеней свободы n - 1 = 11. То есть различие средних величин баллов, полученных при первичном и повторном анкетировании, статистически не достоверно. Полученное значение коэффициента корреляции r равно 0,61, что больше 0,58 -- критического значения коэффициента корреляции для уровня значимости р = 0,05 и числа пар наблюдений N = 11. Полученный t ≥ 2,4 подтверждает, что имеется достоверная средняя по силе корреляционная связь между полученными результатами. Таким образом, разработанная анкета надежна по критерию устойчивости, т. к. выполнены условия о статистически недостоверном различии средних значений баллов, полученных при тесте и ретесте (t = 1,24 ≤ 2,20), и статистической значимости коэффициента Спирмена (rs = 0,61 ≥ 0,58).
Учитывая, что количество вопросов анкеты нечетное, оценка надежности-согласованности анкеты была установлена с помощью α-коэффициента Кронбаха (табл. 1)
по формуле: α
δ2i -- дисперсия откликов (оценок респондентов) по каждому пункту анкеты;
δ2t -- дисперсия суммарной шкалы (дисперсия суммы откликов каждого респондента на пункты анкеты).
Полученное значение коэффициента Кронбаха равно 1,09, что больше значения 0,71, достаточного как показателя надежности теста. Таким образом, пункты разработанной анкеты могут быть признаны согласованными.
Для оценки концептной (дискриминантной) валидности анкеты использовался индикатор t. Проведено пилотное тестирование среди 120 врачей-терапевтов. Респонденты после тест-опроса были ранжированы по сумме набранных баллов по всей анкете. Из группы 120 человек были выделены две группы по 30 человек (25% от выборочной группы):
- группа, имеющая низкий суммарный отклик,
- группа, имеющая высокий суммарный отклик.
Далее по двум группам с низким и высоким суммарным откликом для каждого вопроса был определен модифицированный критерий t по формуле:
,
,
где ХHср и XLср – среднее значение в группе с наибольшим и наименьшим суммарным откликом соответственно;
n – число респондентов в группе.
Пример расчета модифицированного критерия по вопросу №5 представлен в таблице 2.
Расчеты модифицированного критерия по остальным вопросам проводятся раздельно.
Полученные значения модифицированного критерия t по всем вопросам анкеты представлены в таблице 3.
Таблица 3. Значение модифицированного критерия t
Для всех вопросов полученные значения модифицированного критерия больше критического 1,75, что свидетельствует в пользу их высокой разделительной способности.
Таким образом, финальный тест-опрос проводился по анкете, содержащей 11 вопросов, валидность, надежность, устойчивость и согласованность которых доказана.
Вывод
Следует разработать методические рекомендации по вопросам стандартизации анкет, применяемых в качестве измерительных инструментов в практическом здравоохранении и научных исследованиях в сфере здравоохранения.
СПИСОК ЛИТЕРАТУРЫ
1. Волкова Н.В. Шаблон для формирования измерительного инструмента (анкеты). http://bpgroup.ru/mi_study/research/28/1217728.html.
2. Дубина И.Н. Математические основы эмпирических социально-экономических исследований: учебное пособие. Барнаул: изд-во Алт. ун-та, 2006.
3. Крокер Л. Введение в классическую и современную теорию тестов. Л. Крокер, Дж. Алгина. М.: Логос, 2010. 668.
4. Можаева Т.П., Ерохина В.А., Горленко О.А. Обоснование качества измерительного инструмента для оценки удовлетворенности персонала предприятием. Вестник Брянского государственного технического университета, 2013, 4(40): 164-170.
5. Cannel C, Fowler FJ, Kalton G, Oksenberg L and Bishoping K. New quantative techniques for presenting survey questions. Questionnaires. ThousandOaks: SAGE Publications, 2004, 4.
6. Feick LF. Latent class analisis of survey questions that include don’t know responses. Questionnaires. ThousandOaks: SAGE Publications, 2004, 4.
7. Shuman H. The random probe: A technique for evaluating the validity of closed questions. Questionnaires. ThousandOaks: SAGE Publications, 2004, 3.
Опросы для оценки удовлетворенности пациентов качеством медицинской помощи и знаний медицинского персонала в настоящее время весьма часто применяются в практическом здравоохранении и научных исследованиях. Для обеспечения надежности результатов опросов следует проводить стандартизацию используемых анкет. Методика стандартизации анкеты для оценки знаний врачей-терапевтов вопросов организации и учета активных посещений представлена в настоящей статье.
Опрос в рамках научных исследований в сфере здравоохранения -- широко распространенный метод. Методом опроса в исследованиях в области общественного здоровья и здравоохранения изучают, например, удовлетворенность пациентов качеством медицинской помощи, также определяют востребованность и пригодность различных организационных технологий оказания медицинской помощи среди медицинских работников.
К сожалению, в работах последнего десятилетия, выполненных по специальности «общественное здоровье и здравоохранение», авторы не проводят стандартизацию применяемых анкет. В этой связи заключения, сделанные на основании применения анкет, валидность, надежность, устойчивость и согласованность которых не доказана, могут быть подвергнуты сомнению.
В ходе исследования, проведенного кафедрой общественного здоровья и здравоохранения МГМСУ им. А.И. Евдокимова, для выполнения одной из поставленных задач был проведен опрос участковых врачей-терапевтов с помощью специально разработанной анкеты. В связи с отсутствием апробированных стандартизированных анкет по изучаемой проблеме, а также тем, что анкета выступает в роли измерительного инструмента для оценки знаний участковых врачей-терапевтов, нами была проведена самостоятельная стандартизация анкеты по нижеприведенному алгоритму (рис. 1).
Нами была составлена анкета, содержащая 17 вопросов, из которых с 1-го по 4-й составляют паспортную часть (пол, возраст, стаж работы, специальность), а с 5-го по 17-й призваны определить знания участковых врачей-терапевтов в организации и учета активных посещений. Вопросы 6, 9, 12, 16 имели открытую форму ответа, респонденты должны были вписать ответ. Остальные вопросы имели зарытую форму, где респонденты должны были выбрать ответ из предложенных. Закрытая форма для большинства вопросов была выбрана для того, чтобы облегчить процесс анкетирования.
Для обеспечения содержательной валидности анкеты был проведен экспертный опрос. В роли экспертов выступили 8 сотрудников кафедры общественного здоровья и здравоохранения МГМСУ, из которых 3 имеют степень доктора медицинских наук, остальные -- кандидата медицинских наук. Все эксперты занимаются научно-педагогической деятельностью по специальности более 5 лет. Средний возраст экспертов составил 50,3 ± 14,41 года. В результате экспертизы на предмет валидности содержания анкеты были скорректированы формулировки всех вопросов. Вместо открытых вариантов ответа были даны закрытые варианты ответов с выбором одного варианта. Также для облегчения ответа на вопрос 11 были включены графы «Книги записей вызовов врачей на дом». Кроме того, была изменена последовательность вопросов в анкете, также их количество было уменьшено до 11. Внешняя валидность, а также оценка надежности-устойчивости была обеспечена в ходе проведения пилотного опроса 12 участковых врачей-терапевтов из генеральной совокупности и ретеста (t ≤ 1) соответственно. Методом типологического отбора были отобраны 12 врачей, признаком отбора был стаж по специальности более 10 лет.
Проверка внешней валидности производилась путем интервьюирования, когда респонденты указывали на все неясные/непонятные формулировки и давали собственное понимание формулировок вопросов. После проверки внешней валидности была уточнена формулировка трех вопросов.
Для оценки надежности-устойчивости результатов во времени последний вариант анкеты был протестирован дважды в одной и той же выборке: тест и через 3 нед. ретест.
Для проведения оценки надежности-устойчивости и в последующем оценки надежности-согласованности вариантам ответов были присвоены баллы: за ответ А -- 1 балл, Б -- 2 балла, В -- 3 балла. Результаты теста и ретеста оценивались по средним значениям и значению коэффициента корреляции Спирмена. Сопоставление средних значений, полученных при тестировании и ретестировании респондентов, установило, что доверительный коэффициент равен 1,24, что значительно меньше 2,20 -- критического значения критерия Стьюдента для уровня значимости р = 0,05 и числа степеней свободы n - 1 = 11. То есть различие средних величин баллов, полученных при первичном и повторном анкетировании, статистически не достоверно. Полученное значение коэффициента корреляции r равно 0,61, что больше 0,58 -- критического значения коэффициента корреляции для уровня значимости р = 0,05 и числа пар наблюдений N = 11. Полученный t ≥ 2,4 подтверждает, что имеется достоверная средняя по силе корреляционная связь между полученными результатами. Таким образом, разработанная анкета надежна по критерию устойчивости, т. к. выполнены условия о статистически недостоверном различии средних значений баллов, полученных при тесте и ретесте (t = 1,24 ≤ 2,20), и статистической значимости коэффициента Спирмена (rs = 0,61 ≥ 0,58).
Учитывая, что количество вопросов анкеты нечетное, оценка надежности-согласованности анкеты была установлена с помощью α-коэффициента Кронбаха (табл. 1)
по формуле: α
δ2i -- дисперсия откликов (оценок респондентов) по каждому пункту анкеты;
δ2t -- дисперсия суммарной шкалы (дисперсия суммы откликов каждого респондента на пункты анкеты).
Таблица 1. Определение коэффициента Кронбаха
|
|
Вопросы анкеты |
si |
si2 | |||||||
|
5 |
6 |
7 |
8 |
9 |
10 |
11 | ||||
|
респонденты |
1 |
1 |
1 |
1 |
1 |
3 |
3 |
2 |
0,90 |
0,82 |
|
2 |
2 |
2 |
2 |
2 |
1 |
1 |
1 |
0,29 |
0,08 | |
|
3 |
1 |
1 |
1 |
2 |
2 |
2 |
1 |
0,29 |
0,08 | |
|
4 |
2 |
1 |
1 |
1 |
2 |
2 |
2 |
0,29 |
0,08 | |
|
5 |
1 |
1 |
1 |
2 |
2 |
1 |
1 |
0,24 |
0,06 | |
|
6 |
1 |
1 |
1 |
1 |
2 |
1 |
1 |
0,14 |
0,02 | |
|
7 |
1 |
1 |
1 |
1 |
3 |
3 |
1 |
0,95 |
0,91 | |
|
8 |
1 |
1 |
1 |
1 |
3 |
3 |
1 |
0,95 |
0,91 | |
|
9 |
1 |
1 |
1 |
1 |
3 |
3 |
1 |
0,95 |
0,91 | |
|
10 |
1 |
1 |
1 |
3 |
2 |
3 |
1 |
0,90 |
0,82 | |
|
11 |
1 |
1 |
1 |
2 |
2 |
3 |
3 |
0,81 |
0,66 | |
|
12 |
1 |
1 |
1 |
3 |
3 |
1 |
1 |
0,95 |
0,91 | |
|
|
Σsi2 6,24 | |||||||||
|
| ||||||||||
|
st |
14 |
13 |
13 |
20 |
28 |
26 |
16 |
39,29 |
st21543,37 | |
Полученное значение коэффициента Кронбаха равно 1,09, что больше значения 0,71, достаточного как показателя надежности теста. Таким образом, пункты разработанной анкеты могут быть признаны согласованными.
Для оценки концептной (дискриминантной) валидности анкеты использовался индикатор t. Проведено пилотное тестирование среди 120 врачей-терапевтов. Респонденты после тест-опроса были ранжированы по сумме набранных баллов по всей анкете. Из группы 120 человек были выделены две группы по 30 человек (25% от выборочной группы):
- группа, имеющая низкий суммарный отклик,
- группа, имеющая высокий суммарный отклик.
Далее по двум группам с низким и высоким суммарным откликом для каждого вопроса был определен модифицированный критерий t по формуле:
,
,
где ХHср и XLср – среднее значение в группе с наибольшим и наименьшим суммарным откликом соответственно;
n – число респондентов в группе.
Пример расчета модифицированного критерия по вопросу №5 представлен в таблице 2.
Таблица 2. Определение модифицированного критерия t по вопросу №5
|
Категории |
Х |
Группа с суммарным откликом | |||||
|
наименьшим |
наибольшим | ||||||
|
f |
f ´ X |
f ´ X2 |
f |
f ´ X |
f ´ X2 | ||
|
3-й вариант ответа |
3 |
1 |
3 |
9 |
13 |
39 |
117 |
|
2-й вариант ответа |
2 |
5 |
10 |
20 |
4 |
8 |
16 |
|
1-й вариант ответа |
1 |
24 |
24 |
24 |
13 |
13 |
13 |
|
Σ |
|
30 |
37 |
53 |
30 |
60 |
146 |
|
Х ср |
|
|
1,2 |
|
|
2 |
|
Расчеты модифицированного критерия по остальным вопросам проводятся раздельно.
Полученные значения модифицированного критерия t по всем вопросам анкеты представлены в таблице 3.
Таблица 3. Значение модифицированного критерия t
|
№ вопроса |
ХН-ХL |
Значение t |
|
5 |
0,8 |
3,91 |
|
6 |
0,6 |
3,25 |
|
7 |
0,5 |
2,60 |
|
8 |
0,4 |
1,83 |
|
9 |
0,7 |
3,85 |
|
10 |
1,7 |
13,11 |
|
11 |
1,3 |
10,18 |
Для всех вопросов полученные значения модифицированного критерия больше критического 1,75, что свидетельствует в пользу их высокой разделительной способности.
Таким образом, финальный тест-опрос проводился по анкете, содержащей 11 вопросов, валидность, надежность, устойчивость и согласованность которых доказана.
Вывод
Следует разработать методические рекомендации по вопросам стандартизации анкет, применяемых в качестве измерительных инструментов в практическом здравоохранении и научных исследованиях в сфере здравоохранения.
СПИСОК ЛИТЕРАТУРЫ
1. Волкова Н.В. Шаблон для формирования измерительного инструмента (анкеты). http://bpgroup.ru/mi_study/research/28/1217728.html.
2. Дубина И.Н. Математические основы эмпирических социально-экономических исследований: учебное пособие. Барнаул: изд-во Алт. ун-та, 2006.
3. Крокер Л. Введение в классическую и современную теорию тестов. Л. Крокер, Дж. Алгина. М.: Логос, 2010. 668.
4. Можаева Т.П., Ерохина В.А., Горленко О.А. Обоснование качества измерительного инструмента для оценки удовлетворенности персонала предприятием. Вестник Брянского государственного технического университета, 2013, 4(40): 164-170.
5. Cannel C, Fowler FJ, Kalton G, Oksenberg L and Bishoping K. New quantative techniques for presenting survey questions. Questionnaires. ThousandOaks: SAGE Publications, 2004, 4.
6. Feick LF. Latent class analisis of survey questions that include don’t know responses. Questionnaires. ThousandOaks: SAGE Publications, 2004, 4.
7. Shuman H. The random probe: A technique for evaluating the validity of closed questions. Questionnaires. ThousandOaks: SAGE Publications, 2004, 3.
