Digital educational environment: Effectiveness of adaptive testing of medical students

Maria A. Meshcheryakova; Мещерякова Мария Александровна; Ramaz Sh. Gvetadze; Гветадзе Рамаз Шалвович; Yaser N. Kharakh; Харах Ясер Насерович; Veronika M. Karpova; Карпова Вероника Марковна; Marina V. Timoshchenko; Тимощенко Марина Вадимовна; Mariam S. Galstyan; Галстян Мариам Серёжевна; Sergey D. Arutyunov; Арутюнов Сергей Дарчоевич

doi:10.17816/dent110954

Digital educational environment: Effectiveness of adaptive testing of medical students

Authors: Meshcheryakova M.A.¹, Gvetadze R.S.¹, Kharakh Y.N.¹, Karpova V.M.¹, Timoshchenko M.V.¹, Galstyan M.S.¹, Arutyunov S.D.¹
Affiliations:
1. A.I. Evdokimov Moscow State University of Medicine and Dentistry
Issue: Vol 26, No 5 (2022)
Pages: 421-429
Section: Digital Dentistry
URL: https://rjdentistry.com/1728-2802/article/view/110954
DOI: https://doi.org/10.17816/dent110954
ID: 110954

Cite item

Full Text

Open Access
Restricted Access

Access granted
Restricted Access

Subscription or Fee Access

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

BACKGROUND: The computer-adaptive approach in testing is becoming more widespread, and research and optimization of algorithms for its work are underway, especially in the pedagogical sphere. According to literature data, adaptive testing has several advantages over traditional linear testing of knowledge, which determined the purpose and objectives of the study.

AIM: To assess the feasibility of using an adaptive approach in digital test control of the knowledge of students majoring in Dentistry, through a comparative analysis of their psycho-emotional state, success of the test task completion, and time spent.

MATERIAL AND METHODS: In this study, we considered the simplest mechanism of the algorithm (pyramid strategy) to ensure the adaptive operation of a computer test. The study included 446 first-year students of the Moscow State Medical University named after A.I. Evdokimov, who were majoring in dentistry (average age 18.76±2.26 years), divided into two groups: control group (n=200), in which linear testing was conducted, and experimental group (n=246), in which adaptive testing was conducted. The testing process is implemented through publicly available electronic resources and platforms.

RESULTS: As the result of the study the absence of statistically significant differences in all parameters (p >0.05), except for time costs (p <0.05), was determined.

CONCLUSIONS: The results of the study emphasized the feasibility of an adaptive approach in digital test control of the knowledge of students majoring in Dentistry.

Keywords

adaptive testing, computerized, distance education, online learning, dental education

Full Text

АКТУАЛЬНОСТЬ

Одним из наиболее распространенных инструментов контроля уровня знания является линейное тестирование (ЛТ), представленное фиксированным набором тестовых заданий, направленных на скрининг определенных аспектов изучаемой темы. С появлением цифровых технологий тестовый контроль все чаще стал проводиться посредством компьютерных программ [1, 2]. Автоматизация процесса позволила сократить время проверки результатов, а также повысить объективность оценивания за счет исключения фактора субъективной оценки. Успешность интеграции тестирования в цифровые технологии подтверждается активным совершенствованием данной методики и многочисленными способами ее реализации [3–6], основанными на использовании статистических расчетов, повышающих надежность тестирования.

Такой повышенный исследовательский интерес к совершенствованию тестового метода связан с поиском увеличения точности оценки знаний, которая связана с соответствием сложности тестирования возможностям экзаменуемого. Одним из первых данную проблему осветил в своем научном труде F.M. Lord (1971): автором была предложена концепция гибкоуровневых тестов (flexilevel tests) [7], принцип которой лег в основу адаптивного тестирования (АТ) [8–10]. Идеология АТ заключается в изменении сложности тестовых заданий в зависимости от правильности ответа на предыдущие вопросы, что обеспечивает наиболее эффективное формирование тестовых заданий за счет их распределения по уровню сложности, основанном на текущих возможностях обучающегося [11].

Исходя из литературных данных, АТ позволяет осуществлять контроль уровня знаний, не уступающий ЛТ по эффективности и надежности, но при этом требующий меньших временных затрат благодаря уменьшению количества заданий, необходимых для наиболее объективной оценки [12–14].

Цель исследования — проанализировать пути совершенствования дистанционного тестирования знаний обучающихся посредством оценки АТ по параметрам эффективности тестового контроля, временных затрат и влияния на эмоциональное состояние обучающихся.

МАТЕРИАЛ И МЕТОДЫ

Дизайн исследования

Исследование проводили дистанционно в период ограничительных карантинных мер, связанных с COVID-19, когда испытуемые находились в условиях домашнего обучения. В исследовании участвовало 28 учебных групп (446 студентов, из них 280 девушек и 166 юношей в возрасте 18,76±2,26 года) 1-го курса Московского государственного медико-стоматологического университета имени А.И. Евдокимова, обучающихся по специальности «Стоматология». Студенты были разделены на две группы исследования (по 14 учебных групп в каждой): в контрольной группе численностью 200 человек проводили классическое ЛТ, в экспериментальной группе (246 человек) — АТ. Временные ограничения не применялись.

Алгоритм АТ не предусматривает возможность изменения выбора ответа на предыдущие тестовые задания, в связи с чем в ЛТ также была ограничена возможность возврата к предыдущим тестовым заданиям и их исправления.

До и сразу после АТ и ЛТ оценивали психоэмоциональное состояние посредством методики личностного дифференциала и шкалы тревоги Спилбергера–Ханина (ситуативная тревожность) в электронном формате (на платформе «Google Формы»). После прохождения тестирования фиксировали относительное число правильных ответов (в процентном соотношении) с целью сопоставимости данных и общую продолжительность тестирования (в секундах).

База тестовых заданий

Для ЛТ и АТ использовали общую базу тестовых заданий по теме «Эндодонтия», состоящую из 10 уровней сложности, каждый из которых включал в себя от 2 до 12 тестовых заданий, что в общей сложности составило 77 тестовых заданий (табл. 1).

Таблица 1. Распределение количества вопросов по уровням сложности в общей базе данных тестовых заданий

Table 1. Distribution of the number of questions by difficulty levels in the general database of test tasks

Уровень сложности	1-й	2-й	3-й	4-й	5-й	6-й	7-й	8-й	9-й	10-й
Количество тестовых заданий	7	10	9	9	12	12	7	5	4	2

Нами использовались тестовые задания двух типов: с выбором одного правильного ответа (закрытая форма) и четырьмя дистракторами и на установление правильной последовательности с пятью вариантами ответов. Таким образом, количество вариантов ответов во всех тестовых заданиях соответствовало пяти, а их последовательность варьировала случайным образом.

Валидация тестовых заданий

Уровень сложности для каждого тестового задания определяли экспертным методом по шкале от 1 до 10, где 1 — самый простой, а 10 — самый сложный.

Тестовые задания были разделены на группы по принципу сложности содержания, некоторые из них дополнительно подразделены нами в зависимости от сложности структуры вопроса. Описание характеристик, определяющих уровень сложности тестовых заданий, отображено в табл. 2. Задания, требующие от студентов демонстрации базовых знаний, соответствовали первым семи уровням сложности, для успешного выполнения заданий с 8-го по 10-й уровень сложности требовались навыки использования базовых знаний для выведения правильного ответа.

Таблица 2. Описание характеристик уровней сложности

Table 2. Description of the characteristics of difficulty levels

Уровень тестового задания	Характеристика уровня
1-й	Задания на узнаваемость эндодонтических инструментов, аксессуаров и материалов, знание базовых определений и понятий в избранной тематике
2-й	Задания на знание характеристик эндодонтического инструмента с одним правильным вариантом ответа. Задания требуют более сложных умственных процессов, так как сначала студент должен узнать инструмент, а затем соотнести с соответствующими ему характеристиками
3-й	Задания на знание характеристик эндодонтического инструмента с несколькими правильными вариантами ответа. Задания сложнее предыдущего уровня, так как имеют более сложную структуру
4-й	Задания с одним правильным вариантом ответа на знание порядка применения инструмента, техники использования. Данные задания требуют узнавания инструмента, затем описания его характеристик, а затем соотнесения с действиями, которые осуществляются данным инструментом
5-й	Задания на знание порядка применения инструментов и техники использования с несколькими правильными вариантами ответа
6-й	Задания на знание протокола применения эндодонтических инструментов с одним вариантом ответа. Данные задания требуют от студентов большего объема знаний: название инструментов, их характеристики, порядок применения каждого из них и последовательность применения всех инструментов в обозначенном лечебном протоколе
7-й	Задания на определение последовательности этапов протокола применения эндодонтических инструментов. Задания проверяют знания аналогично предыдущему уровню, но написаны в более сложной форме тестовых заданий
8-й	Задания на вычисление характеристик инструментов. Обучающийся узнает значения, необходимые для вычисления, из текста задания либо из иллюстрации к заданию, а затем должен сформулировать правильный ответ
9-й	Типовые ситуационные задачи
10-й	Ситуационные задачи с избыточными данными

Линейное компьютерное тестирование

Тестирование в контрольной группе организовано с помощью конструктора тестов на платформе Online Test Pad (http://onlinetestpad.com/). Структура ЛТ включала все 10 уровней сложности с частотой встречаемости, пропорциональной их частоте встречаемости в 10-стадийной пирамидальной стратегии АТ (табл. 3), что определило фиксированную длину теста в 30 тестовых заданий.

Таблица 3. Распределение количества уровней сложности в ЛТ

Table 3. Distribution of the number of difficulty levels in LT

Уровень сложности	1-й	2-й	3-й	4-й	5-й	6-й	7-й	8-й	9-й	10-й
Частота встречаемости	1	2	3	4	5	5	4	3	2	1

Последовательность уровней и выбор тестового задания из базы данных для соответствующего уровня определялись случайным образом при заданном нами условии отсутствия повторяющихся тестовых заданий. Значения продолжительности тестирования и количества правильных ответов являются параметрами, предоставляемыми данной платформой по умолчанию.

Адаптивное компьютерное тестирование

В экспериментальной группе проводили АТ на платформе «Google Таблицы». Функционирование алгоритма АТ обеспечено посредством написанного нами программного кода (скрипта) во встроенном редакторе скриптов (Google Apps Scripts) на языке JavaScript (приложения 1, 2¹). Алгоритм выдачи тестовых заданий в экспериментальной группе прописан в соответствии с 10-стадийной пирамидальной стратегией [15], что определило фиксированную длину теста в 10 тестовых заданий. Согласно данной стратегии первое тестовое задание в АТ всегда было 5-го уровня сложности, на данном этапе работа скрипта заключалась только в случайном выборе задания из базы данных указанного уровня сложности. Вывод каждого последующего тестового задания (со 2-го по 10-е) происходил после двух этапов автоматической работы скрипта: сначала определялся уровень сложности, исходя из правильности ответа на предыдущий вопрос, затем соответственно определенному уровню сложности случайным образом выводилось тестовое задание из базы данных. Фиксация времени, затраченного на выполнение тестовых заданий, осуществлялась в автоматическом режиме. Продолжительность фиксировалась от момента вывода первого тестового задания до момента ответа на последнее (10-е) тестовое задание.

Статистическая обработка данных

Статистический анализ производили в программном обеспечении IBM SPSS Statistics. Статистическая значимость (α) и мощность исследования были заданы на уровнях 0,05 и 80% соответственно. Полученные данные проверяли на соответствие нормальному распределению посредством одновыборочного критерия Колмогорова–Смирнова. В случаях нормального распределения значений применяли t-критерий Стьюдента для независимых выборок с предварительным анализом равенства дисперсий по критерию Ливиня. В иных случаях сравнение выборок производили с помощью непараметрического U-критерия Манна–Уитни для независимых выборок.

РЕЗУЛЬТАТЫ

Показатели самооценки в группах исследования по параметрам «Оценка», «Сила» и «Активность» соответствовали низкому уровню на этапах до и после выполнения студентами тестовых заданий. Статистически значимых различий между показателями групп не выявлено (критерий Ливиня: p >0,05; t-критерий Стьюдента для независимых выборок: p >0,05), что подтверждает гомогенность сформированной выборки и позволяет произвести объективное сравнение результатов дальнейших исследований (табл. 4).

Таблица 4. Средние значения показателей психодиагностической методики «Личностный дифференциал» в исследуемых группах (M±m)

Table 4. Average values of the psychodiagnostic technique indicators “Personal differential” in the studied groups (M±m)

Факторы	Этап контроля	Линейное тестирование	Адаптивное тестирование	Статистическая значимость различий (p)*
Оценка	До	–4,52±4,05	–4,08±3,93	0,253
Оценка	После	–4,52±4,86	–4,40±4,46	0,792
Сила	До	–1,97±2,78	–2,16±3,23	0,495
Сила	После	–2,25±3,83	–2,53±3,81	0,444
Активность	До	–2,10±2,66	–2,04±2,94	0,825
Активность	После	–2,12±3,00	–1,81±2,84	0,271

Примечание. M — средняя арифметическая; m — среднеквадратическое отклонение. * t-критерий Стьюдента для независимых выборок.

Note. M — arithmetic mean; m — standard deviation. * Student’s t criterion for independent samples.

Уровень тревожности в контрольной и экспериментальной группах соответствовал умеренному как до выполнения тестовых заданий, так и после. Статистически достоверных различий также не обнаружено (критерий Ливиня: p >0,05; t-критерий Стьюдента для независимых выборок: p >0,05) (табл. 5).

Таблица 5. Средние значения показателей психодиагностической шкалы тревоги Спилбергера–Ханина в исследуемых группах (M±m)

Table 5. Average values of the Spielberger–Hanin psychodiagnostic anxiety scale in the study groups (M±m)

Показатель	Этап контроля	Линейное тестирование	Адаптивное тестирование	Статистическая значимость различий (p)*
Ситуативная тревожность	До	43,22±9,04	43,58±8,57	0,375
Ситуативная тревожность	После	43,24±9,81	42,99±9,48	0,739

Примечание. M — средняя арифметическая; m — среднеквадратическое отклонение. * t-критерий Стьюдента для независимых выборок.

Note. M — arithmetic mean; m — standard deviation. * Student’s t criterion for independent samples.

Общее число предложенных тестовых заданий в экспериментальной группе (АТ) составило 2460, из которых выполненных верно 1738 (70,61±16,96%), в контрольной группе (ЛТ) общее количество соответствовало 6000, из них 4031 (67,18±18,65%) верных ответов. По относительному количеству верных ответов к их общему числу между исследуемыми группами не выявлено статистически значимых различий (критерий Колмогорова–Смирнова: p <0,05; U-критерий Манна–Уитни: p=0,072).

Среднее время, затраченное студентами на полное выполнение линейных компьютерных тестов, составило 1358,52±697,99 сек, а адаптивных — 816,22±278,02 сек. Различия в исследуемых группах по временному параметру являются статистически значимыми (критерий Колмогорова–Смирнова: p <0,05; U-критерий Манна–Уитни: p=0,000).

ОБСУЖДЕНИЕ

Самооценка — тесно связанный с мотивацией к обучению компонент [16], который рассмотрен нами, в частности, с целью проверки гипотезы о влиянии типа тестирования на самооценку студентов. Является очевидным, что индивидуальная оптимизация уровня сложности тестовых заданий обеспечивает исключение заданий, обладающих большим стрессовым потенциалом для студента, что в рамках проведенного исследования не подтвердилось.

Не менее важным является эмоциональное состояние (тревожность), влияющее на производительность студентов и, как следствие, на успешность обучения [17–19]. Снижение производительности может возникнуть в результате стрессовых факторов, в том числе таких, как сложность заданий, их количество и дефицит времени для выполнения [20–22]. При этом полное отсутствие стресса у студентов может также снизить их результативность, в связи с чем тревожность должна поддерживаться на оптимальном уровне [17, 23]. Литературные данные касательно данного вопроса разнятся: результаты некоторых исследований свидетельствуют о негативном эффекте адаптивного подхода [24, 25], иные работы — об обратном [26].

Основываясь на полученных нами данных, можно заключить о равенстве воздействия рассмотренных методов тестирования на уровень тревоги испытуемых и, как следствие, сопоставимых значений успешности выполненных студентами тестовых заданий между исследуемыми группами. Различия в успеваемости, обусловленные уровнем эмоционального благополучия, могут проявляться на отдаленных сроках [17], однако в научной литературе не представлен сравнительный анализ адаптивного и линейного методов тестирования в данном аспекте, что свидетельствует о необходимости дальнейшего изучения данного вопроса.

При рассмотрении приведенного в настоящей работе низкого уровня самооценки и умеренной тревожности следует учитывать, что исследование проводилось в период ограничительных мер, связанных с пандемией COVID-2019, что неизбежно оказывало негативное воздействие на психологическое здоровье студентов [27, 28], в особенности медицинских вузов [29, 30], данной возрастной группы [31].

В работе применена наиболее простая стратегия адаптивного механизма работы алгоритма, что объясняет, вероятно, слабую выраженность различий между группами исследования. Тем не менее полученные результаты свидетельствуют о возможности его применения в образовательном процессе. Особенно важным преимуществом АТ является возможность сокращения времени, затрачиваемого на оценку уровня подготовленности студентов. Это позволяет выделять больше времени для формирования профессиональных умений на аудиторных практических занятиях. Однако на сегодняшний день существуют более совершенные и эффективные адаптивные алгоритмы, изучение которых будет реализовано на последующих этапах нашей работы.

Данная работа была направлена на определение целесообразности применения адаптивного тестового контроля уровня подготовленности студентов-медиков. Было достоверно определено, что для осуществления адаптивного тестового контроля требуется меньше времени по сравнению с линейным при прочих равных показателях эффективности оценки и эмоционального состояния студентов.

ЗАКЛЮЧЕНИЕ

По результатам исследования нами была определена целесообразность адаптивного подхода в структуре цифрового тестового контроля знаний студентов, обучающихся по специальности «Стоматология».

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ / ADDITIONAL INFO

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Funding source. This study was not supported by any external sources of funding.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Competing interests. The authors declare that they have no competing interests.

Вклад авторов. Все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией. Наибольший вклад распределен следующим образом: Р.Ш. Гветадзе, С.Д. Арутюнов — концептуализация; М.А. Мещерякова, М.В. Тимощенко — обработка данных; Я.Н. Харах, М.С. Галстян — формальный анализ; М.В. Тимощенко, М.С. Галстян — проведение исследования; Р.Ш. Гветадзе, Я.Н. Харах — методология; М.А. Мещерякова, В.М. Карпова — ресурсы; В.М. Карпова, С.Д. Арутюнов — контроль проведения исследования; Я.Н. Харах, В.М. Карпова, М.В. Тимощенко, М.С. Галстян написание — подготовка оригинального проекта; Р.Ш. Гветадзе, С.Д. Арутюнов, М.А. Мещерякова — редактирование.

Author contribution. R.Sh. Gvetadze, S.D. Arutyunov — conceptualization; M.A. Meshcheryakova, M.V. Timoshchenko — data processing; Ya.N. Kharakh, M.S. Galstyan — formal analysis; M.V. Timoshchenko, M.S. Galstyan — conducting research; R.Sh. Gvetadze, Ya.N. Kharakh — methodology; M.A. Meshcheryakova, V.M. Karpova — resources; V.M. Karpova, S.D. Arutyunov — control of the study; Ya.N. Kharakh, V.M. Karpova, M.V. Timoshchenko, M.S. Galstyan — writing preparation of the original project; R.Sh. Gvetadze, S.D. Arutyunov, M.A. Meshcheryakova — editing. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

¹ Дополнительные материалы размещены в открытом научном репозитории, доступном по ссылке https://osf.io/r9cpt/files/. Приложение 1 — исходный код компьютерного адаптивного алгоритма тестов; приложение 2 — исходный код электронной базы тестовых заданий для компьютерного адаптивного алгоритма тестов.