Доказательный подход к образованию на постсоветском пространстве: хватает ли данных?
Система образования является важнейшим социальным институтом в любом современном обществе. Для его эффективной работы принципиально важно, чтобы принятие управленческих решений основывалось на доказательном подходе. Трансформация содержания образовательных программ, внедрение новых технологий и любые другие изменения должны основываться на исследованиях, подтверждающих, что запланированные нововведения действительно работают в заданных условиях лучше всего. Однако на практике между исследованиями образования и политическими решениями существует огромный разрыв, который стал особенно хорошо заметен во время пандемии коронавируса, когда решения принимались без какой-либо даже формальной опоры на данные.
В международном контексте программы и меры, направленные на улучшение качества образования довольно хорошо представлены и описаны, но оценки их эффективности часто оказываются противоречивыми. Практика показывает, что предлагаемые в сфере образования меры, основанные на результатах отдельных исследований, нередко не приводят к повышению академических достижений учащихся. Поэтому до массового внедрения инноваций важно, как что драгоценные ресурсы и время не будут потрачены впустую.
Такой систематический подход к доказательным исследованиям образования наиболее развит в англоязычных странах, но интерес к нему постепенно возрастает и в Швеции, Нидерландах, Италии и Франции. В группе постсоветских стран — в том числе в России — этот подход пока не получил широкого признания и редко применяется на практике.
Чтобы восполнить этот пробел, команда исследователей из НИУ ВШЭ под руководством Сергея Косарецкого провела мета-анализ — систематизацию имеющихся данных об экспериментальных исследованиях, посвященных оценке эффективности различных программ и практик по повышению образовательных результатов учащихся на постсоветском пространстве.
Сергей Косарецкий, Юлия Керша, Мария Новикова и Юлия Мельник отобрали статьи и кандидатские диссертации, опубликованные с 1992 по 2023 годы в двух научных базах цитирований — Scopus и Google Scholar. В рассмотрение включались только те работы, которые содержали экспериментально подтвержденные результаты оценки эффективности образовательных интервенций. Мета-анализ таких публикаций был проведен в соответствии с международными стандартами PRISMA, призванными повысить качество работ, основанных на систематическом анализе исследований. Среди ключевых требований — прозрачное и подробное описание процедуры отбора работ, сбора количественных данных и представления результатов.
Всего в базах было найдено 262 публикации, 27 из которых соответствовали критериям отбора. Общая выборка наблюдений по всем отобранным исследованиям составила 14 853 учащихся с первого по девятый классы.
Программы, эффективность которых проверялась в исследованиях, отличались разнообразием и были условно разделены на три группы. В первую группу попали работы, посвященные трансформации педагогических практик для повышения качества образования: например, использование проблемного метода обучения и акцент в преподавании на проектно-исследовательской деятельности. В работах второй группы предлагалось использование современных технологий для обучения — в виде компьютерной адаптированной игры, медиатехнологий и интерактивного сторителлинга. Третьей группой — самой немногочисленной — стали предложения по дополнительным занятиям с детьми вне школьного времени.
Для расчета эффектов от описанных интервенций был использован статистический метод мета-анализа. Это процедура, которая позволяет привести данные разрозненных исследований к единой шкале. Для оценки результата при этом используются стандартные отклонения зависисмой переменной (SD). Поскольку каждый отдельный эксперимент может быть проведен с разной степенью достоверности, при расчете общих эффектов в рамках мета-анализа большее значение приобретут работы, проведенные с меньшей ошибкой измерения.
Анализ показал: рассмотренные в отобранных публикациях программы оказывают положительное влияние на показатели, измеряющие академические достижения и навыки учащихся. Средняя величина эффекта составляет 0,48 SD. Однако при сужении выборки до трех исследований, в которых использовалось случайное распределение учащихся (а это критически важная для достоверного результата эксперимента процедура), величина эффекта от программ снизилась до 0,07 SD, а сам эффект стал статистически незначимым.
Проведенная работа, по мнению авторов, может стать первым шагом на пути создания базы успешных и доказанно эффективных образовательных практик на постсоветском пространстве — для их распространения в будущем.
В то же время полученные результаты подчеркнули острую нехватку экспериментальных исследований для пополнения такой базы. Фактически, с 1992 года только три опубликованных исследования соответствовали стандартам проведения научного эксперимента. При этом данные рассмотренных работ свидетельствуют скорее о незначимых эффектах от предлагаемых программ с точки зрения достижений учащихся.
В чем причины дефицита доказательных исследований в образовании на постсоветском пространстве? И как можно сократить разрыв с другими странами по этому направлению прикладных разработок? Авторы планируют ответить на эти вопросы в своих будущих проектах.
Керша Юлия Дмитриевна