Мета-анализ исследований как инструмент поиска прикладных решений: кейс образовательной успешности школьников

Один из факторов, влияющих на социальное развитие страны в долгосрочной перспективе, — это эффективность системы образования на всех ее уровнях, начиная со школьного. Изучением этого направления в рамках стратегического проекта «Социальная политика устойчивого развития и инклюзивного экономического роста» занимается команда исследователей Института образования НИУ ВШЭ. В 2022 году сотрудницы Центра общего и дополнительного образования имени Пинского Юлия Керша, Юлия Мельник и Мария Новикова использовали пока что редкий в российской практике инструмент — мета-анализ — для выявления наиболее перспективных мер, направленных на повышение образовательных результатов школьников.

Unsplash

Проблема образовательной неуспешности в России до сих пор актуальна. В 2018 году, по данным PISA, почти 30% школьников не достигали минимального порогового уровня грамотности хотя бы по одному предмету (чтение, математика, естествознание), а около 13% — по всем трем предметам. Здесь появляется негативный тренд: доля отстающих возросла по сравнению с 2015 годом. Эта проблема важна в связке с социально-экономическим неравенством. Так, жизненные шансы академически неуспешных учащихся снижаются за счет накопления отставания еще в школе, а в перспективе высокая доля таких детей создает предпосылки для ускоренного формирования социально исключенных групп.

Поиск эффективных мер для роста академических достижений требует экспериментальных исследований, то есть доказательного подхода: только эксперимент способен показать, что результат дает действительно та или иная программа, а не контекстные условия или исходные различия школьников. Отдельные эмпирические исследования не решают проблему комплексно. Как правило, они затрагивают при проверке лишь часть возможных практик по повышению образовательной успешности, программ и факторов, а кроме этого — обычно имеют небольшую выборку. Анализ таких работ по одним и тем же программам нередко дает противоречивые результаты.

Поэтому исследователи ВШЭ решили использовать мета-анализ — подход, позволяющий систематизировать уже проведенные эмпирические исследования и рассчитать по ним средние эффекты, значительно увеличив при этом общую выборку наблюдений. С помощью мета-анализа авторы этого проекта искали ответ на два вопроса:

1. Какие факторы связаны с академическими достижениями учащихся?
2. Какие меры и программы положительно влияют на академические достижения учащихся?

В обоих случаях работы на соответствующие темы отбирались в базах научных публикаций (Google Scholar, Scopus). Затем исследователи анализировали результаты расчетов отдельных исследований с помощью статистических инструментов. В итоговую базу по первому вопросу вошли 21 публикация и 230 измерений эффекта (переменных). В выборку попали 366 300 учащихся от младшей до старшей школы. По второму — 27 работ (требования к ним строже: отбирались исследования только с экспериментами) и 14 853 учащихся.

Какие факторы связаны с академическими достижениями учащихся?

Анализ данных по этому вопросу показал, что размеры эффектов в разных группах факторов значительно отличаются. Самый сильный фактор — когнитивные характеристики ребенка. Они наиболее тесно связаны с высокими достижениями в школе (размер эффекта 0,31). На втором месте — нейро-психологические характеристики, в частности навыки пространственного мышления (0,23). Гораздо менее значимыми оказались эффекты демографических, социально-экономических и семейных характеристик (0,17, 0,13 и 0,06 соответственно).

Какие меры и программы положительно влияют на академические достижения учащихся?

Меры, направленные на повышение академических достижений учащихся, исследователи разделили на три типа. Как выяснилось, наибольший эффект дают педагогические технологии, предполагающие изменение практик преподавания (0,57). Это, например, игры и другие инструменты повышения вовлеченности учащихся, методические разработки авторов, акцент на проектно-исследовательской деятельности. Размер эффекта дополнительного образования получился средним — 0,38; но работ в этой области мало, подобные технологии используется нечасто. А вот использование современных технологий (онлайн-обучение, различные платформы, интерактивные методы) заняло последнее место (0,29).

Также читайте

Причины неуспешности у школьников и методы работы с ней — взгляд педагогов-психологов

Выводы работы

По итогам проведенного мета-анализа исследователи пришли к следующим заключениям:

• Доказательная база для внедрения мер по повышению академических достижений учащихся пока не сформирована, такая проверка в исследованиях сейчас не проводится.
• Работ, посвященных проверке предлагаемых мер с применением экспериментальных исследований для оценки их эффективности, мало. За рассмотренный 30-летний период только три исследования были проведены с полным соблюдением экспериментального подхода.
• При этом публикаций, фиксирующих предложения по самим мерам, довольно много.

Результаты этой работы были представлены 15 марта 2023 года на вебинаре, организованном Институтом образования и Московским государственным психолого-педагогическим университетом. Мероприятие прошло в рамках постоянно действующего семинара «Школьная неуспешность: профилактика, диагностика, преодоление». Запись вебинара доступна по ссылке: вебинар «Факторы и программы преодоления образовательной неуспешности: метаанализ российских исследований».

В перспективе в рамках проекта запланирован новый этап работы — с использованием дополнительных баз, охватывающий 1018 публикаций на постсоветском пространстве.