Проблемы анализа связей контекста обучения и результатов тестирования TIMSS

Введение. Уже более двух десятков лет Организация экономического сотрудничества и развития организует проведение ряд сопоставительных исследований качества образования разных стран. Одним из них является исследование математического и естественнонаучного образования TIMSS (Trends in International Mathematics and Science Study), которое проводится совместно с Международной ассоциацией по оценке образовательных достижений (IEA). Последний, седьмой по счету, цикл исследования был проведен в 2019 г. Статистика TIMSS регулярно размещается в открытом доступе на сайте IEA с тем, чтобы специалисты могли самостоятельно провести изыскания в любом интересующем их аспекте. Одним из направлений анализа при этом традиционно является поиск причин тех или иных результатов тестирования, которые определяются особенностями организации образовательного процесса и контекстом обучения в разных странах. Вместе с тем изучение профессиональной литературы показало, что из факторов социального и школьного контекста, анализ которых предусматривает инструментарий исследования, непосредственно с баллами TIMSS оказался статистически связан лишь крайне ограниченный их круг. Специалисты систематически сталкиваются с труднообъяснимым отсутствием или низкими значениями корреляции тестовых баллов TIMSS и показателей контекста. Основной причиной таких затруднений, на наш взгляд, является невнимание к особенностям индикаторов, применяемых в расчетах мер статистических связей.

Цель настоящего исследования – выявление статистической связи результатов тестирования и показателей контекста обучения школьников, а также влияния системы сбора и обработки информации TIMSS на продуктивность анализа итогов данного исследования.

Методология и методика исследования. Методологической основой работы является системный подход, в основе которого лежит рассмотрение результатов международного исследования TIMSS как целого, то есть комплекса взаимосвязанных элементов (организации, инструментария, индикаторов оценки, системы подсчета баллов). Работа проведена на основе процедур прикладного исследования (наблюдение, описание, сравнение, измерение и т. д.), в рамках которого использовались также общенаучные (сравнительный анализ, систематизация, обобщение) и статистические методы исследования (статистический и корреляционный анализ и др.). Источником информации послужила Международная база данных электронного тестирования TIMSS-2019, размещенная на репозитории IEA. Наборы данных TIMSS были проанализированы с использованием подключаемого к программе SPSS модуля-анализатора Международной базы данных (IDB) IEA (версия 4.0).

Результаты. Исследование обнаружило по большинству показателей социального и ученического контекста обучения отсутствие или низкое значение статистических связей с баллами TIMSS. Из предусмотренных организаторами индикаторов социального благополучия и домашних условий обучения с баллами TIMSS оказались статистически связаны лишь количество книг в доме и образование родителей, из показателей условий обучения в школе – частота самостоятельной работы на уроках, из мотивационных факторов – планы продолжить образование и самооценка учащимися уровня своих математических знаний. При этом даже названные связи оказались слабыми. Как выяснилось, сложности обнаружения корреляции баллов TIMSS и условий обучения вызваны самой сущностью анализируемых переменных: 1) приблизительный характер индивидуальных оценок школьников, применяемый в TIMSS; 2) низкая дифференциация учащихся по ряду индикаторов контекста обучения; 3) невысокая достоверность сведений, получаемых при социологических опросах школьников.

Практическая значимость. Авторы полагают, что для повышения качества аналитических работ соответствующей тематики необходимо уделять самое пристальное внимание содержательной стороне используемых в статистических расчетах переменных. В свою очередь организаторам TIMSS необходимо продолжить совершенствование измерительных процедур и инструментария исследования путем введения дополнительных критериев успешности, отражающих индивидуальные и сопоставимые между собой результаты учащихся в текущем цикле TIMSS, а также индикаторов достоверности контекстной информации, получаемой социологическим путем.

1. Ястребов Г. А., Пинская М. А., Косарецкий С. Г. Использование контекстных данных в системе оценки качества образования: опыт разработки и апробация инструментария // Вопросы образования. 2014. № 4. С. 58–95. DOI: 10.17323/1814-9545-2014-4-58-95

2. Lessani A., Yunus A., Tarmiz R., Mahmud R. Why Singaporean 8-th Grade Students Gain Highest Mathematics Ranking in TIMSS (1999–2011) // International Education Studies. 2014. Vol. 7, № 11 P. 173–181. Available from: https://web.archive.org/web/20170814020957id_/ http://files.eric.ed.gov/fulltext/EJ1071031.pdf (date of access: 15.05.2022).

3. Tajudin N., Chinnappan M. The Link between Higher Order Thinking Skills, Representation and Concepts in Enhancing TIMSS Tasks // International Journal of Instruction. 2016. Vol. 9, № 2, P. 199–214. Available from: https://www.e-iji.net/dosyalar/iji_2016_2_14.pdf (date of access: 15.05.2022).

4. Lin F. The Data Makes the Difference: How Chinese Taipei Used TIMSS Data to Reform Mathematics Education // International Association for the Evaluation of Educational Achievement Compass Briefs in Education. 2018. № 2. Available from: https://web.archive.org/web/20170814020957id_/http://files.eric.ed.gov/fulltext/ED588381.pdf (date of access: 15.05.2022).

5. Ковалева Г. С., Краснянская К. А., Пентин А. Ю., Садовщикова О. И. Какие новые результаты получены в рамках международного исследования TIMSS?2019 [Электрон. ресурс] // Отечественная и зарубежная педагогика. 2021. Т. 2, № 5 (79). С. 98–123. Режим доступа: https://www.elibrary.ru/download/elibrary_47228467_81809060.pdf (дата обращения: 17.08.2022).

6. Neidorf T., Arora A., Erberber E., Tsokodayi Y., Mai T. Student Misconceptions and Errors in Physics and Mathematics Exploring Data from TIMSS and TIMSS Advanced // IEA Research for Education. 2020 Vol. 9. Available from: https://web.archive.org/web/20200326175114id_/https://link.springer.com/content/pdf/10.1007/978-3-030-30188-0.pdf (date of access: 15.05.2022).

7. Tallberg C., Axelsson M. Exploring Coherence between Swedish Grades and TIMSS 2015 // IEA Compass: Briefs in Education. 2021. № 14. Available from: https://files.eric.ed.gov/fulltext/ED615156.pdf (date of access: 15.05.2022).

8. Naidoo Ja., Sibanda D. Examining Science Performance of South African Grade 9 Learners in TIMSS 2015 through a Gender Lens // South African Journal of Education. 2020. Vol. 40, № 12. article number 1717. Available from: https://pdfs.semanticscholar.org/b9ef/3a07ffa77c049c8ffe24dcfb85114cb66cc6.pdf (date of access: 15.05.2022).

9. Arends F., Visser M. The Contribution of South African Teachers to Students’ Sense of Belonging and Mathematics Achievement: Students’ Perspective from the 2015 Trends in International Mathematics and Science Study // South African Journal of Childhood Education. 2019. Vol. 9, № 1. article number 697. Available from: https://www.researchgate.net/profile/Mariette_Visser/publication/335609948_The_contribution_of_South_African_teachers_to_students_sense_of_belonging_and_mathematics_achievement_Students_perspective_from_the_2015_Trends_in_International_Mathematics_and_Science_Study/links/5d81dc2a458515fca1712977/The-contribution-of-South-African-teachers-to-students-sense-of-belonging-and-mathematics-achievement-Students-perspective-from-the-2015-Trends-in-International-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

10. Winnaar L., Arends F., Beku U. Reducing Bullying in Schools by Focusing on SchoolClimate and School Socio-Economic Status // South African Journal of Education. 2018. Vol. 38, № 10. article number 1596. Available from: https://www.timss-sa.org/wp-content/uploads/2021/07/Reducing-bullying-in-schools_-Winnaar-et-al_2018.pdf (date of access: 15.05.2022).

11. Albayrakoglu O., Yildirim S. School Characteristics Mediating the Relationship between School Socioeconomic Status and Mathematics Achievement // International Journal of Assessment Tools in Education. 2022. Vol. 9, № 1. P. 98–117. Available from: https://dergipark.org.tr/en/download/article-file/1308733 (date of access: 15.05.2022).

12. Mirazchiyski P. Response to «An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study» // Athens Journal of Education. 2019, Vol. 6, № 2. P. 145–158. Available from: https://www.athensjournals.gr/education/2019-6-2-4-Mirazchiyski.pdf (date of access: 15.05.2022).

13. Sanchez J., Ponce M. Physics-Mathematics Associations: Evidence from TIMSS Student Achievements // Science Education International. 2020. Vol. 31, № 9. P. 229–236. Available from: https://www.researchgate.net/profile/Joje-Mar-Sanchez/publication/344032111_Physics-Mathematics_Associations_Evidence_from_TIMSS_Student_Achievements/links/5f4ec37c299bf13a3196f335/Physics-Mathematics-Associations-Evidence-from-TIMSS-Student-Achievements.pdf (date of access: 15.05.2022).

14. Michaelides M., Brown G., Eklof H., Papanastasiou E. Motivational Profiles in TIMSS Mathematics: Exploring Student Clusters across Countries and Time // International Association for the Evaluation of Educational Achievement IEA Research for Education. IEA Research for Education. 2017. Vol. 7. Available from: https://library.oapen.org/bitstream/handle/20.500.12657/22955/1007205.pdf?sequence=1 (date of access: 15.05.2022).

15. Lee J., Chen M. Cross Country Predictive Validities of Non Cognitive Variables for Mathematics Achievement: Evidence Based on TIMSS 2015 // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 8. article number: em1725. Available from: https://www.ejmste.com/download/cross-country-predictive-validities-of-non-cognitive-variables-for-mathematics-achievement-evidence-7685.pdf (date of access: 15.05.2022).

16. Geesa R., Izci B., Song H., Chen S. Exploring Factors of Home Resources and Attitudes towards Mathematics in Mathematics Achievement in South Korea, Turkey, and the United States // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 9. article number: em1751. Available from: https://www.ejmste.com/download/exploring-factors-of-home-resources-and-attitudes-towards-mathematics-in-mathematics-achievement-in-7708.pdf (date of access: 15.05.2022).

17. Koyuncu I. TIMSS International Benchmarks of Eighth Graders in Mathematics: A Correspondence Analysis Study // International Electronic Journal of Elementary Education. 2021. Vol. 14, № 2. P. 179–194. Available from: https://www.iejee.com/index.php/IEJEE/article/view/1701/563 (date of access: 15.05.2022).

18. Awang H., Hashim F., Salleh A., Tan L. The Influence of Mathematics Score and Student Factors on Science Achievement Using TIMSS Data // EURASIA Journal of Mathematics, Science and Technology Education. 2021. Vol. 17, № 6. article number: em1976. Available from: https://web.archive.org/web/20210528063623id_/https://www.ejmste.com/download/the-influence-of-mathematics-score-and-student-factors-on-science-achievement-using-timss-data-10931.pdf (date of access: 15.05.2022).

19. Mikk J. Students’ Homework and TIMSS 2003 Mathematics Results // International Conference Teaching Mathematics: Retrospective and Perspectives (7th, Tartu, Estonia, May 12–13, 2006). Tartu, 2006. Available from: https://web.archive.org/web/20200711224453id_/ https://files.eric.ed.gov/fulltext/ED491866.pdf (date of access: 15.05.2022).

20. Хавенсон Т. Е., Керша Ю. Д. Сравнительный анализ результатов тестов PISA и TIMSS в России и странах Европы [Электрон. ресурс] // Современная аналитика образования. № 1 (9) М.: НИУ ВШЭ, 2017. 32 с. Режим доступа: https://publications.hse.ru/pubs/share/folder/v01bj4pmvg/202102381.pdf (дата обращения: 17.08.2022).

21. Тюменева Ю. А., Хавенсон Т. Е. Характеристики учителей и достижения школьников. Применение метода first difference к данным TIMSS-2007 // Вопросы образования. 2012. № 3. С. 113–140 Режим доступа: https://publications.hse.ru/mirror/pubs/share/folder/hlfj5yukmf/direct/68454465 (дата обращения: 17.08.2022).

22. Ozdemir B. Equating TIMSS Mathematics Subtests with Nonlinear Equating Methods Using NEAT Design: Circle Arc Equating Approaches // International Journal of Progressive Education. 2017. Vol. 13, № 2. P. 116–132. Available from: https://ijpe.inased.org/files/2/manuscript/manuscript_241/ijpe-241-manuscript-111607.pdf (date of access: 05.05.2022).

23. Lim H., Sireci S. Linking TIMSS and NAEP Assessments to Evaluate International Trends in Achievement // Education Policy Analysis Archives. 2017. Vol. 25, № 11. P. 1–25 Available from: https://www.redalyc.org/pdf/2750/275050047011.pdf (date of access: 15.05.2022).

24. Wang Ji., Ma X. Rejoinder: Response To An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study // Athens Journal of Education. 2019. № 5. P.160–169. Available from: https://www.researchgate.net/profile/Jianjun-Wang-11/publication/330636150_Rejoinder_Response_to_An_Examination_of_Plausible_Score_Correlation_from_the_Trend_in_Mathematics_and_Science_Study/links/5e891ad3a6fdcca789f4945d/Rejoinder-Response-to-An-Examination-of-Plausible-Score-Correlation-from-the-Trend-in-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

25. Wu M. The role of plausible values in large scale surveys // Studies in Educational Evaluation. 2005. № 31 P. 114–128. Available from: https://www.acer.org/files/plausiblevaluesinsee.pdf (date of access: 05.05.2022).

26. Davier M., Gonzalez E., Mislevy R. What are plausible values and why are they useful? // IERI Monograph series; Issues and Methodologies in large-scale Assessments. 2009. Vol. 2. P. 9–36 Available from: https://www.ierinstitute.org/fileadmin/Documents/IERI_Monograph/IERI_Monograph_Volume_02_Chapter_01.pdf (date of access: 05.05.2022).

27. Горшков М. К., Шереги Ф. Э. Прикладная социология: методология и методы. М.: Альфа, 2009. 416 с. Режим доступа: https://www.isras.ru/files/File/Prikl_Soc_full.pdf (дата обращения: 17.08.2022).

28. Гудвин Дж. Исследование в психологии: методы и планирование. СПб.: Питер, 2004. 558 с. Режим доступа: https://www.studmed.ru/view/gudvin-dzh-issledovanie-v-psihologii-metody-i-planirovanie_2fc857e1293.html (дата обращения: 17.08.2022).

29. Ilgun D. M. Effect of Extreme and Acquiescence Response Style in TIMSS 2015 // Eurasian Journal of Educational Research. 2020. № 87. P. 199–219. Available from: https://web.archive.org/web/20200721104047id_/http://ejer.com.tr/public/assets/catalogs/0206512001591274575.pdf (date of access: 15.05.2022).

30. Mullis I., Martin M., Davier M. TIMSS 2023 Assessment Frameworks // International Association for the Evaluation of Educational Achievement 2021. TIMSS & PIRLS International Study Center. 2021. 97 p. Available from: https://timss.bc.edu/timss2023/frameworks/pdf/T23_Frameworks.pdf (дата обращения: 01.05.2022).