Problemas del análisis de la relación del contexto del aprendizaje y los resultados de las pruebas TIMSS

Introducción. Durante más de dos décadas, la Organización para la Cooperación y el Desarrollo Económico viene organizando una serie de estudios comparativos respecto a la calidad de la educación en diferentes países. Uno de ellos es el estudio de las tendencias en matemáticas y ciencias TIMSS (Trends in International Mathematics and Science Study), que se lleva a cabo en conjunto con la Asociación Internacional para la Evaluación del Rendimieto Educativo (IEA). El último, séptimo de la lista, ciclo de investigación efectuado en el año 2019. La estadística de las TIMSS se pública regularmente con libre acceso en la página de la IEA para que los especialistas puedan realizar sus investigaciones de manera autónoma en cualquier aspecto que sea de su interés. Una de las áreas de análisis en este caso, lo constituye tradicionalmente la búsqueda de causas de determinados resultados de las pruebas, que están definidas por las particularidades de la organización del proceso de aprendizaje y el contexto de la educación en diferentes países. A la vez, un estudio de la literatura profesional mostró, que uno de los factores del contexto social y escolar, cuyo análisis proporcionan los instrumentos de la investigación, solo una gama sumamente limitada de ellos resultó ser estadísticamente y demanera directa, relacionada con la puntuación de las TIMSS. Los especialistas sistemáticamente, se enfrentan a una ausencia inexplicable o a valores bajos de correlación de las puntuaciones de las pruebas TIMSS y los indicadores de contexto. La causa fundamental de tales dificultades, según nuestro punto de vista, es la falta de atención a las particularidades de los indicadores aplicados en el cálculo de medidas de relaciones estadísticas.

Objetivo de la investigación. Identificación de la relación estadística entre los resultados de las pruebas e indicadores del contexto de aprendizaje de los escolares, así como la influencia del sistema de recolección y procesamiento de información de las TIMSS en la productividad del análisis de los resultados del presente estudio.

Metodología, métodos y procesos de investigación. La base metodológica del trabajo es el enfoque sistemático, basado en la consideración de los resultados del estudio internacional de las TIMSS en su conjunto, es decir, un conjunto de elementos interrelacionados (organiza[1]ciones, herramientas, indicadores de evaluación, sistemas de puntuación). El trabajo se llevó a cabo sobre la base de procedimientos de investigación aplicada (observación, descripción, comparación, medición, etc.), dentro de los cuales se utilizaron también, métodos de investigación científica general (análisis comparativo, sistematización, generalización) y métodos de estudios estadísticos (análisis estadístico y de correlación, etc.). La fuente de información fue la base de datos internacional de pruebas electrónicas TIMSS-2019, dispuesta en el repositorio de la IEA. Los conjuntos de datos de las TIMSS se analizaron utilizando el complemento de analizador IEA International Database (IDB) para SPSS (versión 4.0). Resultados. Para la mayoría de los indicadores del contexto social y estudiantil de aprendizaje, la investigación encontró ausencia o bajo valor de las relaciones estadísticas con las puntuaciones de las TIMSS. De los indicadores de bienestar social y condiciones de apren[1]dizaje en el hogar previstos por los organizadores, solo la cantidad de libros en el hogar y la educación de los padres resultaron estar estadísticamente relacionados con los puntajes de las TIMSS, a partir de los indicadores de condiciones de aprendizaje en la escuela: La frecuencia de actividades independientes en el aula; a partir de factores motivacionales: Planes para continuar la educación y autoevaluación de los estudiantes sobre sus conocimientos matemáticos. Al mismo tiempo, incluso estos lazos resultaron ser débiles. Al final resultó que, las dificultades para detectar una correlación entre las puntuaciones de las TIMSS y las condiciones de apredizaje se deben a la naturaleza misma de las variables analizadas: 1) La naturaleza aproximada de las evaluaciones individuales de los estudiantes utilizadas en las TIMSS; 2) Baja diferenciación de los estudiantes según una serie de indicadores del contexto de aprendizaje; 3) La baja confiabilidad de la información obtenida de encuestas sociológicas hechas a los escolares.

Significado práctico. Los autores suponen que para mejorar la calidad del trabajo analí- tico sobre temas relevantes, es necesario prestar mucha atención a la parte que contiene las variables utilizadas en los cálculos estadísticos. A su vez, los organizadores de las TIMSS deben continuar mejorando los procedimientos de medición y los instrumentos de investigación mediante la introducción de criterios de éxito adicionales que reflejen los resultados individuales y comparables de los estudiantes en el ciclo de las TIMSS actual, así como indicadores de confiabilidad de la información contextual obtenida a través de medios sociológicos.

1. Ястребов Г. А., Пинская М. А., Косарецкий С. Г. Использование контекстных данных в системе оценки качества образования: опыт разработки и апробация инструментария // Вопросы образования. 2014. № 4. С. 58–95. DOI: 10.17323/1814-9545-2014-4-58-95

2. Lessani A., Yunus A., Tarmiz R., Mahmud R. Why Singaporean 8-th Grade Students Gain Highest Mathematics Ranking in TIMSS (1999–2011) // International Education Studies. 2014. Vol. 7, № 11 P. 173–181. Available from: https://web.archive.org/web/20170814020957id_/ http://files.eric.ed.gov/fulltext/EJ1071031.pdf (date of access: 15.05.2022).

3. Tajudin N., Chinnappan M. The Link between Higher Order Thinking Skills, Representation and Concepts in Enhancing TIMSS Tasks // International Journal of Instruction. 2016. Vol. 9, № 2, P. 199–214. Available from: https://www.e-iji.net/dosyalar/iji_2016_2_14.pdf (date of access: 15.05.2022).

4. Lin F. The Data Makes the Difference: How Chinese Taipei Used TIMSS Data to Reform Mathematics Education // International Association for the Evaluation of Educational Achievement Compass Briefs in Education. 2018. № 2. Available from: https://web.archive.org/web/20170814020957id_/http://files.eric.ed.gov/fulltext/ED588381.pdf (date of access: 15.05.2022).

5. Ковалева Г. С., Краснянская К. А., Пентин А. Ю., Садовщикова О. И. Какие новые результаты получены в рамках международного исследования TIMSS?2019 [Электрон. ресурс] // Отечественная и зарубежная педагогика. 2021. Т. 2, № 5 (79). С. 98–123. Режим доступа: https://www.elibrary.ru/download/elibrary_47228467_81809060.pdf (дата обращения: 17.08.2022).

6. Neidorf T., Arora A., Erberber E., Tsokodayi Y., Mai T. Student Misconceptions and Errors in Physics and Mathematics Exploring Data from TIMSS and TIMSS Advanced // IEA Research for Education. 2020 Vol. 9. Available from: https://web.archive.org/web/20200326175114id_/https://link.springer.com/content/pdf/10.1007/978-3-030-30188-0.pdf (date of access: 15.05.2022).

7. Tallberg C., Axelsson M. Exploring Coherence between Swedish Grades and TIMSS 2015 // IEA Compass: Briefs in Education. 2021. № 14. Available from: https://files.eric.ed.gov/fulltext/ED615156.pdf (date of access: 15.05.2022).

8. Naidoo Ja., Sibanda D. Examining Science Performance of South African Grade 9 Learners in TIMSS 2015 through a Gender Lens // South African Journal of Education. 2020. Vol. 40, № 12. article number 1717. Available from: https://pdfs.semanticscholar.org/b9ef/3a07ffa77c049c8ffe24dcfb85114cb66cc6.pdf (date of access: 15.05.2022).

9. Arends F., Visser M. The Contribution of South African Teachers to Students’ Sense of Belonging and Mathematics Achievement: Students’ Perspective from the 2015 Trends in International Mathematics and Science Study // South African Journal of Childhood Education. 2019. Vol. 9, № 1. article number 697. Available from: https://www.researchgate.net/profile/Mariette_Visser/publication/335609948_The_contribution_of_South_African_teachers_to_students_sense_of_belonging_and_mathematics_achievement_Students_perspective_from_the_2015_Trends_in_International_Mathematics_and_Science_Study/links/5d81dc2a458515fca1712977/The-contribution-of-South-African-teachers-to-students-sense-of-belonging-and-mathematics-achievement-Students-perspective-from-the-2015-Trends-in-International-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

10. Winnaar L., Arends F., Beku U. Reducing Bullying in Schools by Focusing on SchoolClimate and School Socio-Economic Status // South African Journal of Education. 2018. Vol. 38, № 10. article number 1596. Available from: https://www.timss-sa.org/wp-content/uploads/2021/07/Reducing-bullying-in-schools_-Winnaar-et-al_2018.pdf (date of access: 15.05.2022).

11. Albayrakoglu O., Yildirim S. School Characteristics Mediating the Relationship between School Socioeconomic Status and Mathematics Achievement // International Journal of Assessment Tools in Education. 2022. Vol. 9, № 1. P. 98–117. Available from: https://dergipark.org.tr/en/download/article-file/1308733 (date of access: 15.05.2022).

12. Mirazchiyski P. Response to «An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study» // Athens Journal of Education. 2019, Vol. 6, № 2. P. 145–158. Available from: https://www.athensjournals.gr/education/2019-6-2-4-Mirazchiyski.pdf (date of access: 15.05.2022).

13. Sanchez J., Ponce M. Physics-Mathematics Associations: Evidence from TIMSS Student Achievements // Science Education International. 2020. Vol. 31, № 9. P. 229–236. Available from: https://www.researchgate.net/profile/Joje-Mar-Sanchez/publication/344032111_Physics-Mathematics_Associations_Evidence_from_TIMSS_Student_Achievements/links/5f4ec37c299bf13a3196f335/Physics-Mathematics-Associations-Evidence-from-TIMSS-Student-Achievements.pdf (date of access: 15.05.2022).

14. Michaelides M., Brown G., Eklof H., Papanastasiou E. Motivational Profiles in TIMSS Mathematics: Exploring Student Clusters across Countries and Time // International Association for the Evaluation of Educational Achievement IEA Research for Education. IEA Research for Education. 2017. Vol. 7. Available from: https://library.oapen.org/bitstream/handle/20.500.12657/22955/1007205.pdf?sequence=1 (date of access: 15.05.2022).

15. Lee J., Chen M. Cross Country Predictive Validities of Non Cognitive Variables for Mathematics Achievement: Evidence Based on TIMSS 2015 // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 8. article number: em1725. Available from: https://www.ejmste.com/download/cross-country-predictive-validities-of-non-cognitive-variables-for-mathematics-achievement-evidence-7685.pdf (date of access: 15.05.2022).

16. Geesa R., Izci B., Song H., Chen S. Exploring Factors of Home Resources and Attitudes towards Mathematics in Mathematics Achievement in South Korea, Turkey, and the United States // EURASIA Journal of Mathematics, Science and Technology Education. 2019. Vol. 15, № 9. article number: em1751. Available from: https://www.ejmste.com/download/exploring-factors-of-home-resources-and-attitudes-towards-mathematics-in-mathematics-achievement-in-7708.pdf (date of access: 15.05.2022).

17. Koyuncu I. TIMSS International Benchmarks of Eighth Graders in Mathematics: A Correspondence Analysis Study // International Electronic Journal of Elementary Education. 2021. Vol. 14, № 2. P. 179–194. Available from: https://www.iejee.com/index.php/IEJEE/article/view/1701/563 (date of access: 15.05.2022).

18. Awang H., Hashim F., Salleh A., Tan L. The Influence of Mathematics Score and Student Factors on Science Achievement Using TIMSS Data // EURASIA Journal of Mathematics, Science and Technology Education. 2021. Vol. 17, № 6. article number: em1976. Available from: https://web.archive.org/web/20210528063623id_/https://www.ejmste.com/download/the-influence-of-mathematics-score-and-student-factors-on-science-achievement-using-timss-data-10931.pdf (date of access: 15.05.2022).

19. Mikk J. Students’ Homework and TIMSS 2003 Mathematics Results // International Conference Teaching Mathematics: Retrospective and Perspectives (7th, Tartu, Estonia, May 12–13, 2006). Tartu, 2006. Available from: https://web.archive.org/web/20200711224453id_/ https://files.eric.ed.gov/fulltext/ED491866.pdf (date of access: 15.05.2022).

20. Хавенсон Т. Е., Керша Ю. Д. Сравнительный анализ результатов тестов PISA и TIMSS в России и странах Европы [Электрон. ресурс] // Современная аналитика образования. № 1 (9) М.: НИУ ВШЭ, 2017. 32 с. Режим доступа: https://publications.hse.ru/pubs/share/folder/v01bj4pmvg/202102381.pdf (дата обращения: 17.08.2022).

21. Тюменева Ю. А., Хавенсон Т. Е. Характеристики учителей и достижения школьников. Применение метода first difference к данным TIMSS-2007 // Вопросы образования. 2012. № 3. С. 113–140 Режим доступа: https://publications.hse.ru/mirror/pubs/share/folder/hlfj5yukmf/direct/68454465 (дата обращения: 17.08.2022).

22. Ozdemir B. Equating TIMSS Mathematics Subtests with Nonlinear Equating Methods Using NEAT Design: Circle Arc Equating Approaches // International Journal of Progressive Education. 2017. Vol. 13, № 2. P. 116–132. Available from: https://ijpe.inased.org/files/2/manuscript/manuscript_241/ijpe-241-manuscript-111607.pdf (date of access: 05.05.2022).

23. Lim H., Sireci S. Linking TIMSS and NAEP Assessments to Evaluate International Trends in Achievement // Education Policy Analysis Archives. 2017. Vol. 25, № 11. P. 1–25 Available from: https://www.redalyc.org/pdf/2750/275050047011.pdf (date of access: 15.05.2022).

24. Wang Ji., Ma X. Rejoinder: Response To An Examination of Plausible Score Correlation from the Trend in Mathematics and Science Study // Athens Journal of Education. 2019. № 5. P.160–169. Available from: https://www.researchgate.net/profile/Jianjun-Wang-11/publication/330636150_Rejoinder_Response_to_An_Examination_of_Plausible_Score_Correlation_from_the_Trend_in_Mathematics_and_Science_Study/links/5e891ad3a6fdcca789f4945d/Rejoinder-Response-to-An-Examination-of-Plausible-Score-Correlation-from-the-Trend-in-Mathematics-and-Science-Study.pdf (date of access: 15.05.2022).

25. Wu M. The role of plausible values in large scale surveys // Studies in Educational Evaluation. 2005. № 31 P. 114–128. Available from: https://www.acer.org/files/plausiblevaluesinsee.pdf (date of access: 05.05.2022).

26. Davier M., Gonzalez E., Mislevy R. What are plausible values and why are they useful? // IERI Monograph series; Issues and Methodologies in large-scale Assessments. 2009. Vol. 2. P. 9–36 Available from: https://www.ierinstitute.org/fileadmin/Documents/IERI_Monograph/IERI_Monograph_Volume_02_Chapter_01.pdf (date of access: 05.05.2022).

27. Горшков М. К., Шереги Ф. Э. Прикладная социология: методология и методы. М.: Альфа, 2009. 416 с. Режим доступа: https://www.isras.ru/files/File/Prikl_Soc_full.pdf (дата обращения: 17.08.2022).

28. Гудвин Дж. Исследование в психологии: методы и планирование. СПб.: Питер, 2004. 558 с. Режим доступа: https://www.studmed.ru/view/gudvin-dzh-issledovanie-v-psihologii-metody-i-planirovanie_2fc857e1293.html (дата обращения: 17.08.2022).

29. Ilgun D. M. Effect of Extreme and Acquiescence Response Style in TIMSS 2015 // Eurasian Journal of Educational Research. 2020. № 87. P. 199–219. Available from: https://web.archive.org/web/20200721104047id_/http://ejer.com.tr/public/assets/catalogs/0206512001591274575.pdf (date of access: 15.05.2022).

30. Mullis I., Martin M., Davier M. TIMSS 2023 Assessment Frameworks // International Association for the Evaluation of Educational Achievement 2021. TIMSS & PIRLS International Study Center. 2021. 97 p. Available from: https://timss.bc.edu/timss2023/frameworks/pdf/T23_Frameworks.pdf (дата обращения: 01.05.2022).