Preview

Образование и наука

Расширенный поиск

Оценивание в образовании: современные тенденции, проблемы и противоречия (обзор научных публикаций)

https://doi.org/10.17853/1994-5639-2021-6-43-83

Полный текст:

Аннотация

Введение. Современные взгляды на цели и содержание образования во всем мире меняют точку зрения и на оценивание в образовании: значительно расширяются его цели и функции, внедряются новые формы и инструменты оценивания, пересматриваются роли обучающихся и педагогов в оценочной практике. Мировые тенденции в области образовательной оценки находят свое отражение в национальных системах образования, многие из которых осуществили переход на критериальное оценивание. Этот процесс сопровождается стремительным ростом объема научно-методических публикаций по данной проблеме, уменьшая возможности ученых и практикующих педагогов осмыслить совокупные свидетельства в данной области исследований, что представляется важным на этапе реформирования. Решению данной проблемы может способствовать аналитический обзор источников, представляющий обобщение международного опыта развития оценивания в образовании.

Цель статьи - на основе анализа научных публикаций осмыслить и обобщить современные тенденции, сложившиеся в мировой теории и практике оценивания образовательных результатов обучающихся, выявить проблемы и противоречия как потенциальную основу возникновения рисков в оценочных практиках, определить актуальные направления исследований по совершенствованию оценивания в образовании.

Материалы и методы. Материалами для исследования послужили научные публикации последних 30 лет, раскрывающие вопросы образовательного оценивания. Отбор источников осуществлялся методами дескриптивного и библиометрического анализа. В работе с содержанием материалов применялись сравнительный и аспектный анализ.

Результаты. Широкий диапазон целей оценивания подтверждает значимость оценки как компонента образовательной системы, но при этом влечет за собой возникновение противоречий между отдельными целями, которые проявляются в оценочных дихотомиях: формирующее и суммирующее оценивание, оценка по норме и оценка по критерию. Несмотря на противопоставление формирующей и суммирующей оценок, проведенный анализ свидетельствует о необходимости их интеграции. Многообразие теоретических подходов к толкованию форм оценивания, неоднозначное определение и использование терминологии, множественность моделей критериального оценивания, качественно различных подходов к разработке критериев и созданию на их основе оценочных рубрик являются источниками рисков, проявляющихся в практике образовательного оценивания. Кроме того, препятствием на пути обеспечения эффективного оценивания учебных достижений обучающихся является недостаточный уровень компетентности педагогов как оценщиков, неготовность самих учащихся к принятию на себя ответственности за результаты своего обучения.

Научная новизна. С критических позиций представлены идеи и обобщены результаты дискуссий по проблемам оценки образовательных результатов обучающихся в научных источниках. Проведенный анализ может выступить основой для дальнейших исследований с целью построения упорядоченной теоретической базы оценивания в образовании.

Практическая значимость. Анализ плюсов и минусов международного опыта в области оценивания в образовании может послужить обретению ученым и практикующими педагогами более объективного взгляда на новые подходы к оцениванию образовательных результатов обучающихся, что будет способствовать минимизации проявления возможных рисков при разработке инструментов и процедур оценивания и внедрении их в образовательную практику.

Об авторах

И. Б. Шмигирилова
Северо-Казахстанский государственный университет им. М. Козыбаева
Казахстан

Шмигирилова Ирина Борисовна - кандидат педагогических наук, доцент кафедры математики и информатики, Scopus ID 57210787308, Researcher ID O-9939-2018.

Петропавловск



А. С. Рванова
Северо-Казахстанский государственный университет им. М. Козыбаева
Казахстан

Рванова Алла Сергеевна - кандидат педагогических наук, доцент кафедры математики и информатики.

Петропавловск



О. В. Григоренко
Сибирский государственный университет геосистем и технологий
Россия

Григоренко Ольга Викторовна - кандидат физико-математических наук, доцент, заведующая кафедрой высшей математики, Researcher ID AAO-9344-2020.

Новосибирск



Список литературы

1. Taras M. Assessment for Learning: understanding theory to improve practice // Journal of Further and Higher Education. 2007. Vol. 31 (4). P. 363-371. DOI: 10.1080/03098770701625746

2. Ball S. Introduction: The Great Education Debate (1976-2016) // In: The education debate. 3rd ed. Bristol, UK; Chicago, IL, USA: Bristol University Press, 2017. P. 1-12. Available from: https://discovery.ucl.ac.uk/id/eprint/10018968/1/250102.pdf (date of ac-cess:19.08.2020).

3. Palmatier R. W., Houston M. B., Hulland J. Review articles: purpose, process, and structure // Journal of the Academy of Marketing Science. 2018. Vol. 46. P. 1-5. DOI: 10.1007/s11747-017-0563-4

4. Baird J., Hopfenbeck T. N., Newton P. E., Steen-Utheim A. T. State of the Field Review: Assessment and Learning, Oxford University Centre for Educational Assessment Report OUCEA/14/2. 2014. Available from: https://www.researchgate.net/publication/263654863 (date of access: 21.08.2020).

5. Bennett R. E. Formative assessment: a critical review // Assessment in Education: Principles, Policy and Practice. 2011. Vol. 18 (1). P. 5-25. DOI: 10.1080/0969594X.2010.513678

6. Lau A. M. Formative good, summative bad? - A review of the dichotomy in assessment literature // Journal of Further and Higher Education. 2016. Vol. 40 (4). P. 509-525. DOI: 10.1080/0309877X.2014.984600

7. Gikandi J. W., Morrowa D., Davisa N .E. Online formative assessment in higher education: A review of the literature // Computers & Education. 2011. Vol. 57 (4). P. 2333-2351 DOI: 10.1016/j.compedu.2011.06.004

8. Бодоньи М. А. Зарубежный и отечественный опыт использования современных технологий в формирующем оценивании [Электрон. ресурс] // Отечественная и зарубежная педагогика. 2020. Т. 1. № 3 (68). С. 78-95. Режим доступа: https://publications.hse.ru/mirror/pubs/share/direct/382850089.pdf (дата обращения: 23.07.2020).

9. Pepper D. KeyCoNet. 2013 Literature Review: Assessment for key competences. 2013. 35 p. Available from: http://keyconet.eun.org/c/document_library/get_file?uuid=b1475317-108c-4cf5-a650-dae772a7d943&groupId=11028 (date of access: 12.07.2020).

10. Siarova H., Sternadel D., Mašidlauskaitė R. Assessment practices for 21st century learning: review of evidence, NESET II report. Luxembourg: Publications Office of the European Union. 2017. Available from: https://nesetweb.eu/wp-content/uploads/2019/06/AR1_20172.pdf (date of access: 08.07.2020).

11. Потемкина Т. В., Пуденко Т. И. Независимая оценка качества образования: общественная экспертиза в зарубежной и отечественной практике // Образование и наука. 2015. № 10 (129). С. 64-79. DOI:10.17853/1994-5639-2015-10-64-79

12. DeLuca C., LaPointe-McEwan D., Luhanga U. Teacher assessment literacy: A review of international standards and measures // Educational Assessment, Evaluation and Accountability. 2016. Vol. 28 (3). P. 251-272. DOI: 10.1007/s11092-015-9233-6

13. Темняткина О. В., Токменинова Д. В. Современные подходы к оценке эффективности работы учителей. Обзор зарубежных публикаций // Вопросы образования. 2018. № 3. С. 180-193. DOI: 10.17323/1814-9545-2018-3-180-195

14. Шадриков В. Д., Шадрикова И. А., Педагогическое оценивание: учебное пособие [Электрон. ресурс] Москва: Университетская книга. 2018. 156 с. Режим доступа: https://publications.hse.ru/mirror/pubs/share/direct/286820966.pdf (дата обращения: 07.12.2020). 15. Harlen W. On the relationship between assessment for formative and summative purposes // Assessment and Learning. 2nd ed. London: Sage, 2012. P. 87-102. Available from: http://sk.sagepub.com/books/assessment-and-learning-2e/n6.xml (date of access: 21.07.2020).

15. Newton P. E. Clarifying the purposes of educational assessment // Assessment in Education: Principles, Policy & Practice. 2007. Vol. 14 (2). P. 149-170. DOI: 10.1080/09695940701478321

16. Archer E. The Assessment Purpose Triangle: Balancing the Purposes of Educational Assessment // Frontiers Education. 2017. Vol. 4. Article 41. Available from: https://www.frontiersin.org/articles/10.3389/feduc.2017.00041/fun (date of access: 23.07.2020). DOI: 10.3389/feduc.2017.00041

17. Black P., Wiliam D. Assessment and classroom learning // Assessment in Education: Principles, Policy & Practice. 1998. Vol. 5 (1). P. 7-74. DOI: 10.1080/0969595980050102

18. Black P., Wiliam D. Developing the theory of formative assessment // Educational Assessment Evaluation and Accountability. 2009. Vol. 21 (1). P. 5-31. DOI: 10.1007/s11092-008-9068-5

19. Black P. Formative assessment - an optimistic but incomplete vision // Assessment in Education: Principles, Policy & Practice. 2015. Vol. 22 (1). P. 161-177. DOI: 10.1080/0969594X.2014.999643

20. Dixson D. D., Worrell F. C. Formative and Summative Assessment in the Classroom // Theory Into Practice. 2016. Vol. 55 (2). P. 153-159. DOI: 10.1080/00405841.2016.1148989

21. Пинская М. А. Формирующее оценивание: оценивание в классе [Электрон. ресурс]. Москва: Логос, 2010. 264 с. Режим доступа: http://school257-newiz.ucoz.ru/dok/formirujushhee_ocenivanie-avtor_m.a-pinskaja.pdf (дата обращения: 23.07.2020).

22. Harlen W. Teachers’ summative practices and assessment for learning-tensions and synergies // The Curriculum Journal. 2005. Vol. 16 (2). P. 207-223. DOI: 10.1080/09585170500136093

23. Newton P. E. Validity, purpose and the recycling of results from educational Assessment // Assessment and Learning. 2nd ed. London: Sage, 2012. P. 264-276. Available from: http://sk.sagepub.com/books/assessment-and-learning-2e/n16.xml (date of access: 21.07.2020).

24. Sadler D. R. Formative assessment and the design of instructional systems // Instructional Science. 1989. Vol. 18. P. 119-144. Available from: http://michiganassess-mentconsortium.org/wp-content/uploads/Formative-Assessment-and-Design-of-Instruction-al-Systems.pdf (date of access: 25.07.2020).

25. Taras M. Assessment - Summative and Formative - some theoretical reflections // British Journal of Educational Studies. 2005. Vol. 53 (3). P. 466-478. DOI: 10.1111/j.1467-8527.2005.00307.x

26. Sjogren A. The long run consequences of being graded in elementary school: paper presented at the Final Conference of the RTN Network “Economic of Education and Education Policy in Europe” (EEEPE). London: LSE, 2009. Available from: https://www.researchgate.net/publication/46470357 (date of access: 29.07.2020).

27. Butt G. Making Assessment Matter. London: Bloomsbury Continuum, 2010. 156 p. Available from: https://scholar.google.com/citations?user=ptgvb4wAAAAJ&hl=en (date of access: 28.07.2020).

28. Silfver E., Sjoberg G., Bagger A. An ‘appropriate’ test taker: the everyday classroom during the national testing period in school year three in Sweden // Ethnography and Education. 2016. Vol. 11 (3). P. 237-252. DOI: 10.1080/17457823.2015.1085323

29. Courtney S. Post-panopticism and school inspection in England // British Journal of Sociology of Education. 2016. Vol. 37 (4). P. 623-642. DOI: 10.1080/01425692.2014.965806

30. Болотов В. А. Прошлое, настоящее и возможное будущее российской системы оценки качества образования // Вопросы образования. 2018. № 3. С. 287-297. DOI: 10.17323/1814-9545-2018-3-287-297

31. Шаповалова О. Н., Ефремова Н. Ф. Дидактический потенциал формирующего оценивания метапредметных результатов школьников: российский и зарубежный опыт [Электрон. ресурс] // Мир науки. Педагогика и психология. 2019. Т. 7. № 6. Режим доступа: https://mir-nauki.com/PDF/94PDMN619.pdf (дата обращения: 22.08.2020).

32. Четвертных Т. В. Метапредметное содержание формирующего оценивания // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2019. № 2. С. 21-25. DOI: 10.34216/2073-1426-2019-25-2-21-25

33. Cisterna D., Gotwals A.W. Enactment of Ongoing Formative Assessment: Challenges and Opportunities for Professional Development and Practice // Journal of Science Teacher Education. 2018. Vol. 29 (3). P. 200-222. DOI: 10.1080/1046560X.2018.1432227

34. Hill J., West H. Improving the student learning experience through dialogic feed-forward assessment // Assessment & Evaluation in Higher Education. 2020. Vol. 45(1). P. 82-97. DOI: 10.1080/02602938.2019.1608908

35. Phelps R. P. Synergies for better learning: an international perspective on evaluation and assessment // Assessment in Education: Principles, Policy & Practice. 2014. Vol. 21 (4). P. 481-493. DOI: 10.1080/0969594X.2014.921091

36. Torrance H. Formative assessment at the crossroads: Conformative, deformative and transformative assessment // Oxford Review of Education. 2012. Vol. 38 (3). P. 323-342. DOI: 10.1080/03054985.2012.689693

37. Henderson M., Ryan T., Phillips M. The challenges of feedback in higher education // Assessment & Evaluation in Higher Education. 2019. Vol. 44 (8). P. 1237-1252. DOI: 10.1080/02602938.2019.1599815

38. Harrison C. J., Konings K. D., Dannefer E. F., Schuwirth L. W., Wass V., Van der Vleuten C. P. Factors influencing students’ receptivity to formative feedback emerging from different assessment cultures // Perspectives on Medical Education. 2016. Vol. 5 (5). P. 276-284. DOI: 10.1007/s40037-016-0297-x

39. Dann R. Assessment as learning: blurring the boundaries of assessment and learning for theory, policy and practice // Assessment in Education: Principles, Policy & Practice. 2014. Vol. 21 (2). P. 149-166. DOI: 10.1080/0969594X.2014.898128

40. Вилкова Л. В. Реализация формирующего оценивания учебных достижений обучающихся: проблемы и пути решения // Научно-педагогическое обозрение. 2019. № 4 (26). С. 7-13. DOI: 10.23951/2307-6127-2019-4-7-13

41. Четвертных Т. В. Готовность педагогов к проведению формирующего оценивания в образовательном процессе [Электрон. ресурс] // Вестник Омского государственного педагогического университета. Гуманитарные исследования. 2018. № 4 (21). С. 146-150. Режим доступа: https://www.elibrary.ru/item.asp?id=36961492 (дата обращения: 21.07.2020).

42. Шмигирилова И. Б., Рванова А. С., Таджигитов А. А. Педагогическая мастерская как форма развития оценочной компетентности учителя математики [Электрон. ресурс] // Современные проблемы науки и образования. 2020. № 6. С. 87. Режим доступа: https://www.elibrary.ru/item.asp?id=44595518 (дата обращения: 21.12.2020).

43. Florez M. T., Sammons P. Assessment for learning: effects and impact. Oxford University Department of Education. 2013. 32 p. Available from: https://www.education-developmenttrust.com/EducationDevelopmentTrust/files/5a/5a6d6203-ec49-4d33-9c5d-42c188184807.pdf (date of access: 03.08.2020).

44. Herman J. L., Osmundson E., Silver D. Capturing quality in Formative assessment practice: Measurement challenges, CRESST Report 770. Los Angeles: National Centre for Research on Evaluation, Standards and Student Testing. 2010. 26 p. Available from: https://files.eric.ed.gov/fulltext/ED512648.pdf (date of access: 16.07.2020).

45. Velasco L. C., Tojar J-C. Competency-Based Evaluation in Higher Education - Design and Use of Competence Rubrics by University Educators // International Education Studies. 2018. Vol. 11 (2). P. 118-132. DOI: 10.5539/ies.v11n2p118

46. Ефремова Н. В. Концептуальная модель оценки компетенций студентов // Современные наукоемкие технологии. 2019. № 7. С. 169-174. DOI: 10.17513/snt.37607

47. Wiliam D. Standards in examinations: a matter of trust? // The Curriculum Journal. 1996. Vol. 7 (3). P. 293-306. DOI: 10.1080/0958517960070303

48. Sadler D. R. Interpretations of criteria-based assessment and grading in higher education // Assessment & Evaluation in Higher Education. 2005. Vol. 30 (2). P. 175-194. DOI: 10.1080/0260293042000264262

49. Dann R. Promoting assessment as learning: Improving the learning process. London: Routledge Falmer, 2002. 176 p. Available from: https://books.google.ru/books?id=EGVCe-r-bX-wC&hl=ru (date of access: 18.07.2020).

50. Wikstrom C. Criterion-Referenced Measurement for Educational Evaluation and Selection. Department of Educational Measurement Umea University Thesis. 2005. 46 p. Available from: https://www.diva-portal.org/smash/get/diva2:143588/FULLTEXT01.pdf (date of access: 21.07.2020).

51. Hornby W. Assessing using grade-related criteria: a single currency for universities? // Assessment & Evaluation in Higher Education. 2003. Vol. 28 (4). P. 435-454. DOI: 10.1080/0260293032000066254

52. Ling L., Yuen B., Loo W., Prinsloo C. Students’ Conceptions of Bell Curve Grading Fairness in Relation to Goal Orientation and Motivation // International Journal for the Scholarship of Teaching and Learning 2020. Vol. 14 (1). DOI: 10.20429/ijsotl.2020.140107.

53. Красноборова А. А. Критериальный подход в оценивании учебных достижений учащихся [Электрон. ресурс] // Педагогическое образование и наука. 2009. № 6. С. 91-94. Режим доступа: https://www.elibrary.ru/item.asp?id=17062493 (дата обращения: 20.07.2020).

54. Пинская М. А., Иванов А. В. Формирующий подход: критериальное оценивание в действии [Электрон. ресурс] // Народное образование. 2010. № 5. С. 192-201. Режим доступа: https://www.elibrary.ru/item.asp?id=15516810 (дата обращения: 01.08.2020).

55. Абекова Ж. А., Оралбаев А. Б., Ермаханов М. Н., Джакипов А. С. Совершенствование учебного процесса при критериальном оценивании, его главные преимущества и особенности [Электрон. ресурс] // Успехи современного естествознания. 2015. № 1 (2). С. 295-296. Режим доступа: https://www.elibrary.ru/item.asp?id=23068809 (дата обращения: 01.08.2020).

56. Липатникова И. Г. Оценивание как диагностическая процедура формирования конечных результатов обучения по математике [Электрон. ресурс] // Педагогическое образование в России. 2016. № 7. С. 177-182. Режим доступа: https://www.elibrary.ru/item.asp?id=26638542 (дата обращения: 02.08.2020).

57. Соколова Е. В. Конструирование диагностических заданий в условиях критериального оценивания достижений учащихся в изучении школьного курса геометрии [Электрон. ресурс] // Преподаватель XXI век. 2016. № 4-1. С. 277-287. Режим доступа: https://www.elibrary.ru/item.asp?id=27633963 (дата обращения: 02.08.2020).

58. Lok B., McNaught C., Young K. Criterion-referenced and norm-referenced assessments: compatibility and complementarity // Assessment &Evaluation in Higher Education. 2016. Vol. 41 (3). P. 450-465. DOI: 10.1080/02602938.2015.1022136

59. Brown G., Bull J., Pendlebury M. Assessing student learning in higher education. London: Routledge, 1997. 317 р. Available from: https://archive.org/details/assessingstu-dent1997brow_kl150 (date of access: 03.08.2020).

60. Barrie S., Brew A., McCulloch M. Qualitatively different conceptions of criteria used to assess student learning. Proceedings of the AARE-NZARE Conference. Melbourne. 1999. Available from: https://www.aare.edu.au/data/publications/1999/bre99209.pdf (date of access: 03.08.2020).

61. Wiliam D. Assessing authentic tasks: alternatives to mark-schemes [Internet]. // Nordic Studies in Mathematics Education. 1994. Vol. 2 (1). P. 48-68. Available from: https://www.dylanwiliam.org/Dylan_Wiliams_website/Papers_files/Nomad.PDF (date of access: 04.08.2020).

62. Green S. Criterion referenced assessment as a guide to learning - the importance of progression and reliability. Paper presented at the Association for the Study of Evaluation in Education in Southern Africa International Conference. 10-12 July 2002. Johannesburg. Available from: https://www.cambridgeassessment.org.uk/Images/109693-criterion-refer-enced-assessment-as-a-guide-to-learning-the-importance-of-progression-and-reliability.pdf (date of access: 04.06.2020).

63. Popham W. J. Criterion-referenced Measurement: Half a Century Wasted? // Educational Leadership. 2014. Vol. 71 (6). P. 62-66. Available from: http://www.educationallead-ership-digital.com/educationalleadership/201403?pg=65#pg65 (date of access: 05.08.2020).

64. Григоренко О. В., Рванова А. С., Шмигирилова И. Б. Проблемы внедрения критериального оценивания в школьную практику [Электрон. ресурс] // Сибирский учитель. 2020. № 2 (129). С. 13-19. Режим доступа: https://www.elibrary.ru/item.asp?id=43044448 (дата обращения: 21.07.2020).

65. Linn R. L. Criterion-referenced measurement: a valuable perspective clouded by surplus meaning // Educational Measurement: Issues and Practice. 1994. Vol. 13 (4). P. 12-14. DOI: 10.1111/j.1745-3992.1994.tb00564.x

66. Sadler D. R. The futility of attempting to codify academic achievement standards // Higher Education. 2014. Vol. 67 (3). P. 273-288. DOI: 10.1007/s10734-013-9649-1

67. Dawson P. Assessment rubrics: Towards clearer and more replicable design, research and practice // Assessment & Evaluation in Higher Education. 2017. Vol. 42 (3). P. 347-360. DOI: 10.1080/02602938.2015.1111294

68. Wiggins G., McTighe J. Understanding by Design. Alexandria, VA: Association for Supervision & Curriculum Development, 2005. 370 р. Available from: https://eric.ed.gov/?id=ED509029 (date of access: 11.08.2020).

69. Haraway D., Flinders D. Rubrics in Context // Rubric Nation: Critical Inquiries on the Impact of Rubrics in Education. Charlotte, NC: Information Age, 2015. P. 119-134. Available from: https://nsuworks.nova.edu/fse_facbooks/130 (date of access: 11.08.2020).

70. Chan Z., Ho S. Good and bad practices in rubrics: the perspectives of students and educators // Assessment & Evaluation in Higher Education. 2019. Vol. 44 (4). P. 533-545. DOI: 10.1080/02602938.2018.1522528 (date of access: 11.08.2020).

71. Humphry S. M., Heldsinger S. A Two-Stage Method for Classroom Assessments of Essay Writing // Frontiers in Education. 2019. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1111/jedm.12223 (дата обращения 11.06.2020).

72. Chadha P., et al. A Rubric Guide for New Academics, Practitioner Research Project Report. TU Dublin. 2019. Available from: https://arrow.tudublin.ie/ltcpgdprp/23 (date of access: 11.08.2020).

73. Jescovitch L. N., Scott E. E., Cerchiara J. A., Doherty J. H., Wenderoth M. Pat, Merrill J. E., Urban-Lurain M., Haudek K. C. Deconstruction of Holistic Rubrics into Analytic Rubrics for Large-Scale Assessments of Students’ Reasoning of Complex Science Concepts // Practical Assessment, Research, and Evaluation. 2019. Vol. 24, Article 7. Available from: https://https://par.nsf.gov/servlets/purl/10166313 (date of access: 13.06.2020). DOI: 10.7275/9h7f-mp76

74. Randel B., Apthorp H., Beesley A. D., Clark T. F., Wang X. Impacts of professional development in classroom assessment on teacher and student outcomes // The Journal of Educational Research. 2016. Vol. 109 (5). P. 491-502. DOI: 10.1080/00220671.2014.992581

75. Емельянова И. Н., Теплякова О. А., Ефимова Г. З. Практика использования современных методов оценки на разных ступенях образования // Образование и наука. 2019. № 21 (6). С. 9-28. DOI: 10.17853/1994-5639-2019-6-9-28


Для цитирования:


Шмигирилова И.Б., Рванова А.С., Григоренко О.В. Оценивание в образовании: современные тенденции, проблемы и противоречия (обзор научных публикаций). Образование и наука. 2021;23(6):43-83. https://doi.org/10.17853/1994-5639-2021-6-43-83

For citation:


Shmigirilova I.B., Rvanova A.S., Grigorenko O.V. Assessment in education: Current trends, problems and contradictions (review of scientific publications). The Education and science journal. 2021;23(6):43-83. (In Russ.) https://doi.org/10.17853/1994-5639-2021-6-43-83

Просмотров: 809


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1994-5639 (Print)
ISSN 2310-5828 (Online)