edscienceОбразование и наукаThe Education and science journal1994-56392310-5828RSVPU10.17853/1994-5639-2025-8-136-166edscience-4626Research ArticleСОЦИОЛОГИЧЕСКИЕ ИССЛЕДОВАНИЯ В ОБРАЗОВАНИИSOCIOLOGICAL RESEARCH IN EDUCATIONИнтеллектуальные системы оценивания сформированности компетенций студентов и выпускников инженерных специальностей: ожидания преподавателей, обучающихся и работодателейIntelligent systems for assessing competency development in students and graduates of engineering specialisations: expectations of educators, students, and employershttps://orcid.org/0000-0002-7618-3961АпенькоС. Н.ApenkoS. N.

Апенько Светлана Николаевна – доктор экономических наук, профессор, заведующий кафедрой менеджмента и маркетинга

Scopus Author ID 57192010208

ResearcherID D-1661-2015

Омск

Svetlana N. Apenko – Dr. Sci. (Economics), Professor, Head of the Department of Management and Marketing

ResearcherID D-1661-2015

Omsk

apenkosn@yandex.ruhttps://orcid.org/0000-0002-3468-141XЛукашА. В.LukashA. V.

Лукаш Александр Викторович – кандидат философских наук, доцент, доцент кафедры связей с общественностью, сервиса и туризма; старший научный сотрудник

Scopus Author ID 59293246000

ResearcherID GLU-5137-2022

Омск

Alexander V. Lukash – Cand. Sci. (Philosophy), Associate Professor, Department of Public Relations, Service and Tourism; Senior Research Fellow

Scopus Author ID 59293246000

ResearcherID GLU-5137-2022

Omsk

Lukashs2017@bk.ruhttps://orcid.org/0000-0002-8842-2800ДавыдовА. И.DavydovA. .I.

Давыдов Алексей Игоревич – кандидат технических наук, доцент, доцент кафедры информационной безопасности; старший научный сотрудник 

Scopus Author ID 57459590400

ResearcherID E-1446-2019

Омск

Alexey I. Davydov – Cand. Sci. (Engineering), Associate Professor, Department of Information Security; Senior Research Fellow

Scopus Author ID 57459590400

ResearcherID E-1446-2019

Omsk

DavydovAI@bk.ruОмский государственный университет им. Ф. М. ДостоевскогоDostoevsky Omsk State UniversityОмский государственный университет путей сообщения; Омский государственный университет им. Ф. М. ДостоевскогоOmsk State Transport University; Dostoevsky Omsk State University202504102025278136166Copyright © Апенько С.Н., Лукаш А.В., Давыдов А.И., 20252025Апенько С.Н., Лукаш А.В., Давыдов А.И.Apenko S.N., Lukash A.V., Davydov A...Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.edscience.ru/jour/article/view/4626

Введение. Процедуры оценивания качества подготовки выпускников являются актуальными для системы высшего образования и рынка труда. Ключевые участники образовательного процесса заинтересованы в независимой, объективной и комплексной оценке компетенций. Целью исследования является установление ожиданий ключевых участников процесса подготовки кадров по программам высшего образования (работодателей, преподавателей и обучающихся) в отношении функциональных возможностей интеллектуальных систем оценивания сформированности профессиональных и надпрофессиональных компетенций студентов и выпускников инженерных специальностей. Методология, методы и методики. Сбор данных проходил в 2024 г. в Омске и включал анкетный опрос (май–октябрь) и интервьюирование (сентябрь–ноябрь). Всего опрошено 41 работодатель, 44 преподавателя вузов, 215 обучающихся. Проинтервьюировано 19 работодателей и 23 преподавателя. Для измерения связи между функциональными возможностями интеллектуальных систем использовался коэффициент корреляции (τ-b Кенделла). При составлении анкеты и гайда интервью использовались теоретические разработки поведенческого и функционального методологических подходов изучения компетенций. Результаты показали, что в ответах работодателей, преподавателей и обучающихся преобладает высокая степень согласия с тем, что интеллектуальная система должна обеспечить возможность оценить уровень сформированности как профессиональных, так и надпрофессиональных компетенций студентов и выпускников инженерных специальностей. Вместе с тем возможность оценивания профессиональных компетенций указывается чаще, чем надпрофессиональных. Опрошенные участники образовательных отношений наряду с инструментальными процедурами оценивания сформированности компетенций ожидают от интеллектуальных систем получить технологии, которые позволяют: обеспечить трансфер актуальных в реальном секторе экономики знаний, умений и навыков в образовательное пространство; проектировать практикоориентированные образовательные программы; проводить профориентационную работу и эффективное трудоустройство. Научная новизна. Авторами реализован полисубъектный подход к изучению возможностей интеллектуальной системы оценки компетенций студентов и выпускников вузов, что расширяет сложившуюся практику исследований в данном вопросе. Полученные результаты позволяют рассматривать интеллектуальные системы оценки компетенций в качестве инструмента сокращения транзакционных издержек в системе высшего образования и рынка труда. Практическая значимость. Полученные результаты могут быть использованы для проектирования интеллектуальных систем оценивания компетенций студентов и выпускников вузов как инженерных, так и образовательных программ других укрупненных групп направлений подготовки и специальностей.

Introduction. Procedures for assessing the quality of graduate training are relevant to both the higher education system and the labour market. Key stakeholders in the educational process seek an independent, objective, and comprehensive assessment of competencies. Aim. The present research aims to establish the expectations of the key participants in the training process within higher education programmes – namely employers, educators, and students – regarding the functionality of in telligent systems for assessing the development of professional and supraprofessional competencies in students and graduates specialising in engineering. Methodology and research methods. Data collection took place in Omsk in 2024 and comprised a questionnaire survey (May to October) and interviews (September to November). The total number of respondents was 41 employers, 44 university lecturers, and 215 students. The interviews were attended by 19 employers and 23 lecturers. Kendall’s τ-b correlation coefficient was used to measure the relationship between the functionality of intelligence systems as reported by employers, lecturers, and students. The theoretical developments of behavioural and functional methodological approaches to studying competencies informed the design of the questionnaire and interview guide. Results. The results indicated that employers, teachers, and students largely agree that the intelligent system should be capable of assessing the developmental levels of both professional and supraprofessional competencies in students and graduates specialising in engineering. However, the ability to assess professional competencies was mentioned more frequently than that of supraprofessional competencies. The participants involved in educational relationships, alongside instrumental procedures for competency assessment, expect intelligent systems to provide technologies that enable the transfer of knowledge, skills, and abilities relevant to the real economy into the educational sphere; the design of practice-oriented educational programmes; and the facilitation of career guidance and effective employment. Scientific novelty. The authors have developed a multi-stakeholder approach to studying the potential of an intelligent system for assessing the competencies of university students and graduates, thereby extending current research practices in this area. The results obtained suggest that intelligent competency assessment systems can serve as a tool to reduce transaction costs within the higher education and labour market systems. Practical significance. The obtained results can be used to design intelligent systems for assessing the competency of students and graduates from universities, encompassing both engineering and educational programmes, as well as other broad groups of training areas and specialities.

профессиональные компетенциинадпрофессиональные компетенцииинтеллектуальные системы оценки компетенцийцифровой сервисработодателиобучающиеся и выпускники инженерных специальностейпреподавателиprofessional competenciessupraprofessional competenciesintelligent competency assessment systemsdigital servicesemployersengineering students and graduateseducatorsАвторы благодарят преподавателей и обучающихся университетов, работодателей, принявших участие в исследовании. Исследование выполнено за счет гранта Российского научного фонда № 24-28-20314, https://rscf.ru/project/24-28-20314/The authors would like to thank the teachers and students of universities, as well as the employers, who participated in the study. This research was supported by the Russian Science Foundation grant No. 24-28-20314 (https://rscf.ru/project/24-28-20314/).ReferencesГильманов Т.А., Наумов П.Ю., Дьячков А.А. Критерии оценки уровня сформированности профессиональной компетенции по владению навыками стратегического анализа. Научное мнение. 2019;3:83–87. doi:10.25807/PBH.22224378.2019.3.83.87Gilmanov T.A., Naumov P.Y., Dyachkov A.A. Criteria for assessing the level of formation of professional competence in strategic analysis skills. Nauchnoe mnenie = Scientific Opinion. 2019;3:83–87. (In Russ.) doi:10.25807/PBH.22224378.2019.3.83.87Хорошева Е.Р., Забавнов В.А. Оценка уровня сформированности профессиональных компетенций обучающихся по результатам независимой оценки квалификаций. Век качества. 2022;1:253–265.Khorosheva E.R., Zabavnov V.A. Assessment of the level of formation of professional competences of students according to the results of independent assessment of qualifications. Vek kachestva = Century of Quality. 2022;1:253–265. (In Russ.)Чудинский Р.М., Малева А.А., Дюжакова М.В., Малев В.В., Дубов В.М. Реализация в образовательных организациях высшего педагогического образования мониторинга и оценки профессиональных компетенций студентов. Международный научно-исследовательский журнал. 2023;11(137). doi:10.23670/IRJ.2023.137.68Chudinsky R.M., Maleva A.A., Duzhakova M.V., Malev V.V., Dubov V.M. Realisation in educational organisations of higher pedagogical education of monitoring and evaluation of students’ professional competences. Mezhdunarodnyj nauchno-issledovatel’skij zhurnal = International Research Journal. 2023;11(137). (In Russ.) doi:10.23670/IRJ.2023.137.68 4Елисеев И.Н., Германова О.Е., Елисеев И.И. Формализация оценки компетенций студентов как средство обеспечения интеллектуальной поддержки принятия управленческих решений. Информатизация образования и науки. 2016;2(30):126–135.. Eliseev I.N., Germanova O.E., Eliseev I.I. Formalisation of students’ competence assessment as a means of providing intellectual support for managerial decision-making. Informatizaciya obrazovaniya i nauki = Informatisation of Education and Science. 2016;2(30):126–135. (In Russ.)Казаринова Н.Л. Интеллектуальный анализ в оценке сформированности профессиональных компетенций. Актуальные научные исследования в современном мире. 2021;2–3(70):50–57.Kazarinova N.L. Intellectual analysis in the assessment of the formation of professional competences. Aktual’nye nauchnye issledovaniya v sovremennom mire = Actual Scientific Research in the Modern World. 2021;2-3(70):50–57. (In Russ.)Береснева Я.В., Бритвина В.В. Методика разработки интеллектуальной автоматизированной системы оценки уровня сформированности компетенции. Теория и практика проектного образования. 2019;3(11):45–50.Beresneva Y.V., Britvina V.V. Methodology of development of intellectual automated system for assessing the level of competence formation. Teoriya i praktika proektnogo obrazovaniya = Theory and Practice of Project Education. 2019;3(11):45–50. (In Russ.)Карамзина А.Г. Интеллектуальный анализ данных для подбора персонала по профессиональным компетенциям на должность системного аналитика. Современные наукоемкие технологии. 2020;12:56–62. doi:10.17513/snt.38411Karamzina A.G. Intellectual data analysis for personnel selection by professional competences for the position of system analyst. Sovremennye naukoemkie tekhnologii = Modern Science-Intensive Technologies. 2020;12:56–62. (In Russ.) doi:10.17513/snt.38411Кетоева Н.Л., Знаменская М.А., Павлов Е.М., Прошкин Н.Е. Моделирование и разработка программы для интеллектуальной системы поддержки принятия кадровых управленческих решений в электроэнергетике. Инженерный вестник Дона. 2024;5(113):698–712.Ketoyeva N.L., Znamenskaya M.A., Pavlov E.M., Proshkin N.E. Modelling and program development for the intellectual system of support of personnel management decision making in electric power industry. Inzhenernyj vestnik Dona = Engineering Vestnik Don. 2024;5(113):698–712. (In Russ.)Huang X., Yang F., Zheng J., Feng C., Zhang L. Personalized human resource management via HR analytics and artificial intelligence: theory and implications. Asia Pacific Management Review. 2023;28(4):598–610. doi:10.1016/j.apmrv.2023.04.004Huang X., Yang F., Zheng J., Feng C., Zhang L. Personalized human resource management via HR analytics and artificial intelligence: theory and implications. Asia Pacific Management Review. 2023;28(4):598–610. doi:10.1016/j.apmrv.2023.04.004Хаперская А.В., Минин М.Г. Инструменты имитационного моделирования и процессного управления для оценки профессиональных компетенций при самостоятельном обучении. Современные проблемы науки и образования. 2025;1:45. doi:10.17513/spno.33882Khaperskaya A.V., Minin M.G. Tools of simulation modelling and process management for assessment of professional competences in independent learning. Sovremennye problemy nauki i obrazovaniya = Modern Problems of Science and Education. 2025;1:45. (In Russ.) doi:10.17513/spno.33882Becker J., Becker A., Sałabun W. Construction and use of the ANP decision model taking into account the experts’ competence. Procedia Computer Science. 2017;112:2269–2279. doi:10.1016/j.procs.2017.08.145Becker J., Becker A., Sałabun W. Construction and use of the ANP decision model taking into account the experts’ competence. Procedia Computer Science. 2017;112:2269–2279. doi:10.1016/j.procs.2017.08.145Meijerink J., Boons M., Keegan A., Marler J. Algorithmic human resource management: synthesizing developments and cross-disciplinary insights on digital HRM. International Journal of Human Resource Management. 2021;32(12):2545–2562. doi:10.1080/09585192.2021.1925326Meijerink J., Boons M., Keegan A., Marler J. Algorithmic human resource management: synthesizing developments and cross-disciplinary insights on digital HRM. International Journal of Human Resource Management. 2021;32(12):2545–2562. doi:10.1080/09585192.2021.1925326Chowdhury S., Joel-Edgar S., Dey Pr.K., Bhattacharya S., Kharlamov A. Embedding transparency in artificial intelligence machine learning models: managerial implications on predicting and explaining employee turnover. International Journal of Human Resource Management. 2022;34(14):1– 32. doi:10.1080/09585192.2022.2066981Chowdhury S., Joel-Edgar S., Dey Pr.K., Bhattacharya S., Kharlamov A. Embedding transparency in artificial intelligence machine learning models: managerial implications on predicting and explaining employee turnover. International Journal of Human Resource Management. 2022;34(14):1– 32. doi:10.1080/09585192.2022.2066981Осипенко Е.А., Чжэн Ж. Инновационные цифровые инструменты для оценки компетенций студентов факультета физической культуры. Ученые записки университета имени П.Ф. Лесгафта. 2025;1(239):104–110. doi:10.5930/1994-4683-2025-104-110Osipenko E.A., Zheng J. Innovative digital tools for assessing the competences of students of the Faculty of Physical Education. Uchenye zapiski universiteta imeni P. F. Lesgafta = Scientific Notes of P. F. Lesgaft University. 2025;1(239):104–110. (In Russ.) doi:10.5930/1994-4683-2025-104-110Bohlouli M., Mittas N., Kakarontzas G., Theodosiou Th., Angelis L., Fathi M. Competence assessment as an expert system for human resource management: a mathematical approach. Expert Systems with Applications. 2017;70:83–102. doi:10.1016/j.eswa.2016.10.046Bohlouli M., Mittas N., Kakarontzas G., Theodosiou Th., Angelis L., Fathi M. Competence assessment as an expert system for human resource management: a mathematical approach. Expert Systems with Applications. 2017;70:83–102. doi:10.1016/j.eswa.2016.10.046Gorbunovs A., Kapenieks A., Kudina I. Competence development in a combined assessment and collaborative e-portfolio information system. Procedia Computer Science. 2013;26:79–100. doi:10.1016/j.procs.2013.12.009Gorbunovs A., Kapenieks A., Kudina I. Competence development in a combined assessment and collaborative e-portfolio information system. Procedia Computer Science. 2013;26:79–100. doi:10.1016/j.procs.2013.12.009Hamilton R.H., Sodeman W.A. The questions we ask: opportunities and challenges for using big data analytics to strategically manage human capital resources. Business Horizons. 2020;63:85–95. doi:10.1016/j.bushor.2019.10.001Hamilton R.H., Sodeman W.A. The questions we ask: opportunities and challenges for using big data analytics to strategically manage human capital resources. Business Horizons. 2020;63:85–95. doi:10.1016/j.bushor.2019.10.001Hunkenschroer A.L., Luetge Ch. Ethics of AI-enabled recruiting and selection: a review and research agenda. Journal of Business Ethics. 2022;178(3):977–1007. doi:10.1007/s10551-022-05049-6Hunkenschroer A.L., Luetge Ch. Ethics of AI-enabled recruiting and selection: a review and research agenda. Journal of Business Ethics. 2022;178(3):977–1007. doi:10.1007/s10551-022-05049-6Qamar Y., Samad T. Human resource analytics: a review and bibliometric analysis. Personnel Review. 2021;51(1):251–283. doi:10.1108/PR-04-2020-0247Qamar Y., Samad T. Human resource analytics: a review and bibliometric analysis. Personnel Review. 2021;51(1):251–283. doi:10.1108/PR-04-2020-0247Esch P.V., Black J.St. Factors that influence new generation candidates to engage with and complete digital, AI-enabled recruiting. Business Horizons. 2019;62(6):729–739. doi:10.1016/j.bushor.2019.07.004Esch P.V., Black J.St. Factors that influence new generation candidates to engage with and complete digital, AI-enabled recruiting. Business Horizons. 2019;62(6):729–739. doi:10.1016/j.bushor.2019.07.004Sutadji E., Susilo H., Wibawa A.P., Jabari N.A.M., Rohmad S.N. Authentic assessment implementation in natural and social science. Education Sciences. 2021;11(9):534. doi:10.3390/educsci11090534Sutadji E., Susilo H., Wibawa A.P., Jabari N.A.M., Rohmad S.N. Authentic assessment implementation in natural and social science. Education Sciences. 2021;11(9):534. doi:10.3390/educsci11090534Sutadji E., Susilo H., Wibawa A.P., Jabari N.A.M., Rohmad S.N. Adaptation strategy of authentic assessment in online learning during the covid-19 pandemic. Journal of Physics: Conference Series. 2021;1810(1). doi:10.1088/1742-6596/1810/1/012059Sutadji E., Susilo H., Wibawa A.P., Jabari N.A.M., Rohmad S.N. Adaptation strategy of authentic assessment in online learning during the covid-19 pandemic. Journal of Physics: Conference Series. 2021;1810(1). doi:10.1088/1742-6596/1810/1/012059Shikwaya R.O., Amadhila E.P. Authentic assessment’s integrity for online learning in higher education. Global Scientific Journals. 2023;11(3):181–187.Shikwaya R.O., Amadhila E.P. Authentic assessment’s integrity for online learning in higher education. Global Scientific Journals. 2023;11(3):181–187.Sokhanvar Z., Salehi K., Sokhanva F. Advantages of authentic assessment for improving the learning experience and employability skills of higher education students: a systematic literature review. Studies in Educational Evaluation. 2021;70:101030. doi:10.1016/j.stueduc.2021.101030Sokhanvar Z., Salehi K., Sokhanva F. Advantages of authentic assessment for improving the learning experience and employability skills of higher education students: a systematic literature review. Studies in Educational Evaluation. 2021;70:101030. doi:10.1016/j.stueduc.2021.101030Heil J., Ifenthaler D. Online assessment in higher education: a systematic review. Online Learning. 2024;27(1):187–218. doi:10.24059/olj.v27i1.3398Heil J., Ifenthaler D. Online assessment in higher education: a systematic review. Online Learning. 2024;27(1):187–218. doi:10.24059/olj.v27i1.3398Mohamed R., Lebar O. Authentic assessment in assessing higher order thinking skills. International Journal of Academic Research in Business and Social Sciences. 2017;7(2):466–476. doi:10.6007/IJARBSS/v7-i2/2021Mohamed R., Lebar O. Authentic assessment in assessing higher order thinking skills. International Journal of Academic Research in Business and Social Sciences. 2017;7(2):466–476. doi:10.6007/IJARBSS/v7-i2/2021Zhang Q., Zhang X., Liu J. A holistic review of authentic assessment in mathematics education. In: Zhang Q., Zhang X., Liu J., eds. Authentic Assessment and Evaluation Approaches and Practices in a Digital Era. Cham: Brill Publisher; 2021:95–115. doi:10.1163/9789004501577_00Zhang Q., Zhang X., Liu J. A Holistic review of authentic assessment in mathematics education. In: Zhang Q., Zhang X., Liu J., eds. Authentic Assessment and Evaluation Approaches and Practices in a Digital Era. Cham: Brill Publisher; 2021:95–115. doi:10.1163/9789004501577_005Raynault A., Heilporn G., Mascarenhas A., Denis C. Teaching experiences of E-authentic assessment: lessons learned in higher education. Journal of Teaching and Learning with Technology. 2022;11:3–17. doi:10.14434/jotlt.v11i1.34594Raynault A., Heilporn G., Mascarenhas A., Denis C. Teaching experiences of E-authentic assessment: lessons learned in higher education. Journal of Teaching and Learning with Technology. 2022;11:3–17. doi:10.14434/jotlt.v11i1.34594Гусятников В.Н., Соколова Т.Н., Безруков А.И., Каюкова И.В. Использование методов искусственного интеллекта для оценки компетенций в ходе тестирования. Информатика и образование. 2023;38(6):75–85. doi:10.32517/0234-0453-2023-38-6-75-85Gusyatnikov V.N., Sokolova T.N., Bezrukov A.I., Kayukova I.V. Using artificial intelligence methods to assess competences during testing. Informatika i obrazovanie = Informatics and Education. 2023;38(6):75–85. (In Russ.) doi:10.32517/0234-0453-2023-38-6-75-85Нехаев И.Н., Жуйков И.В., Бастраков Р.В. Архитектура интеллектуальной системы тестирования уровней сформированности предметных компетенций. Кибернетика и программирование. 2017;4:41–65.Nehaev I.N., Zhuikov I.V., Bastrakov R.V. Architecture of intellectual system for testing the levels of subject competences formation. Kibernetika i programmirovanie = Cybernetics and Programming. 2017;4:41–65. (In Russ.)Пеша А.В., Шавровская М.Н., Николаева М.А., Шрамко Н.В. Существующие возможности цифровой оценки компетенций студентов университетов. Вестник Тюменского государственного университета. Социально-экономические и правовые исследования. 2021;3(27):6–19. doi:10.21684/2411-7897-2021-7-3-6-19Pesha A.V., Shavrovskaya M.N., Nikolaeva M.A., Shramko N.V. Existing possibilities of digital assessment of university students’ competences. Vestnik Tyumenskogo gosudarstvennogo universiteta. Social’no-ekonomicheskie i pravovye issledovaniya = Bulletin of Tyumen State University. Socio-Economic and Legal Studies. 2021;3(27):6–19. (In Russ.) doi:10.21684/2411-7897-2021-7-3-6-19Шавровская М.Н. Анализ цифровых возможностей оценки сформированности надпрофессиональных компетенций студентов вузов. В книге: А.В. Пеша, М.Н. Шавровская, М.А. Николаева [и др.]. Развитие и оценка надпрофессиональных компетенций студентов университетов: теоретико-методологические основы: монография. Казань: Общество с ограниченной ответственностью «Бук»; 2020:188–193.Shavrovskaya M.N. Analiz cifrovyh vozmozhnostej ocenki sformirovannosti nadprofessional’nyh kompetencij studentov vuzov = Analyses of digital possibilities for assessing the formation of supraprofessional competences of university students. In: Pesha A.V., Shavrovskaya M.N., Nikolaeva M.A. et al., eds. Razvitie i ocenka nadprofessional’nyh kompetencij studentov universitetov: teoretiko-metodologicheskie osnovy = Development and Assessment of Supraprofessional Competences of University Students: Theoretical and Methodological Foundations. Kazan: Limited Liability Company “Buk”; 2020:188–193. (In Russ.)

The authors declare that there are no conflicts of interest present.