<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">edscience</journal-id><journal-title-group><journal-title xml:lang="ru">Образование и наука</journal-title><trans-title-group xml:lang="en"><trans-title>The Education and science journal</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1994-5639</issn><issn pub-type="epub">2310-5828</issn><publisher><publisher-name>RSVPU</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.17853/1994-5639-2021-6-83-125</article-id><article-id custom-type="elpub" pub-id-type="custom">edscience-2213</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ДИСКУССИИ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>DISCUSSIONS</subject></subj-group></article-categories><title-group><article-title>Оценка эффективности деятельности российских вузов: нужно ли менять парадигму?</article-title><trans-title-group xml:lang="en"><trans-title>Evaluation of the efficiency of Russian universities: Do we need to change the paradigm?</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-0071-1462</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Романов</surname><given-names>Е. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Romanov</surname><given-names>E. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Романов Евгений Валентинович - доктор педагогических наук, профессор кафедры менеджмента; Researcher ID E-4543-2017.</p><p>Магнитогорск</p></bio><bio xml:lang="en"><p>Evgeny V. Romanov - Dr. Sci. (Education), Professor, Department of Management, Researcher ID E-4543-2017.</p><p>Magnitogorsk</p></bio><email xlink:type="simple">evgenij.romanov.1966@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Магнитогорский государственный технический университет им. Г.И. Носова</institution></aff><aff xml:lang="en"><institution>Nosov Magnitogorsk State Technical University</institution></aff></aff-alternatives><pub-date pub-type="collection"><year>2021</year></pub-date><pub-date pub-type="epub"><day>18</day><month>06</month><year>2021</year></pub-date><volume>23</volume><issue>6</issue><fpage>84</fpage><lpage>125</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Романов Е.В., 2021</copyright-statement><copyright-year>2021</copyright-year><copyright-holder xml:lang="ru">Романов Е.В.</copyright-holder><copyright-holder xml:lang="en">Romanov E.V.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.edscience.ru/jour/article/view/2213">https://www.edscience.ru/jour/article/view/2213</self-uri><abstract><sec><title>Введение</title><p>Введение. Принципы менеджерализма, активно насаждаемые в сфере высшего образования и науки России в последнее десятилетие, в некотором роде противоречат стратегическим целям по прорывному социально-экономическому и научно-технологическому развитию страны. Инновационное развитие научно-образовательной сферы является одним из условий этого прорыва. В этой связи актуализируются исследования по созданию системы оценки деятельности вузов, которая выполняет не столько «фискальную», сколько стратегическую функцию - формирование ориентиров инновационного развития организаций высшего образования в контексте реализации национальных целей развития России.</p><p>Цель работы состоит в доказательстве утверждения, что существующая система оценки эффективности деятельности вузов не позволяет в полной мере объективно оценить их инновационный потенциал, формирует стратегические ориентиры, которые не соотносятся с реализацией целей по прорывному научно-технологическому развитию России; сформулировать предложения по подходу к оценке деятельности вузов, в соответствии с которым определяются базовые показатели результативности и соответствующие им показатели эффективности.</p></sec><sec><title>Методология и методы</title><p>Методология и методы. Работа выполнялась с опорой на системный подход. Использовались общенаучные методы: аналитический обзор научной литературы и содержания нормативных документов, сравнение и обобщение (результатов оценки эффективности деятельности 215 вузов, подведомственных Минобрнауки, по данным мониторинга вузов 2019 г., показателей 34 федеральных и национальных исследовательских университетов (мониторинг 2016-2020 гг.)), индукция (на основе анализа динамики изменения среднего балла ЕГЭ абитуриентов технических вузов доказывается отсутствие корреляции между этим показателем и трудоустройством выпускников), синтез (формулировка предложений по подходу к оценке деятельности вузов).</p><p>Результаты и научная новизна. Анализ существующего подхода к оценке эффективности деятельности вузов, осуществляемой в рамках мониторинга, показывает, что индикаторы преимущественно являются input-характеристиками, что не дает представления о самостоятельных достижениях вуза, его вкладе в развитие страны и региона. Проанализированы показатели приказа Минобрнауки, вступившего в силу 28.06.2020, в соответствии с которым будет оцениваться эффективность вузов и их руководителей. Установлено, что большинство «периферийных» технических вузов обладает «врожденным» признаком «неэффективности» - средним баллом ЕГЭ поступающих абитуриентов менее 60, что фиксируется на протяжении практически всех мониторинговых замеров 2013-2019 гг. Это приводит к нулевой оценке по одному из показателей эффективности образовательной деятельности и создает неверное представление о потенциале организаций, поскольку показатели трудоустройства выпускников у подавляющего числа вузов этой категории выше пороговых значений. Анализ показателей федеральных и национальных исследовательских университета (мониторинг 2016-2020 гг.) позволяет сделать вывод, что вузы, в которых фиксируется достаточно низкая доля штатных преподавателей (до 50 %) в общей численности ППС и расчетное число ставок научно-педагогических работников (НПР) существенно выше их штатной численности, могут за счет этого достигать достаточно высоких показателей публикационной активности. Аналогичный феномен фиксируется в вузах, где расчетное число ставок меньше штатной численности НПР («эффект манипуляции ставками»). При этом доходы от использования результатов интеллектуальной деятельности как отражение способности вуза разрабатывать коммерчески привлекательные продукты у подавляющего большинства вузов стремятся к нулю. На основе анализа структуры доходов федеральных и части национальных исследовательских вузов доказывается некорректность сравнения вузов по объему и темпам доходов из средств от приносящей доход деятельности.</p><p>Необходимо изменение методологии оценки вузов, где будут выделены показатели результативности и соответствующие им показатели эффективности (как соотношение достигнутых результатов и затрат). Корректная оценка предполагает сопоставимость вузов с точки зрения ожидаемой результативности и реализуемой «целевой функции»: федеральные, национальные исследовательские, опорные университеты, «обычные» вузы. Предложены три группы показателей результативности, позволяющие оценить: а) вклад вуза в подготовку компетентных специалистов со сформированной системой ценностей; б) способность вуза генерировать и распространять новое знание; в) перспективы воспроизводства кадрового потенциала вуза. Поскольку проблема кадрового воспроизводства имеет общегосударственное значение, необходимо кардинально пересмотреть принципы финансирования вузов: государством должно финансироваться обоснованное вузом число штатных единиц (в горизонте 4 года как минимум), необходимых для качественной реализации основной деятельности.</p></sec><sec><title>Практическая значимость</title><p>Практическая значимость. Результаты исследования могут быть использованы при корректировке стратегии развития научно-образовательной сферы.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Introduction</title><p>Introduction. The principles of managerialism have been actively applied in the field of higher education and science in Russia in the last decade. However, to a certain extent, such principles contradict the strategic goals for the breakthrough socio-economic, scientific and technological development of the country. Innovative development of the scientific and educational sphere is one of the conditions for this breakthrough. In this regard, the research works on the evaluation system of universities are becoming very relevant today. Thus, the evaluation system of universities allows the managers to perform a strategic function rather than a “fiscal” one - the formation of the strategic orientations of innovative development in the institutions of higher education within the framework of the implementation of the national development goals of Russia.</p><p>The research aims to prove the statement that the existing system of evaluation of the efficiency of universities does not allow for a full objective assessment of their innovative potential and forms strategic guidelines, which do not correlate with the implementation of the goals for the breakthrough scientific and technological development of Russia. Moreover, the research is aimed to formulate the proposals for an approach to the evaluation of the activities of universities, according to which the basic performance indicators and their corresponding performance indicators are determined.</p><p>Methodology and research methods. The research work was carried out based on a systematic approach. General scientific methods were used: an analytical review of scientific literature and the content of regulatory documents, comparison and generalisation (results of the evaluation of the efficiency of 215 universities under the Ministry of Education and Science according to the monitoring of universities in 2019, indicators of 34 federal and national research universities (monitoring 2016-2018)), induction (based on the analysis of the dynamics of the measurement of the average Unified State Exam (USE) score of applicants for technical universities, there is no correlation between this indicator and the employment of graduates), synthesis (formulation of the proposals for an approach to evaluate the activities of universities).</p><p>Results and scientific novelty. The analysis of the existing approach to the evaluation of the efficiency of the activities of universities carried out within the framework of monitoring shows that the indicators are mainly input characteristics; thus, it does not give an idea of the independent achievements of the university, its contribution to the development of the country and the region. The author analysed the indicators of the Order by the Ministry of Education and Science № 475 (28.06.2020), under which the effectiveness of universities and their managers will be evaluated. It was found that the majority of “peripheral” technical universities have an “innate” sign of “inefficiency” - the average USE score of incoming applicants is less than 60, which was recorded during almost all monitoring measurements in 2013-2019. This leads to a zero rating on one of the indicators of the efficiency of educational activities and creates a false idea of the potential of organisations since the employment rates of graduates in the vast majority of universities in this category are above the threshold values. An analysis of the indicators of federal and national research universities (monitoring in 2016-2019) allows us to conclude that universities with a fairly low share of full-time teachers (up to 50 %) in the total number of teaching staff and the estimated number of research and teaching staff rates are significantly higher than their full-time number. Therefore, such universities can achieve fairly high rates of publication activity. A similar phenomenon is observed in higher education institutions, where the estimated number of vacancies is less than the full-time number of research and teaching staff (“vacancy manipulation effect”). Meanwhile, the income from the use of the results of intellectual activity, as the reflection of the university ability to develop commercially attractive products for the vast majority of universities, tends to zero. Based on the analysis of the income structure of federal and part of national research universities, the author proves that it is not correct to compare universities in terms of the volume and rate of income from income-generating activities.</p><p>It is required to change the methodology for the evaluation of universities, i.e. to highlight performance indicators and their corresponding performance indicators (as the ratio of results achieved and costs). A correct assessment assumes the comparability of universities in terms of expected performance and the implemented “target function”: federal, national research, anchor universities, “ordinary” universities. Three groups of performance indicators are proposed to assess: a) the contribution of the university to the training of competent specialists with a developed system of values; b) the ability of the university to generate and disseminate new knowledge; c) the prospects for the reproduction of human resources at the university. Since the problem of personnel reproduction is of national importance, it is necessary to radically revise the principles of university funding: the state should finance the number of staff units justified by the university to ensure quality implementation of the main activity (during 4 years, at least).</p></sec><sec><title>Practical significance</title><p>Practical significance. The research findings can be employed to adjust the development strategy of the scientific and educational sphere.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>эффективность и результативность</kwd><kwd>мониторинг вузов</kwd><kwd>оценка эффективности вузов и руководителей</kwd><kwd>«врожденный» признак неэффективности</kwd><kwd>манипуляция показателями</kwd><kwd>предлагаемые показатели результативности</kwd></kwd-group><kwd-group xml:lang="en"><kwd>efficiency and effectiveness</kwd><kwd>monitoring of universities</kwd><kwd>evaluation of the effectiveness of universities and managers</kwd><kwd>“innate” sign of inefficiency</kwd><kwd>manipulation by indicators</kwd><kwd>proposed performance indicators</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Автор выражает искреннюю признательность анонимным рецензентам за ценные замечания и рекомендации, позволившие повысить качество статьи в процессе ее доработки</funding-statement><funding-statement xml:lang="en">The author expresses his sincere gratitude to the anonymous reviewers for their valuable comments and recommendations, which allowed the quality of the article to be improved in the process of its revision</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Hood C. A public management for all seasons? // Public administration. 1991. № 1 (69). P. 3-19.</mixed-citation><mixed-citation xml:lang="en">Hood C. A public management for all seasons? Public Administration. 1991; 69 (1): 3-19.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Масленников В. В., Линников А. С., Масленников О. В. Оценка потерь российской экономики от миграции населения в другие страны // Международная миграция и финансы. 2018. № 2 (22). С. 54-65. DOI: 10.26794/2587-5671-2018-22-2-54-65</mixed-citation><mixed-citation xml:lang="en">Maslennikov V. V., Linnikov А. S., Maslennikov О. V. The estimation of losses of the Russian economy from population migration to other countries. Mezhdunarodnaya migratsiya i finantsi = International Migration and Finance. 2018; 22 (2): 54-65. DOI: 10.26794/2587-5671-2018-22-2-54-65 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Некрасов С. А. Экономическое развитие сквозь призму динамики патентной активности // Проблемы прогнозирования. 2019. № 2 (173). С. 113-120.</mixed-citation><mixed-citation xml:lang="en">Nekrasov S. A. Economic growth through the prism of patent activity. Problemy prog-nozirovaniya = Studies on Russian Economic Development. 2019; 173 (2); 113-120. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Witte K. D., Lopez-Torres L. Efficiency in Education: A Review of Literature and a Way Forward // Journal of the Operational Research Society. 2017. № 4 (68). P. 339-363. DOI: 10.1057/jors.2015.92</mixed-citation><mixed-citation xml:lang="en">Witte K. D., Lopez-Torres L. Efficiency in education: A Review of literature and a way forward. Journal of the Operational Research Society. 2017; 68 (4): 339-363. DOI: 10.1057/jors.2015.92</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Estermann T., Kupriyanova V. Efficiency, Effectiveness and Value for Money at Universities. A Ustream Report, 2019. 44 p.</mixed-citation><mixed-citation xml:lang="en">Estermann T., Kupriyanova V. Efficiency, effectiveness and value for money at universities. A Ustream Report; 2019. 44 p.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Aubyn M. St., Pina A., Garcia F., Pais J. Study on the efficiency and effectiveness of public spending on tertiary education. Third report (second draft). ISEG - Technical University of Lisbon, 2008. 146 p.</mixed-citation><mixed-citation xml:lang="en">Aubyn M. St., Pina A., Garcia F., Pais J. Study on the efficiency and effectiveness of public spending on tertiary education. Third report (second draft). ISEG - Technical University of Lisbon; 2008. 146 p.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Codagnone C., Undheim T.A. Benchmarking eGovernment: tools, theory, and practice // European Journal of ePractice. 2008. № 4. P. 4-18.</mixed-citation><mixed-citation xml:lang="en">Codagnone C., Undheim T. A. Benchmarking eGovernment: Tools, theory, and practice. European Journal of ePractice. 2008; 4: 4-18.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Bessent A., Bessent W. Determining the comparative efficiency of schools through Data Envelopment Analysis // Educational Administration Quarterly. 1980. № 16. P. 57-75.</mixed-citation><mixed-citation xml:lang="en">Bessent A., Bessent W. Determining the comparative efficiency of schools through Data Envelopment Analysis. Educational Administration Quarterly. 1980; 16: 57-75.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Bessent A., Bessent W., Kennington J., Reagan B. An application of mathematical programming to assess managerial efficiency in the Houston independent school district // Management Science. 1982. № 12 (28). P. 1355-1367.</mixed-citation><mixed-citation xml:lang="en">Bessent A., Bessent W., Kennington J., Reagan B. An application of mathematical programming to assess managerial efficiency in the Houston independent school district. Management Science. 1982; 28 (12): 1355-1367.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Ku C.-Y. Overall Planning Model for efficiency evaluation and budget reallocation of non-profit organizations // Management Review. 1987. № 2 (26). P. 1-21.</mixed-citation><mixed-citation xml:lang="en">Ku C.-Y. Overall Planning model for efficiency evaluation and budget reallocation of non-profit organizations. Management Review. 1987; 26 (2): 1-21.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Beasley J. Determining teaching and research efficiencies // Journal of the Operational Research Society. 1995. № 4 (46). P. 441-452.</mixed-citation><mixed-citation xml:lang="en">Beasley J. Determining teaching and research efficiencies. Journal of the Operational Research Society. 1995; 46 (4): 441-452.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Warning S. Performance differences in German higher education: Empirical analysis of strategic groups // Review of Industrial Organization. 2004. № 4 (24). P. 393-408.</mixed-citation><mixed-citation xml:lang="en">Warning S. Performance differences in German higher education: Empirical analysis of strategic groups. Review of Industrial Organization. 2004; 24 (4): 393-408.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Leshukov O. V., Platonova D. P., Semyonov D. S. The Efficiency of Regional Higher Education Systems and Competition in Russia // Economy of Region. 2016. № 2 (12). P. 417426. DOI: 10.17059/2016-2-8</mixed-citation><mixed-citation xml:lang="en">Leshukov O. V., Platonova D. P., Semyonov D. S. The efficiency of regional higher education systems and competition in Russia. Ekonomika regiona = Economy of Region. 2016; 12 (2): 417-426. DOI: 10.17059/2016-2-8</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Сафиуллин М. Р., Абдукаева А. А., Юрков Д. В. Формализованная оценка эффективности региональных систем высшего образования через призму соотношения входных и выходных потоковых величин // Экономика науки. 2019. № 4 (5). С. 248-257. DOI: 10.22394/2410-132X-2019-5-4-2478-257</mixed-citation><mixed-citation xml:lang="en">Safiullin М. R., Abdukaeva А. А., Yurkov D. V. A formalized evolution of the efficiency of regional higher education systems through the prism of the relationship of inputs and outputs of flow values. Economika nauki = The Economics of Science. 2019; 5 (4): 248-257. DOI: 10.22394/2410-132X-2019-5-4-2478-257 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Agasisti T., Egorov A., Zinchenko D., Leshukov O. Efficiency of regional higher education systems and regional economic short-run growth: empirical evidence from Russia // Industry and Innovation. 2020. P. 1-28. DOI: 10.1080/13662716.2020.1738914</mixed-citation><mixed-citation xml:lang="en">Agasisti T., Egorov A., Zinchenko D., Leshukov O. Efficiency of regional higher education systems and regional economic short-run growth: empirical evidence from Russia. Industry and Innovation. 2020: 1-28. DOI: 10.1080/13662716.2020.1738914</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Полтерович В. М. Реформа РАН: экспертный анализ // Общественные науки и современность. 2014. № 1. С. 5-28.</mixed-citation><mixed-citation xml:lang="en">Polterovich V. M. Reform of RAS: Expert analysis. Obshhestvennye nauki i sovre-mennost’ = Social Sciences and Modernity. 2014; 1: 5-28. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Романов Е. В. Неэффективные вузы: миф и реальность // Университетское управление: практика и анализ. 2012. № 6. С. 70-76.</mixed-citation><mixed-citation xml:lang="en">Romanov E. V. Ineffective university: Myth and reality. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. 2012; 6: 70-76. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Беляков С. А., Федотов А. В., Фигурин А. В. Процессы объединения в системе высшего образования: проблемы и возможности // Университетское управление: практика и анализ. 2013. № 6. C. 8-18.</mixed-citation><mixed-citation xml:lang="en">Belyakov S. A., Fedotov A. V., Figurin A. V. Integration processes in higher education: Challenges and opportunities. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. 2013; 6: 8-18. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Нуриева Л. М., Киселев С. Г. Проблемы измерений эффективности учреждений высшего профессионального образования // Образование и наука. 2016. № 4. С. 95-116. DOI: 10.17853/1994-5639-2016-4-95-116</mixed-citation><mixed-citation xml:lang="en">Nurieva L. M., Kiselev S. G. The problems of measurement the higher professional education institutions efficiency. Obrazovanie i nauka = The Education and Science Journal. 2016; 4: 95-116. DOI: 10.17853/1994-5639-2016-4-95-116 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Губа К. С., Соколов М. М., Цивинская А. О. Фиктивная эффективность: что на самом деле оценивал Мониторинг эффективности образовательных организаций // Вопросы образования. 2020. № 1. С. 97-125. DOI: 10.17323/1814-9545-2020-1-97-125</mixed-citation><mixed-citation xml:lang="en">Guba K. S., Sokolov М. М., Tsivinskaya А. О. Fictitious efficiency: What the Russian survey of performance of higher education institutions actually assessed. Voprosy obrazovaniya = Educational Studies Moscow. 2020; 1: 97-125. DOI: 10.17323/1814-9545-2020-1-97-125 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Романов Е. В. Институциональные ловушки в научно-образовательной сфере: природа и механизм ликвидации // Образование и наука. 2020. № 9 (22). С. 107-147. DOI: 10.17853/1994-5639-2020-9-107-147</mixed-citation><mixed-citation xml:lang="en">Romanov Е. V. Institutional traps in the scientific and educational sphere: Nature and mechanism of elimination. Obrazovanie i nauka = The Education and Science Journal. 2020; 22 (9): 107-147. DOI: 10.17853/1994-5639-2020-9-107-147 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit22"><label>22</label><citation-alternatives><mixed-citation xml:lang="ru">Новгородов П. А. Эффективность деятельности вузов: от мониторинга и рейтингов к оценке интеллектуального капитала // Управленец. 2018. № 1 (9). С. 48-55. DOI: 10.29141/2218-5003-2018-9-1-7</mixed-citation><mixed-citation xml:lang="en">Novgorodov P. A. Efficiency of universities performance: From monitoring and ranking to intellectual capital evaluation. Upravlenets = The Manager. 2018; 9 (1): 48-55. DOI: 10.29141/2218-5003-2018-9-1-7 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit23"><label>23</label><citation-alternatives><mixed-citation xml:lang="ru">Pellenbarg, P. H. How to Calculate the Impact of a University on the Regional Economy. A Case Study of the University of Groningen, the Netherlands // J. Kern, J. Malinovsky, &amp; J. Suchacek (Eds.), Learning Regions in Theory and Practice. VSB - Technicka Univerzita, Ostrava, 2007. P. 169-197.</mixed-citation><mixed-citation xml:lang="en">Pellenbarg P. H. How to calculate the impact of a university on the regional economy. A Case study of the University of Groningen, the Netherlands. In: Kern J., Malinovsky J., Suchacek J. (eds.). Learning regions in theory and practice. VSB - Technicka Univerzita, Ostrava; 2007. p. 169-197.</mixed-citation></citation-alternatives></ref><ref id="cit24"><label>24</label><citation-alternatives><mixed-citation xml:lang="ru">Романов Е. В. Оценка эффективности деятельности вузов: противоречия и парадоксы. Часть I // Образование и наука. 2019. № 9 (21). С. 9-48. DOI: 10.17853/1994-5639-2019-9-9-48</mixed-citation><mixed-citation xml:lang="en">Romanov E. V. Efficiency assessment of higher education institutions: Contradictions and paradoxes. Part I. Obrazovanie i nauka = The Education and Science Journal. 2019; 21 (9): 9-48. DOI: 10.17853/1994-5639-2019-9-9-48 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit25"><label>25</label><citation-alternatives><mixed-citation xml:lang="ru">Берестов А. В., Гусева А. И., Калашник В. М., Каминский В. И., Киреев С. В., Садчиков С. М. Проект «национальный исследовательский университет» - драйвер российского высшего образования // Высшее образование в России. 2020. № 6 (29). С. 22-34. DOI: 10.31992/0869-3617-2020-6-22-34</mixed-citation><mixed-citation xml:lang="en">Berestov A. V., Guseva A. I., Kalashnik V. M., Kaminsky V. I., Kireev S. V., Sadchi-kov S. M. Project “National Research University” - Driver of Russian Higher Education. Vysshee obrazovanie v Rossii = Higher Education in Russia. 2020; 29 (6): 22-34. DOI: 10.31992/0869-3617-2020-6-22-34 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit26"><label>26</label><citation-alternatives><mixed-citation xml:lang="ru">Болгова М. А., Подлегаев А. В. Стратегии деятельности образовательных организаций высшего образования в условиях модернизации высшего образования в Российской Федерации. Социально-экономический анализ // Вестник Магнитогорского государственного технического университета им. Г. И. Носова. 2015. № 4 (52). С. 117-122.</mixed-citation><mixed-citation xml:lang="en">Bolgova M. A., Podlegayev A. V. Strategies for the activities of higher education institutions in the context of the modernization of higher education in the Russian Federation. Socio-economic analysis. Vestnik Magnitogorskogo gosudarstvennogo tehnicheskogo universi-teta im. G. I. Nosova = Vestnik of Nosov Magnitogorsk State Technical University. 2015; 52 (4): 117-122. (In Russ.)</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
