Рейтинг высшего учебного заведения как показатель его репутации

      Так же опубликован новый рейтинг российских ВУЗов по специальностям, основанный на исследовании Государственного университета - Высшая школа экономики (ГУ-ВШЭ), в результате которого видно, что лучшие университеты регионов составляют конкуренцию ВУЗам Москвы. В основе рейтинга лежит средний балл ЕГЭ по первому предмету (средневзвешенный с учетом численности студентов данной специальности). (см приложение 1)
 

Рейтинг российских вузов от журнала Forbes

       Государственный университет — Высшая школа экономики (ГУ-ВШЭ) опубликовал результаты своего очередного исследования российских вузов. Нюансом этого рейтинга российских университетов является то, что он построен на базе сухих цифр статистики. Анализируя эти цифры, журнал Forbes представляет свою интерпретацию рейтинга самых сильных университетов России. Основным показателем в рейтинге также является средний балл ЕГЭ у студентов, поступивших на бюджетные места в 2010 году. Но для отсечения нерепрезентативных результатов Forbes ввел ряд дополнительных критериев, в итоге рейтинг строился на основании следующих факторов: - средний балл ЕГЭ у студентов, поступивших на бюджетные места в 2010 году; - минимальный проходной балл ЕГЭ по университету; - общее количество студентов и количество призеров олимпиад; - были исключены институты и университеты силовых ведомств; - были исключены медицинские институты и университеты; - были исключены университеты Северо-Кавказского федерального округа; - были исключены вузы, в которых средний балл ЕГЭ завышен за счет большого количества студентов, принятых по целевому набору без экзаменов; - количество студентов, поступивших по конкурсу, должно превышать 150 человек. Результат такого анализа цифр показал, что МГУ - лидирующий по ряду параметров с большим отрывом от других университетов - не занял первого места. Результаты анализа приведены в следующей таблице.

Таблица 5

Рейтинг вузов от журнала Forbes

Рейтинг российских вузов от агентства «РейтОР»

Основы методологии и методики НРА «РейтОР»

       В своей деятельности НРА «РейтОР» (далее – Агентство) руководствуется Берлинскими принципами ранжирования вузов, принятыми на втором совещании Международной экспертной группы по ранжированию.

       Однако современные российские условия требуют конкретизации этих принципов. В этой связи специалистами Агентства сформулированы базовые принципы методологического подхода: [28]

1.      вариативность, предполагающая реализацию множества дополняющих друг друга исследовательских проектов в целях полноценного информирования различных целевых аудиторий о состоянии дел в системе высшего профессионального образования России;

2.      альтернативность, означающая, что Агентство не стремится монополизировать сферу составления рейтингов вузов в России, а предлагает лишь несколько возможных подходов к составлению рейтингов;

3.      информативность, заключающаяся в использовании как можно большего числа источников информации для составления рейтингов;

4.      кумулятивность, ориентация на соотнесение количественных и качественных методов исследования в целях повышения содержательности методики составления рейтингов и реализации исследовательских проектов;

5.      методичность, разработка методики исследований с учетом накопленного российского и зарубежного опыта составления рейтингов вузов;

6.      доступность, распространение информации о результатах исследовательских проектов через максимально возможное число источников информации, ориентированных на различные целевые аудитории.

       При составлении отдельных рейтингов специалистами Агентства используются различные методы сбора и анализа данных, критерии и показатели. Конкретизацией базовых принципов методологического подхода Агентства является алгоритм составления рейтингов вузов, который остается неизменным для всех рейтинговых проектов. Данный алгоритм схематично представлен на рисунке 1.

       К действиям алгоритма составления рейтинга относятся определение уровня рейтинга, определение объекта рейтингования, формулировка содержательной интерпретации рейтинга, определение показателей (критериев) рейтинга, расчет весовых коэффициентов показателей (критериев), сбор данных, свертка показателей рейтинга, презентация результатов рейтинга, определение регулярности и повторяемости рейтинга. Рассмотрим каждый из этих элементов более подробно.

       Первоначальными действиями, предвосхищающими собственно составление рейтинга, являются определения уровня рейтинга и объекта рейтингования.
       Под уровнем принято понимать территориальный масштаб совокупности вузов, сравниваемых в рейтинге. Всего можно выделить четыре основных уровня рейтинга:

        локальный – сравниваются вузы одного микрорегиона (например, субъекта федерации);

        национальный – сравниваются вузы одного государства;

        региональный – сравниваются вузы одного макрорегиона (например, Европы);

        глобальный – сравниваются вузы мира.

       Не менее важным аспектом, предопределяющим другие действия алгоритма составления рейтинга, является определение объекта рейтингования. В рейтинге между собой могут сравниваться образовательные программы, образовательные направления (направление объединяет несколько схожих образовательных программ), вузы в целом, государства.

       Базовое действие в процессе составления рейтинга – это формулировка его содержательной интерпретации. Содержательная интерпретация определяется перед формированием рейтинга. Другими словами, изначально исследователь определяет, по какому критерию он будет сравнивать вузы друг с другом. Заранее определенный критерий позволяет избежать ошибок интерпретации результатов.

Рис. 1. Алгоритм составления рейтингов вузов [28]

       Содержательная интерпретация рейтинга может быть совершенно различной. Рейтинг может отражать успехи вуза в академической и научной деятельности, достижения в области качества образования, проводить сравнение вузов по уровню материально-технического обеспечения вуза, оценивать известность вуза в мировом научном сообществе, определять уровень организации научно-исследовательской деятельности в вузе и/или уровень организации вузовской издательской деятельности, оценивать качество наполнения официальных Интернет-сайтов вуза и т.д. Содержательная интерпретация рейтинга во многом определяет те цели и задачи, которые необходимо решить составителю в ходе реализации проекта. Исходя из содержательной интерпретации, определяются критерии и показатели рейтинга.

       Критерии рейтинга – это те характеристики объекта сравнения, которые мы планируем измерять. Показатели рейтинга – это те количественные переменные, которые позволяют оценить объект сравнения по заданным критериям.
       При подборе показателей рейтинга специалистами Агентства в максимальной степени учитываются следующие требования:

        релевантность – соответствие показателя содержательной интерпретации рейтинга;

        наполняемость - возможность сбора значений показателя по всей совокупности исследуемых вузов;

        измеримость – возможность измерить показатель по порядковой, интервальной или количественной шкале;

        стабильность – слабая изменяемость показателя во времени;

        объективность – минимальное участие исследователя (составителя рейтинга) при подсчете показателя.

       Если для характеристики итогового рейтингового значения или измерения одного из заданных критериев используется несколько показателей, то возникает необходимость подбора весовых коэффициентов этих показателей.         Под весовым коэффициентом принято понимать относительную значимость конкретного показателя в сравнении с другими. Как правило, сумма весовых коэффициентов всех показателей, характеризующих критерий рейтинга, составляет 100% или 1. В частности, если весовой коэффициент одного показателям составляет 40%, а другого – 20%, то это значит, что первый показатель является в два раза более значимым при составлении рейтинга, чем второй.

       Для подбора весовых коэффициентов показателей специалисты Агентства используют как количественные, так и качественные методы. Среди количественных стоит выделить факторный анализ (как правило, используется метод выделения главных компонент), наиболее распространенным качественным методом является экспертный опрос во всех его вариациях.

       Определение показателей и их весовых коэффициентов при расчете рейтинга позволяет перейти непосредственно к сбору данных.

       Существует четыре основных группы методов сбора данных, которые использует в своей деятельности Агентство: [28]

        запросы в вузы (получение статистической информации непосредственно от вузов);

        социологические опросы (студентов, преподавателей вузов и т.д.);

        получение других статистических данных (изучение баз данных, контрактные работы и т.д.);

        экспертные опросы.

       Для измерения показателей рейтинга могут использоваться три вида шкал: порядковая, интервальная, количественная. В целях сопоставления и агрегирования значений показателей шкалы обычно нормируются, т.е. приводятся в сопоставимый вид. Для этого используется несколько методов. Специалисты Агентства обычно используют формулу Z-агрегирования, которая применяется в некоторых зарубежных рейтингах, или осуществляют нормирование по максимальному значению.

       Наличие нескольких показателей для подсчета итогового критерия или одного из заданных критериев и соответствующих весовых коэффициентов предполагает использование процедуры свертки. При составлении рейтинга наиболее часто используются две процедуры свертки: аддитивная и мультипликативная.
       Аддитивная свертка предполагает арифметическое сложение показателей с соответствующими весовыми коэффициентами.

      Мультипликативная свертка предполагает перемножение показателей с учетом весовых коэффициентов.

       Последнее действие составления рейтинга – презентация его результатов. На данном этапе важную роль играет форма представления результатов. Фактически ее контуры определяются на входе, т.е. до начала процесса составления рейтинга. Однако реально форма представления рейтинга существенно зависит от полученных в ходе исследования данных.

       Специалисты Агентства используют три основных формы презентации результатов рейтинга: [28]

1.      Составление таблицы лиг (league table) – разбиение совокупности объектов на несколько групп (обычно не менее трех). В рамках каждой группы все сравниваемые объекты получают одинаковый статус. Различия между группами определены по порядковой шкале.

2.      Ранжирование, рэнкинг, ранги (ranking) – упорядочивание совокупности объектов, при котором каждый из них имеет свой порядковый номер (в некоторых случаях – несколько объектов имеют одинаковый ранг). Используется порядковая шкала.

3.      Рейтингование, рейтинг (rating) – упорядочивание совокупности объектов, при котором каждый из них имеет свое количественное значение. Используется количественная шкала.

       Одним из основных преимуществ рейтинга является регулярность его составления. При этом важную роль играет точное воспроизведение методики: если показатели или весовые коэффициенты показателей от года к году изменяются, то динамику рейтинга за несколько лет проследить практически невозможно.
       Регулярность – составление рейтинга через определенный период времени. Специалисты Агентства составляют как регулярные, так и разовые рейтинги.
        Повторяемость – точное воспроизведение методики составления рейтинга (показатели и критерии, весовые коэффициенты, процедуры сбора данных, процедуры свертки, форма представления итогового результата) при его регулярности. В настоящее время процедуры составления рейтинга отработаны по значительной части проектов до такой степени, что многие рейтинги Агентства являются одновременно регулярными и повторяемыми.

Данный рейтинг российских вузов составлен в рамках исследования НРА «РейтОР» «Глобальный рейтинг мировых университетов».

Таблица 6

Рейтинг вузов от независимого рейтингового агентства в сфере образования «Рейтор»