Эксоцман
на главную поиск contacts

Рейтинговая оценка деятельности факультетов как элемент системы мониторинга качества образования в университете

Опубликовано на портале: 14-04-2004
Университетское управление. 2003.  № 4(27). С. 62-70. 
Одной из основных характеристик любой системы управления качеством, определяющей эффективность ее функционирования, является наличие адекватной системы поддержки процессов сбора, накопления, поиска, обработки и передачи информации. Она должна обеспечить руководителей вуза всех уровней обязательным минимумом информации о состоянии и развитии тех процессов и систем, за которые они отвечают и которыми управляют. При этом информация должна быть максимально полной по объему и содержанию, объективной, конкретной и наблюдаться в динамике. Мониторинг качества образования в вузе также предполагает постоянное слежение за состоянием образования в целом и отдельных его компонентов.

1. Вводные замечания

Одной из основных характеристик любой системы управления качеством, определяющей эффективность ее функционирования, является наличие адекватной системы поддержки процессов сбора, накопления, поиска, обработки и передачи информации. Она должна обеспечить руководителей вуза всех уровней обязательным минимумом информации о состоянии и развитии тех процессов и систем, за которые они отвечают и которыми управляют. При этом информация должна быть максимально полной по объему и содержанию, объективной, конкретной и наблюдаться в динамике. Мониторинг качества образования в вузе также предполагает постоянное слежение за состоянием образования в целом и отдельных его компонентов, в частности (1, 2).

К основным целям мониторинга качества образования в вузе можно отнести содействие выработке эффективных управленческих решений руководством вуза и его структурных подразделений в области повышения качества образовательной деятельности, оценивание своего положения среди других вузов, оценку и прогнозирование тенденций развития образовательной организации. Чтобы обеспечить достижение поставленных целей, необходимо получить достоверную и объективную информацию о деятельности вуза, систематизировать ее, разработать единые методики диагностики всех сторон научно-образовательной деятельности вуза, обработать собранную информацию, создать программные и технические средства для мониторинга.

В настоящее время существует ряд принятых в Минобразования РФ рейтингов, а именно: рейтинг вузов, рейтинг технических университетов, информационная система для оценки аккредитационных показателей и др., которые позволяют вузам отслеживать свое положение в референтной группе вузов.

При создании системы мониторинга следует учитывать, что деятельность вуза многообразна, следовательно, мониторинг имеет несколько объектов для наблюдения. Управление процессом образования в конечном итоге сводится к выработке и постоянному обновлению системы управляющих воздействий, направленных на устранение возникающих противоречий в образовательном процессе. Университет готовит высококвалифицированных специалистов на базе научных исследований. Основным принципом университетского образования является получение научно-педагогическим персоналом научных знаний и передача их студентам через образовательный и научный процессы. Носителями и реализаторами обоих процессов являются как профессорско-преподавательский коллектив, в целом, так и отдельный преподаватель, в частности. При этом полагается, что преподаватель обязательно сочетает в себе в разных соотношениях как исследовательские, так и педагогические функции. Администраторы вуза разного уровня, как участники научно-образовательного процесса, являются также представителями профессорско-преподавательского состава со всеми отмеченными особенностями, а следовательно, одновременно субъектом и объектом управления в вузе. Поэтому если их воздействия на научно-образовательный процесс будут определяться лишь субъективно, то они окажутся либо безрезультатными, либо приведут к отрицательным последствиям. Принятие объективных управленческих решений, позитивно воздействующих на процесс, возможно лишь на основе количественной оценки параметров научно-образовательного процесса.

2. Методика оценки качества деятельности факультетов

С 1998 года в Новосибирском государственном техническом университете разработана и применяется на практике рейтинговая система оценки деятельности факультетов, позволяющая количественно выявлять положительные тенденции в развитии университета, укреплять и развивать их, а также обнаруживать слабые места в работе, которые необходимо устранить для повышения качества (2, 3). При оценке качества научно-образовательного процесса в НГТУ определены и выделены три взаимосвязанных и взаимозависимых показателя:

  • уровень, качество и результативность научных исследований (номинация "Наука");
  • уровень, качество и результативность обучения (номинация "Образование");
  • интенсивность развития и ресурсообеспечение (номинация "Развитие").

Для количественной оценки и управления могут использоваться различные объекты: факультеты, кафедры, отделы и другие структурные подразделения вуза. Полученные результаты мониторинга можно наблюдать в динамике развития структурной единицы, сравнивать с "себе подобными" или лучшими в группе (бенчмаркинг), использовать для формирования норм на уровне вуза, факультета, кафедры и пр. Все показатели измеряемы и делятся на две зависимые группы - показатели потенциальных возможностей подразделения и показатели его активности в деятельности. Поскольку эти группы взаимозависимы, при свертке показателей полученные значения перемножаются (мультипликативный принцип). Какими бы возможностями ни обладало подразделение, при отсутствии деятельности рассматриваемый показатель оказывается нулевым.

Для количественной оценки параметров необходимо выделить группы независимых (или слабо зависимых) измеряемых параметров в каждой из групп и договориться о методике свертки групп показателей. В основе этой методики должен лежать аддитивный весовой принцип свертки значений независимых показателей. Свертка показателей производится после получения их относительного значения. В качестве знаменателя отношения выбирается среднее значение по университету для каждого из показателей. Выработка управляющих мер воздействия приоритетна в том направлении, где показатели процесса наиболее низки.

Ниже приводится принятый в настоящее время алгоритм расчета рейтинга факультетов НГТУ. Этот алгоритм и весовые коэффициенты аддитивных сверток уточняются на совещаниях заинтересованных сторон перед началом оцениваемого периода.

Для номинации "Наука" рейтинг факультетов определяется следующим образом:

Н = Пнауки Анауки,

где Пнауки - научный потенциал, Анауки - активость в проведении научно-исследовательских работ.

Для определения научного потенциала используется выражение:

где Кнауки - кадровый потенциал научной деятельности факультета, М - материальная база (стоимость оборудования (основных фондов), приходящаяся на одного сотрудника, относительно среднеуниверситетской величины), Инж - инженерные кадры научной деятельности (относительное число инженеров и лаборантов в подразделении), Онауки - уровень организации НИР.

Кадровый потенциал научной деятельности:

Кнауки = С1  Канд + С2 Докт + С3 Ак + С4 (РАН + ЗД),

где Канд - относительное число кандидатов наук, Докт - относительное число докторов наук, Ак - относительное число членов общественных академий, РАН - относительное число академиков и членов-корреспондентов РАН, ЗД - относительное число лиц, имеющих звание "Заслуженный деятель...", С1 С4 - постоянные коэффициенты, устанавливаемые после коллегиального обсуждения заинтересованных сторон с учетом приоритетов, сформировавшихся в университете на данный момент.

Уровень организации НИР:

Онауки = В1 НИЧ + В2 Лаб + В3 Асп + В4 Докт + В5 ЧСС,

где НИЧ - общее число сотрудников факультетов, оформленных в НИЧ, Лаб - общее число академических, отраслевых, научных лабораторий, Асп - общее число аспирантов, Докт - общее число докторантов, ЧСС - общее число членов специализированных советов, В1 В4 - постоянные коэффициенты.

Активность в проведении НИР:

Анауки = 0,3 Объемы + 0,4 Личн. вкл. + 0,3 Научная школа,

где Объемы - относительный годовой объем научных работ.

Научная школа = D1 Дкз + D2 С,

где Дкз - относительное число докторских и кандидатских защит за год, С - относительное число научных семинаров, конференций и т. п. регионального и выше уровня, за год, D1 D4 - постоянные коэффициенты.

Личн. вкл. = E1 Ст + EЧ Тез + E3 Пат + + E4 Мон + E5 Поездки,

где Ст - общее число опубликованных статей, Тез - общее число опубликованных тезисов докладов, Пат - общее число полученных патентов, Мон - общее число опубликованных монографий, Поездки - общее число зарубежных поездок, E1 E4 - постоянные коэффициенты.

Для номинации "Образование" рейтинг факультетов определяется из выражения:

О = Побр Аобр,

где Побр - потенциальные возможности образовательного процесса, Аобр - активность участников образовательного процесса.

Потенциальные возможности образовательного процесса:

Побр = Кобр + Студ,

где Кобр - потенциал преподавательского состава, Студ - студенческий потенциал.

Потенциал преподавательского состава:

Кобр = F1 Доц + F2 Проф,

где Доц - относительное число доцентов, Проф - относительное число профессоров, F1 F4 - постоянные коэффициенты.

Студенческий потенциал:

Студ = G1 Мед + G2 Балл,

где Мед - относительное число поступивших медалистов, Балл - относительный средний балл поступивших, G1 G4 - постоянные коэффициенты.

Активность участников образовательного процесса:

Аобр = Апреп + А студ,
Апреп = Н1 Совм + Н2 Уч + Н3 УП + Н4 Мет,

где Совм - относительное число совместителей, Уч - число учебников и учебных пособий российского применения на одного преподавателя, УП - число учебных пособий внутривузовского применения на одного преподавателя, Мет - число методических указаний на одного преподавателя, Н1 Н4 - постоянные коэффициенты.

Астуд = J1 ЗП + J2 Гр + J3 Ст + J4 ПД + J5 Пат,

где ЗП - заработная плата студентов относительно объема выполненных работ, Гр - относительное число студентов, получивших гранты НГТУ, Ст - число статей, соавторами которых являются студенты, на одного студента, ПД - число премий, дипломов, призовых мест регионального и выше рангов на одного студента, Пат - число патентов, соавторами которых являются студенты, на одного студента, J1 J4 - постоянные коэффициенты.

Для номинации "Развитие" рейтинг факультетов определяется следующим образом:

Р = Празв Аразв,

где Празв - потенциальные возможности развития, Аразв - конкретные результаты развития.

Потенциальные возможности развития:

Празв = K1 Кобщ + KЧ Ф + K3 Пл,

где Кобщ - число сотрудников факультета на одного студента относительно среднего по всем факультетам, Ф - число внебюджетных средств факультета за год на одного сотрудника относительно среднего по всем факультетам, Пл - площадь на 1 человека (сотрудники + студенты) относительно средней по университету, K1 K4 - постоянные коэффициенты.

Определение показателя конкретных результатов развития:

Аразв = 0,3 МТБ + 0,4 Каф + 0,3 ОТ,

где МТБ - показатель развития материально-технической базы, Каф - показатель развития образовательных структур, ОТ - показатель развития технологий образования. Коэффициенты 0,3, 0,4, 0,3 устанавливаются эмпирически с учетом того, чтобы их сумма была равна 1.

Показатель развития материально-технической базы:

МТБ = МЦЕН + СПОН,

где МЦЕН - относительная сумма внебюджетных средств, потраченных на приобретение материальных ценностей, СПОН - число единиц основного оборудования, переданного спонсорами из расчета на одного сотрудника, относительно среднего по всем факультетам.

Показатель развития образовательных структур:

Каф = L1 (1,0 + Кф + 0,5 Фкф)(0,2 + 1,0 Напр)(0,5 + 1,0 Спец) Курс + L2 УчЛаб,

где Кф - число вновь открытых кафедр, Фкф - число вновь открытых филиалов кафедр, Напр - число вновь открытых направлений подготовки, Спец - число вновь открытых специальностей, Курс - число вновь поставленных курсов, УчЛаб - число вновь открытых учебных лабораторий, L1, L2 - постоянные коэффициенты.

Примечание: Неизвестные коэффициенты в выражениях свертки - С, Е, В и др. назначаются экспертно или определяются по выражению:

C = 1 / (n g)

где n - число членов в выражении, g - базовое значение показателя (по всем факультетам).

Данная методика открыта к изменениям. Возможно введение новых актуальных на данный момент показателей или исключение незначимых. При практическом применении в НГТУ описанная выше общая методика также претерпела ряд изменений. За время ее использования происходила постепенная адаптация методики к реальной ситуации в университете с учетом меняющихся приоритетов. По результатам рейтинга факультетов подводятся итоги в каждой номинации. При этом определяются высокий, общеуниверситетский и низкий уровни, выделяются показатели, оказавшиеся наиболее значимыми (высокими, низкими) для данного факультета.

3. Результаты оценки деятельности факультетов НГТУ в 2002 г.

Рейтинговая оценка деятельности факультетов в 2002 г., приведенная в таблице 1, построена на основе статистических данных, полученных из централизованных служб университета (планово-финансовый отдел, бухгалтерия, научно-исследовательская часть, отдел кадров и пр. ), годовых отчетов кафедр и сведений, представленных деканами факультетов. По этим данным вычислялись относительные показатели (на одного преподавателя, научного сотрудника, студента) по университету, в целом, и по каждому факультету, в отдельности. Отношение среднефакультетского показателя к среднеуниверситетскому дает первичный относительный показатель деятельности факультета. Таким образом, первичные показатели характеризуют положение дел на факультете по сравнению со среднеуниверситетскими. Далее первичные показатели подвергаются сверткам (групповой и итоговой) по выражениям, приведенным выше. Результаты, полученные в процессе свертки, также относятся к среднеуниверситетским.

Таблица 1

Рейтинг факультетов НГТУ (итоги 2002 г. )
Наименование показателя АВТФ МТФ ЭМФ ФБ ФГО ФЛА ФПМИ РЭФ ФТФ ФЭН
НАУКА*
Определение научного потенциала
Кадровый потенциал = 0,4 кандидаты + 0,6 доктора
Кандидаты наук (в т. ч. академ. персонал НИЧ) 1,101 1,159 1,378 0,985 0,464 0,955 0,874 1,300 0,950 1,298
Доктора наук (в т. ч. академ. персонал НИЧ) 1,113 0,874 0,953 0,959 0,309 2,359 1,125 1,024 2,044 0,964
Кадровый потенциал 1,108 0,988 1,123 0,970 0,371 1,797 1,024 1,134 1,607 1,098
Организация науки = 0,4 аспиранты + 0,6 докторанты
0,4 асп + 0,6 докт 24,6 13,4 7,6 37,8 18,8 11,6 23 19,6 11 23,8
Организация науки 1,332 0,873 0,540 2,255 0,499 0,851 1,072 0,642 1,936 1,351
Научный потенциал = кадровый потенциал (0,7 + 0,3 организация науки)
Научный потенциал 1,218 0,950 0,968 1,335 0,315 1,717 1,046 1,012 2,058 1,213
Определение научной деятельности
Объем научных работ 1,307 1,107 0,494 0,055 0,173 1,549 0,432 1,784 0,499 2,725
Личная научная активность = 0,15 статьи + 0,05 тезисы + 0,40 патенты + 0,40 монографии
Статьи, доклады 1,022 0,784 1,025 1,267 0,332 1,493 0,928 1,187 1,856 1,425
Тезисы 0,874 0,865 0,408 1,584 0,143 0,552 1,789 0,552 4,482 2,037
Патенты 2,337 0,971 1,699 0,000 0,000 4,382 0,000 1,174 1,052 0,678
Монографии 1,336 2,010 0,439 3,312 0,819 0,452 0,863 0,202 0,000 0,700
Личная научная активность 1,120 1,900 1,029 1,594 0,385 2,185 0,574 0,756 0,923 0,867
Научные школы = защиты диссертаций
Защита диссертаций 2,353 1,699 0,927 0,259 0,231 1,912 0,810 1,281 0,000 0,740
Научные школы 2,353 1,699 0,927 0,259 0,231 1,912 0,810 1,281 0,000 0,740
Научная активность = 0,3 объем научных работ + 0,25 личная активность + 0,45 научные школы
Научная активность 1,731 1,572 0,823 0,532 0,252 1,871 0,638 1,300 0,380 1,367
Рейтинг = Научный потенциал Научная активность
Рейтинг 2,109 1,494 0,796 0,710 0,079 3,212 0,667 1,317 0,783 1,659
ОБРАЗОВАНИЕ**
Определение потенциальных возможностей образовательного процесса
Потенциал преподавателей = 0,4 доценты + 0,6 профессора
Доценты 1,175 1,238 1,350 1,017 0,504 0,966 0,759 1,235 0,546 1,441
Профессора 1,134 1,006 1,019 0,789 0,351 1,939 0,976 1,207 1,939 1,072
Потенциал преподавателей 1,150 1,098 1,151 0,880 0,413 1,550 0,889 1,219 1,382 1,220
Потенциал студентов = средний балл аттестата + средний проходной балл
Ср. балл аттестата 1,020 0,969 1,022 1,060 0,945 0,960 0,990 1,005 0,980 1,048
Ср. проходной балл 1,169 0,797 1,028 1,206 1,050 0,699 1,098 0,937 0,859 1,157
Потенциал студентов 2,189 1,766 2,050 2,266 1,996 1,659 2,088 1,942 1,839 2,205
Потенциальные возможности образования = 0,6 потенциал преподавателей + 0,4 потенциал студентов
Потенциальные возможности образования 1,566 1,365 1,511 1,435 1,046 1,594 1,369 1,508 1,565 1,614
ОПРЕДЕЛЕНИЕ АКТИВНОСТИ УЧАСТНИКОВ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА
Активность преподавателей = 0,6 учебные пособия + 0,4 методические указания
Учебные пособия 0,800 0,867 0,630 1,851 0,510 1,409 0,827 1,325 0,780 1,269
Методические указания 0,578 2,187 1,735 2,093 0,486 1,007 0,569 0,760 0,000 1,135
Активность преподавателей 0,711 1,395 1,072 1,948 0,501 1,248 0,724 1,099 0,468 1,215
Активность студентов = среднему значению из 5 нижеперечисленных показателей
Студенческие публикации 0,789 0,827 0,426 1,962 0,261 1,319 1,080 1,496 5,348 0,641
Дипломы студентов 0,325 2,414 0,510 3,050 0,000 3,184 0,000 0,291 0,495 1,302
Студенческие гранты 0,414 0,576 0,406 0,776 0,000 0,723 1,480 1,041 9,443 2,485
Именные стипендии 1,578 0,516 0,485 2,437 0,202 0,649 0,000 0,000 6,353 1,982
Магистранты 2,030 0,258 0,243 1,610 0,000 1,460 1,394 1,167 3,088 0,712
Активность студентов 1,027 0,918 0,414 1,967 0,093 1,467 0,791 0,799 4,945 1,425
Активность в образовательном процессе = 0,6 активность преподавателей + 0,4 активность студентов
Активность в образовании 0,838 1,204 0,809 1,956 0,337 1,335 0,750 0,979 2,259 1,299
Рейтинг = Образовательный потенциал Активность в образовательном процессе
Рейтинг 1,312 1,644 1,222 2,805 0,353 2,128 1,027 1,476 3,534 2,096
РАЗВИТИЕ***
Определение потенциальных возможностей развития
Потенциал развития = внебюджетные средства
Внебюджетные средства 1,711 0,683 1,120 1,364 1,385 0,497 0,358 0,428 0,620 1,285
Потенциал развития 1,711 0,683 1,120 1,364 1,385 0,497 0,358 0,428 0,620 1,285
Определение активности в развитии
Развитие материально-технической базы = покупка оборудования за счет внебюджетных средств + оборудование от спонсоров
Внебюджетные средства, потраченные на оборудование 1,090 0,235 1,941 1,734 0,035 0,595 0,278 1,086 0,324 2,538
Оборудование от спонсоров 1,285 0,453 2,462 0,000 0,000 0,478 1,532 0,000 2,571 3,728
Развитие МТБ 2,375 0,688 4,403 1,734 0,035 1,072 1,810 1,086 2,896 6,266
Развитие образовательных структур = (0,2 + 0,6 кафедра + 0,2 филиал) (0,5 + 0,5 направл.) (0,5 + 0,5 спец. )
Новые кафедры (за последние 5 лет) 0,000 1,111 0,000 1,111 4,444 1,111 0,000 1,111 0,000 1,111
Новые филиалы кафедр (за последние 5 лет) 0,833 0,278 0,278 3,611 0,833 0,833 0,000 1,389 0,278 1,667
Новые направления ( за последние 5 лет) 3,333 1,333 2,000 0,667 0,000 0,667 0,000 0,667 0,000 1,333
Новые специальности (за последние 5 лет) 1,724 1,379 1,379 1,724 1,034 0,345 0,345 1,034 0,000 1,034
Развитие образовательных структур 1,082 1,280 0,456 1,803 1,543 0,579 0,067 0,970 0,064 1,424
Активность в развитии = 0,4 материально-техническая база + 0,6 образовательные структуры
Активность в развитии 1,599 1,043 2,035 1,776 0,940 0,347 0,764 1,017 1,197 3,361
Рейтинг = Потенциал развития Активность в развитии
Рейтинг 2,737 0,712 2,279 2,422 1,302 0,173 0,274 0,435 0,742 4,320
 

* Высокий уровень: ФЛА (самая высокая личная научная активность и активность научных школ); АВТФ (высокая научная активность), ФЭН (самый большой объем научных работ).
Общеуниверситетский уровень: МТФ, РЭФ, ФТФ, ЭМФ, ФБ.
Низкий уровень: ФГО (низкая личная научная активность и активность научных школ); ФПМИ (низкая личная научная активность).

** Высокий уровень: ФТФ (самая высокая активность в образовательном процессе); ФБ (самый высокий потенциал студентов); ФЛА (самый высокий потенциал преподавателей).
Общеуниверситетский уровень: ФЭН, МТФ, РЭФ, АВТФ, ЭМФ.
Низкий уровень: ФГО (очень низкая активность в образовательном процессе и потенциальные возможности); ФПМИ (низкая активность в образовательном процессе).

*** Высокий уровень: ФЭН (самое эффективное развитие материально-технической базы); АВТФ (очень высокий потенциал развития); ФБ (высокое развитие образовательных структур).
Общеуниверситетский уровень: ЭМФ, ФГО, ФТФ, МТФ, ФТФ.
Низкий уровень: ФЛА (низкий потенциал развития); ФПМИ (низкий потенциал развития и низкая активность в развитии образовательных структур).

На рис. 1 приведены лепестковые диаграммы для каждого факультета, позволяющие оценить достижения факультетов по сравнению с нормативными значениями показателей по университету (на диаграммах - окружность). В качестве нормативных значений приняты медианы показателей, приведенные в табл. 2.

рис. 1.

Рис. 1. Лепестковая диаграмма рейтинга факультетов

На рис. 2 представлены достижения факультетов по каждой из трех номинаций: "Наука", "Образование", "Развитие" в виде диаграмм Парето. Диаграммы также наглядно представляют группы факультетов среднеуниверситетского уровня (лежащие в размахе между первой и третьей квартилями), высокого уровня и низкого уровня. При этом первая квартиль (верхняя граница) соответствует значению рейтинга на уровне вероятности 0,25, а третья квартиль (нижняя граница) - на уровне вероятности 0,75.

рис. 2.

Таблица 2

Нормативные показатели
Показатель Развитие Наука Образование
потенциал активность рейтинг потенциал активность рейтинг потенциал активность рейтинг
Медиана 1,130 1,130 1,130 1,130 1,130 1,130 1,130 1,130 1,130
Первая квартиль 1,335 1,572 1,659 1,566 1,335 2,128 1,364 1,776 2,422
Третья квартиль 0,968 0,968 0,968 0,968 0,968 0,968 0,968 0,968 0,968 0,968
 

Рис. 2. Диаграмма Парето рейтинга факультетов

Литература

1. Гутник Г. В. Мониторинг в контексте информатизации образования // Стандарты и мониторинг в образовании. 2001. N 4. С. 25.

2. Савельева Г. П., Никитина Н. Ш., Скок Г. Б. Примерная методика обобщения и анализа информации о качестве образования в вузе и системе его обеспечения // Нормативно-методическое обеспечение мониторинга качества образования в России / Под ред. Н. А. Селезневой, А. И. Субетто. Изд. 2-е. М., 2003. 22 с.

3. Востриков А. С., Никитина Н. Ш., Целебровский Ю. В. Рейтинговая оценка деятельности факультетов Новосибирского государственного технического университета в1998-2001 гг. Новосибирск: Изд-во НГТУ, 2002. 25 с.


Никитина Н. Ш. Рейтинговая оценка деятельности факультетов как элемент системы мониторинга качества образования в университете / Н. Ш. Никитина // Университетское управление: практика и анализ. - 2003. - N 4(27). С. 62-70


BiBTeX
RIS
Ключевые слова

См. также:
Вера Владимировна Азарьева, Сергей Анатольевич Степанов
Университетское управление. 2005.  № 4(37). С. 48-55. 
[Статья]
Jack R. Meredith, Samuel J. Mantel, Jr.
[Книга]
Сергей Михайлович Пястолов
Высшее образование в России. 2004. 
[Статья]
Надежда Шагабановна Никитина
Университетское управление. 2003.  № 5-6(28). С. 84-88. 
[Статья]