Эксоцман
на главную поиск contacts

Студенты учатся на реальных проектах

Елена Карданова, ведущий научный сотрудник Центра мониторинга качества образования НИУ ВШЭ
12.08.2013
…цель моего курса — готовить специалистов-практиков, которые сразу смогут пойти работать. И для этого мало просто рассказать им об основных методах анализа данных по книгам и статьям. Нужно дать им возможность как можно больше поработать «руками» с реальными данными. И это мировая практика преподавания: в ведущих университетах уже давно отошли от такой формы организации занятий, как рассказ лектора о чем-либо. Все, что можно прочитать в книжке, студенты читают дома. Задача преподавателя — научить этим пользоваться.

— Елена Юрьевна, какие курсы вы преподаете?

— Я преподаю один курс – «Психометрические теории и анализ тестовых заданий» – слушателям совместной магистерской программы Института образования и факультета психологии ВШЭ «Измерения в психологии и образовании». Если не брать в расчет некоторых краткосрочных программ повышения квалификации, аналогов ей в России нет.

— О чем этот курс? Чем определяется его актуальность?

— Актуальность курса обусловлена тем, что в нашей стране до сих пор практически отсутствует культура использования тестовых технологий – не только в образовании, но и в психологии, в других науках. Даже существующие тесты и различные методики – преимущественно переводные, их, как правило, используют без научно обоснованных процедур валидизации на российских выборках. Знания в этой области поверхностны, исследования неглубокие, специалистов в области измерений не хватает. Следствие всего этого – низкая тестологическая культура общества, которая сейчас проявляется, например, в его отношении к ЕГЭ. Одно из предложений Общественной палаты РФ по совершенствованию ЕГЭ – начало массовой подготовки специалистов по педагогическим измерениям, в частности, введение курса по педагогическим измерениям в программы подготовки будущих учителей в педвузах.

Мой курс в этом контексте особенно важен, потому что посвящен теории и методике измерений самых различных компетенций. Его цель созвучна цели нашей магистерской программы – подготовить специалистов, владеющих технологиями разработки тестов (педагогических или психологических) на всех этапах – от операционализации конструкта, разработки  заданий до выбора адекватной модели измерения, обработки результатов и их анализа.

— Ваш курс – междисциплинарный?

— Да, психометрия — междисциплинарная область, находящаяся на стыке нескольких дисциплин. Это, с одной стороны, психология и педагогика, с другой — математика, в первую очередь теория вероятностей и математическая статистика. Курс состоит из двух частей. В рамках первой – больше внимания уделяется классической теории тестирования, основные принципы которой сложились еще в середине XX века. Вторая часть посвящена современной теории тестирования. В отличие от классической эта теория уже имеет глубокое математическое обоснование и требует знания основ математического моделирования.

Первую часть я читаю для первокурсников, вторую – для второкурсников. В основном у наших студентов психологическое образование, поэтому,  как правило, их математическая подготовка поначалу оставляет желать лучшего. Курсы по статистике и методам обработки данных,  которые читаются нашим студентам, помогают им лучше понимать мой курс.

— Какие сложности чаще всего возникают у ваших студентов, кроме тех, что связаны с математической подготовкой?

— Главная сложность в том, что они хотят всего и сразу.

Часто бывает так, что студенты прочитают какую-нибудь статью по психометрии и приходят ко мне с предложением «сделать такой же анализ». Естественно, как только они реально начинают этим заниматься, выясняется, что они очень многого не умеют и не знают, а самостоятельно восполнить все необходимые пробелы пока  не могут

Например, у нас есть такая тема исследований — анализ заданий теста на различное функционирование по отношению к разным группам участников. Когда разрабатывается тест, необходимо проверить, не окажется ли так, что формулировки заданий (всех или только некоторых) ставят какие-то группы участников (национальные, региональные т.д.) в заведомо худшие условия, чем прочих. Одна студентка первого года обучения как раз занимается этой темой, и ей хочется провести анализ в рамках современной теории тестирования. И ей обидно: самостоятельно это не освоишь – нужно ждать до следующего года.

Другая сложность связана с тем, что цель моего курса — готовить специалистов-практиков, которые сразу смогут пойти работать. И для этого мало просто рассказать им об основных методах психометрического анализа по книгам и статьям. Нужно дать им возможность как можно больше поработать «руками» с реальными данными. И это мировая практика преподавания: я сама училась в США, где уже давно отошли от такой формы организации занятий, как рассказ лектора о чем-либо. Все, что можно прочитать в книжке, студенты читают дома. Задача преподавателя — научить этим пользоваться.

— Каким образом удается сделать так, чтобы студенты могли работать с данными?

— Во-первых, мы с самого начала работаем со специальным программным обеспечением, которое во всем мире используется для психометрического  анализа тестовых заданий и тестов. Часть программ  предоставлена нашему университету Массачусетским университетом, часть закуплена специально для нашей программы.

Во-вторых, студенты проводят много исследований на протяжении своего обучения. Я регулярно даю им домашние задания в форме исследовательских проектов — индивидуальных или групповые, на группу из трех-четырех человек (в жизни пригодятся навыки и индивидуальной, и групповой работы). Если проект выполняется группой, у нее всегда есть координатор, выбранный членами группы. Когда проект выполнен, группа представляет его нескольким преподавателям, которые задают разные каверзные вопросы. Таким образом я стараюсь дать студентам представление о том, что такое презентация проекта перед заказчиком.

В-третьих, с самого начала обучения мы стараемся вовлекать студентов в реальные научные проекты, где они в силу своих возможностей работают с реальными данными. На занятиях мы обсуждаем проблемы, с которыми они сталкиваются, и пытаемся совместно их решить.

— Можете привести примеры проектов, в которые вовлечены ваши студенты?

— Конечно. Их много, но расскажу о двух.

У нас есть очень интересный с точки зрения методологии мониторинговый проект, оценивающий учебные компетенции учеников начальной школы. Его особенность – мощное психометрическое сопровождение. Такого, наверное, нет ни у одного российского тестирования. И наши студенты активно участвуют в различных исследованиях по этому проекту: обрабатывают данные апробаций, анализируют результаты, проводят вторичный анализ данных. Сейчас этот проект проходит международный аудит качества, и мы со студентами были очень удивлены, когда прочитали требования экспертов по набору необходимых психометрических исследований: оказалось, мы все их провели сами, без подсказок.

Другой пример исследования – анализ установок учителей математики по отношению к своему предмету, к эффективному обучению и преподаванию. Это международное исследование NorBA, в котором принимают участие северные и балтийские страны – Финляндия,  Эстония, Латвия, Норвегия. Любопытно, кстати, что информацию об этом исследовании  нашла студентка нашей магистерской программы, которая сейчас принимает активное участие в его проведении в России. 

— Какие темы проектов вам кажутся наиболее важными для студентов?

— Все темы важны. Но самая важная, наверное, тема обоснования валидности теста, методики. В ней много неочевидного. Допустим, есть тестирование на бланке, и есть точно такое же компьютерное тестирование. Идентичны они или нет? Практика международных тестирований показывает, что, как правило, нет, это два разных теста. Есть, например, международный сертификат на знание английского языка TOEFL. Его сдают в двух формах — либо в бланковой форме, либо отвечают посредством компьютера, причем в сертификате потом указывается, в какой форме сдавался экзамен, так как результаты двух форм тестирования напрямую не сравнимы.

После того как в рамках моего курса возникла тема компьютерного тестирования и влияния компьютерной формы на результаты, один из наших студентов  увлекся этой темой и теперь подготовил учебный курс, посвященный компьютерному тестированию. Я думаю, что такие результаты дает именно практическая направленность нашего обучения. В тот год, когда этот человек учился, я уделила особенностям компьютерных тестов не очень много внимания. Он захотел узнать об этом подробнее, и его интерес вылился в новый курс. 

— Что, на ваш взгляд, важно учитывать преподавателю курса, связанного с измерениями в социальных науках?

— У нас очень широкая тема и очень молодая наука. Ее сложно охватить всю. Не нужно бояться каждый год менять курс в зависимости от того, что кажется наиболее важным именно сейчас и более интересно аудитории. Так, я в первый год не включала в курс тему моделей с номинальными шкалами (это такие параметры, как мужчина/женщина, религиозная принадлежность – в общем, то, что нельзя ранжировать). Однако практика показала, что номинальные шкалы нужны, и я их потом включила, а теперь собираюсь разбирать их еще более подробно.

Не нужно также стесняться признавать, что ты чего-то не знаешь и не умеешь. В психометрии особенно важно постоянно изучать новое и перерабатывать старое.

Беседовала Екатерина Рылько