Рассмотрены проблемы оценки качества результатов обучения при аттестации студентов в контексте компетентностного подхода. Изложены ключевые положения теории педагогических измерений. Раскрыты основные подходы к разработке измерителей. Проанализированы процессы разработки и сертификации аттестационных тестов. Представлены формы тестовых заданий. Освещены классический и современный подходы к анализу качества тестовых заданий и тестов. Дан словарь терминов.
Для студентов высших учебных заведений, обучающихся по специальности "Менеджмент организации". Может использоваться при подготовке кадров по широкому кругу педагогических специальностей, а также при повышении квалификации и переподготовке кадров образования. Представляет интерес для исследователей и специалистов в области тестирования.
Содержание:
Список сокращений 1
Введение 1
1. Качество результатов обучения и его оценка 1
2. Основы теории педагогических измерений 13
3. Основные подходы к разработке измерителей 23
4. Аттестационные тесты. Их содержание, планирование, отбор и экспертиза 30
5. Формы тестовых заданий 32
6. Статистический анализ качества тестовых заданий и тестов 37
7. Сертификация аттестационных тестов 46
Заключение 47
Словарь терминов 48
Список литературы 50
В.И. Звонников, М.Б. Челышкова
Контроль качества обучения при аттестации: компетентностный подход
Список сокращений
ЕГЭ – единый государственный экзамен
ИСО 9001 – международные стандарты
КИМ – контрольно-измерительные материалы
ППС – профессорско-преподавательский состав
ПТМ – педагогические тестовые материалы
СМК – система менеджмента качества
ФГОС – федеральный государственный образовательный стандарт
АEA – American Evaluation Association (Американская ассоциация оценки)
AMA – American Management Association (Американская ассоциация менеджмента)
CES – Canadian Evaluation Society (Канадское общество оценки)
EQUIS – European Quality Improvement System (Европейская система совершенствования качества)
ETS – Educational Testing Service (Служба образовательного тестирования, США)
IRT – Item Response Theory (теория современного конструирования тестов)
ISO – International Organization for Standardization (Международная организация по стандартизации)
SOLO – Structure of the Observed Learning Outcomes (структура наблюдаемых результатов обучения)
SPSS – Statistical Package for the Social Sciences (статистический пакет для социальных наук)
ТQM – Total Quality Management (концепция всеобщего управления на основе качества)
TUNING PROJECT – Настройка образовательных структур в Европе (проект)
Примечание редактора электронного текста : Для корректрого отображения спецсимволов рекомендуется просматривать текст с использованием шрифта Lucida Sans Unicode.
Введение
В настоящем учебном пособии рассматриваются корректные подходы к оценке качества результатов образования в рамках компетентностного подхода. Оно содержит краткие теоретические и методические сведения о компетентностном подходе и измерениях в образовании, методики разработки аттестационных тестов, обзор возможностей инновационных измерителей и требования к их характеристикам, методики обработки и анализа данных тестирования.
В интересах краткости и доступности изложения в книге опущены темы, посвященные разработке междисциплинарных тестов, многомерному шкалированию, факторному анализу, современной теории тестов (Item Response Theory) и некоторые другие. Иными словами, в настоящем пособии не нашли отражения наиболее сложные методики аппарата педагогических измерений, которые используются профессионалами и необходимы для полноценной реализации компетентностного подхода к оценке качества результатов обучения. Поэтому изучение представленного в книге учебного материала можно и нужно рассматривать как важный, но лишь первый шаг в деле освоения практических умений оценивания компетенций студентов при их аттестации и внедрении компетентностного подхода в сферу высшего образования.
На содержание этой книги повлияли два обстоятельства, послужившие побудительным мотивом к ее появлению. Первое из них – это введение в высшей школе нового поколения федеральных государственных образовательных стандартов. А второе – отсутствие в нашей стране необходимого опыта педагогических измерений. И хотя статистическая теория обоснования качества тестовых оценок хорошо развита за рубежом, а в России вышло несколько учебных пособий на эту тему, создание тестов у нас по-прежнему обычно ведется интуитивно, без опоры на научные методы теории измерений.
Преподаватели посвящают немалое время разработке многочисленных контрольных заданий, имитирующих по форме тесты. Фактически же эти задания остаются обычными вопросами, поскольку их основные характеристики не опираются на доказательные количественные оценки. В первую очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. Именно этим характеристикам и их оценкам на основе развернутого статического анализа данных измерений в настоящем учебном пособии уделяется большое внимание.
Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерения, использования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением федеральных государственных образовательных стандартов третьего поколения, где требования к качеству результатов образования формулируются в виде набора общекультурных и профессиональных компетенций.
Весьма высокая сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций. К ним относятся многомерность, междисциплинарность, связь с индивидуальными задатками обучаемых, а также объективация компетенций после окончания обучения. Таким образом, сам компетентностный подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, влияющих на качество результатов образования.
Настоящее учебное пособие предназначено для тех преподавателей вузов, которые уже используют либо предполагают использовать в дальнейшем современные средства оценивания качества результатов обучения для подготовки своих студентов к аттестации на основе федеральных государственных образовательных стандартов третьего поколения. Авторы полагают, что оно заинтересует всех, кто склонен к введению инноваций в традиционный контрольно-оценочный процесс в вузе.
Заметим, что изучение настоящего учебного пособия не требует специальной математической подготовки. Дело в том, что разработка тестов по всему кругу дисциплин высшей школы не может быть обеспечена только силами профессионалов, специалистов в области педагогических измерений. Не случайно во многих странах тесты для аттестации выпускников и студентов разрабатывают сами учебные заведения, а специалисты в области педагогических измерений и психодиагностики привлекаются только в качестве консультантов. А в США ежегодно выпускается объемный сборник, содержащий краткие аннотации к тестам, появившимся в текущем году в университетах, колледжах и других учебных заведениях с указанием информации об их авторах и основных характеристиках тестов. Если и у нас в России тестирование будет развиваться с учетом этих тенденций, то можно надеяться, что настоящее учебное пособие в той или иной мере окажется полезным каждому преподавателю вуза.
В.И. Звонников, М.Б. Челышкова
1. Качество результатов обучения и его оценка
1.1. Современные тенденции развития образования: императив качества
С начала XXI в. в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами. К числу таких тенденций в первую очередь следует отнести интенсивное реформирование, охватывающее практически все уровни образования и требующее систематического анализа тенденций в изменении качества образования.
Во-вторых, это диверсификация образования, проявляющаяся в значительном расширении объема его содержания в условиях научно-технической революции начала ХХI в., введения новых методов обучения и информатизации на всех уровнях образования. В управлении качеством образования диверсификация приводит к необходимости интенсивного развития механизмов управления и увеличения числа факторов, нуждающихся в учете при управлении и влияющих на устойчивость образовательных систем. Хотя сегодня многие специалисты дают оптимистичные оценки диверсификации, к подобным прогнозам лучше относиться осторожно, так как последствия ее развития с учетом многих не выявленных последствий предсказать пока просто невозможно.
В-третьих, к числу современных образовательных тенденций, актуализирующих разработку проблем качества образования, следует отнести индивидуализацию, имеющую развитую теоретическую базу, но трудно приживающуюся в реальном учебном процессе. Теоретические положения развивающего личностно-ориентированного обучения, разработанные отечественными дидактами, пока еще не нашли адекватной практической реализации, не изучено влияние рекомендуемых методов и приемов индивидуализации обучения на результаты учебного процесса.
В-четвертых, следует выделить интернационализацию образования, вызванную политическим и экономическим сближением стран мира и требующую обеспечения общего образовательного пространства с сохранением позитивных национальных традиций учебных заведений России. Следствием интернационализации стало присоединение России к Болонской декларации, для реализации принципов которой потребовалось реформирование отечественного образования на различных уровнях. В высшей школе процесс реформирования привел ко многим инновациям, среди которых в первую очередь следует назвать введение двухуровневой системы высшего профессионального образования и компетентностного подхода к трактовке качества результатов образования, положенного в основу разработки образовательных стандартов третьего поколения.
В целом можно сказать, что высшая школа России подвергается той же модернизации и переживает те же трудности, что и образование во многих европейских странах. Происходит интенсивный рост числа специальностей и специализаций в связи с появлением новых профессий и "демаркации" прежних на рынке труда. Возрастает роль горизонтальной мобильности выпускников вузов в течение трудовой жизни, что приводит к стиранию граней между классическими академическими и прикладными профессиями. Возникает феномен массового высшего образования. Происходит глобализация профессий и профессионалов на фоне нарастания конвергентных процессов в системах образования, децентрализации экономической ответственности и ответственности за качество работы. Развиваются тенденции к повышению ориентации результатов образования на требования работодателей, прозрачности процедур аттестации и аккредитации в условиях сопоставимости результатов образования. Наблюдается усиление роли непрерывного образования, усложнение задач личностного развития в сочетании с внедрением рыночных механизмов в высшее профессиональное образование и т.д.
Возникающие трудности связаны в основном с расширением влияния факторов динамизма и неопределенности, замедляющих темпы проведения Болонских реформ во всех странах. Попытки подстегнуть развитие Болонского процесса, предпринимаемые управленцами в сфере образования, приводят не к его интенсификации, а к нарастанию критики и сомнений в его эффективности [5]. Нередко представители педагогической общественности высказывают серьезные опасения по поводу введения двухуровневой подготовки, которая для бакалавров может привести к значительному снижению качества результатов образования. Прослеживается четкая тенденция к продолжению образования после получения степени бакалавра, которая в массовом сознании пока еще рассматривается как подготовительная ступень к получению полного образования. В среде работодателей нет ясного понимания сферы трудовой деятельности бакалавров, не сложилась четкая дифференциация структуры квалификаций в соответствии с уровнями подготовки. Вскрылись проблемы, связанные с необходимостью преодоления инертности профессорско-преподавательского состава, представители которого неохотно воспринимают изменения, связанные с реализацией Болонской декларации и требующие значительной перестройки их работы. Трудно приживаются инновации, ориентированные на модульную организацию образовательного процесса, кредитную систему учета трудоемкости и требующие значительных затрат времени преподавателей для внедрения в учебный процесс.
Дополнительные трудности возникают при внедрении компетентностного подхода к оцениванию результатов обучения, поскольку совокупность компетенций должна задаваться профессиональными стандартами и потребностями рынка труда. Однако сегодня основная часть сообщества работодателей в нашей стране не имеет профессиональных стандартов. В основной своей массе работодатели, топ-менеджеры и собственники бизнес-организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что приняв на работу молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию.
В целом краткий анализ современных социально-экономических тенденций, особенностей развития системы профессионального образования, имеющихся и прогнозируемых трудностей свидетельствует о необходимости принятия ряда обоснованных управленческих решений, в основе которых должна лежать надежная и валидная информация о качестве результатов образования. Для ее получения предстоит выполнить развернутый анализ подходов к трактовке качества высшего профессионального образования в контексте компетентностной модели подготовки специалистов, сформировать репрезентативную совокупность показателей качества, разработать научно обоснованные оценочные методики и инструментарий на основе аппарата теории педагогических измерений.
1.2. Основные подходы к трактовке качества образования в России и за рубежом
Международные организации, занимающимися стандартизацией на основе ИСО 9001, приняли определение, в котором качество трактуется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности [11]. В образовании качество обычно рассматривается не только как результат деятельности, но и как процесс, направленный на достижение запланированных результатов с учетом внутреннего потенциала и внешних условий объекта. В связи с этим, говоря о содержании термина "качество образования", всегда следует проводить четкую грань между процессом и результатом, дифференцируя уровни образования и разграничивая требования к качеству со стороны потребителей и заказчиков образовательных услуг. Как правило, в системе профессионального образования выделяют не две, а три группы характеристик: качество потенциала достижения цели образования, качество процесса формирования профессионализма и качество результата образования.
Применительно к результатам в самом общем случае под качеством образования понимают интегральную характеристику системы образования, отражающую степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям обучаемых. Несомненно, данное определение выполняет лишь ориентирующую функцию, поскольку компоненты интегральной характеристики меняются в соответствии с целями образовательного этапа, а их совокупность раскрывается в сочетании различных показателей и факторов, определяющих качество образования в зависимости от уровня его трактовки. В частности, варьируя требования и показатели, можно применять это определение как к системе профессионального, так и к системе среднего образования. Например, если в системе профессионального образования на первый план вынести требования рынка труда, выступающего в роли потребителя, то совокупность показателей обретет вполне конкретный вид множества профессиональных компетенций и будет раскрываться по-разному в зависимости от направлений и профилей подготовки профессионального образования.
В роли потребителей и заказчиков образовательных услуг могут выступать студенты и их родители, преподаватели, общество, рынок труда и т.д. В общем случае при оценивании качества образования в процессе аккредитации вузов приходится принимать во внимание целую совокупность составляющих, включающих качество преподавания, научно-педагогических кадров, образовательных программ; технологий обучения, контроля образовательного процесса, мотивирующих приемов педагогической деятельности, материально-технической базы, информационно-образовательной среды, результатов обучения студентов, управления образованием, научных исследований и т.д.