Конечно, при построении вертикальной шкалы можно использовать не только компетентностные тесты. В этом случае при вертикальном шкалировании важно добиться сопряжения результатов, полученных на различных уровнях измерения при использовании разнообразных оценочных средств и сопряжения количественных диапазонов шкалы с содержательной структурой оценочных средств. Это работа не одного дня, требующая доказательства валидности заданий (содержательной, конструктной, прогностической) статистическими методами и определения оптимальных весовых коэффициентов при интеграции данных по различным измерителям в единой шкале разнообразных оценочных средств.
Компетентностный подход имеет большое будущее для итоговой аттестации, несмотря на всю сложность реализации его на практике. Сегодня, когда в образовательный процесс вовлечены не отдельные представители интеллектуальной элиты, а большие сообщества, возникла насущная необходимость установления связи качества подготовленности выпускников учебных заведений с требованиями сферы предполагаемого употребления результатов труда. Таким образом, сама жизнь выдвигает новые требования как к квалификации педагогов, так и к качеству подготовленности выпускников вузов. В этой связи одним из основных направлений развития современных педагогических измерений становится переориентация на междисциплинарность и полипрофессиональность, присущие современному образовательному пространству.
К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности студентов (Performance assessment). Они позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, по результатам выполнения которых получается некоторый материальный продукт, оцениваемый экспертами по стандартизованной шкале тестовых баллов. Многие из тестов, оценивающих результаты практической деятельности, не выдержали бы никакой критики специалистов тестологов из-за низких характеристик по ряду показателей качества в области педагогических измерений. Тем не менее они имеют высокую очевидную валидность и вызывают большой интерес у студентов.
Анкеты и интервью предоставляют дополнительную информацию о студентах, их окружении и деятельности во внеучебное время, позволяющую обоснованно интерпретировать данные тестирования или результаты применения других современных оценочных средств.
Анкеты относятся к инструментарию, дающему возможность собрать надежные и валидные данные об измеряемых переменных в тех случаях, когда процесс создания анкет проходит определенные научно обоснованные стадии. Вначале осуществляется формулирование проверяемой и нулевой гипотез и решаются проблемы учета всех сопутствующих факторов, влияющих на результаты эксперимента. Затем разрабатывается план исследований, включающих проведение анкетирования, обработку данных, их анализ и интерпретацию в соответствии с планом эксперимента. Разработка структуры анкеты и ее вопросов проводится в строгом соответствии с научно обоснованными требованиями, которые приводятся в многочисленной литературе по проблемам психодиагностики и измерений в социальных науках. Помимо содержания и формы представления вопросов, эти требования охватывают также внешний вид анкет, систему кодировки данных, их анализа и интерпретации.
При проведении анкетирования обычно принимается решение о том, что считать единицей анализа, в процессе которого происходит приписывание каждому респонденту определенного значения по оцениваемой переменной на основе выбранных правил. Обычно в образовании в качестве единиц анализа выступают учащиеся, педагоги или администрация учебных заведений, иногда к участию в анкетировании в качестве респондентов привлекаются родители студентов.
Интервью можно также рассматривать как научно обоснованный метод сбора дополнительных данных о студентах, их родителях или преподавателях. Специалисты различают континуум видов интервью, постепенно меняющихся от неструктурированного и открытого к высоко структурированному и закрытому интервью, требующему от респондентов однозначных ответов в рамках фиксированных форматов. В последнем случае некоторые исследователи склонны считать, что данные интервьюирования носят количественный характер, хотя это ошибочное суждение, поскольку искусственное приписывание чисел ответам респондентов вовсе не тождественно построению метрической шкалы.
Наиболее распространенный способ интервьюирования связан с последовательностью вопросов, поначалу имеющих достаточно общий вид, но постепенно сходящихся к предмету обсуждения. В образовании интервью часто используются при аккредитации учебных заведений, когда беседы с преподавательским составом вузов или администрацией носят общий ознакомительный характер [19]. Аналогичный случай имеет место в процессе ЕГЭ во время инспекционных посещений экзамена представителями других регионов, общественности или Минобрнауки. Для представления данных интервьюирования обычно используются неметрические шкалы Лайкерта, Терстоуна и т.д.
Различные виды инновационных и традиционных оценочных средств, соотнесенные с функциями педагогического контроля, представлены на рис. 3.11. Можно сделать вывод о том, что в настоящий момент на фоне традиционных средств оценивания результатов обучения появились различные новые виды измерителей, ориентированные на современные подходы к оценке качества образования. Разработка этих видов и их использование в управлении качеством обучения являются важными условиями эффективного выполнения всех функций педагогического контроля и повышения качества образования.
Рис. 3.11. Классификационная схема современных оценочных средств
Таким образом, на количественном уровне измерений применяют стандартизованные тесты учебных достижений, содержащие задания с выбором ответов. На качественном уровне измерений широкое распространение получили портфолио, тесты практических умений, кейсы, анкетные обследования и интервью, отвечающие требованиям теории педагогических измерений, в частности требованиям высокой надежности и валидности.
По данным педагогического контроля, организованного с помощью современных оценочных средств, можно осуществлять:
• феноменологический анализ качества процесса и результатов образования, строящийся на анализе данных анкет, интервью и тестовых заданий со свободно конструируемым ответом;
• содержательный анализ программных документов процесса обучения, включающий изучение инструкций, писем, протоколов и пр.;
• аналитическую индукцию, позволяющую связать данные о качестве образования с различного рода инновациями в учебном процессе и получить данные, подтверждающие достоверность и надежность управленческих выводов;
• сравнительный анализ, предполагающий сопоставление данных по однородным группам объектов исследования (студентам, педагогам, вузам и т.д).
Современные оценочные средства позволяют:
• повысить аутентичность результатов итогового контроля;
• создать в процессе текущего контроля условия, адекватные современным технологиям обучения и обеспечивающие развитие компетенций, повышение вариативности и доступности учебных программ для студентов;
• повысить роль самоконтроля, самокоррекции и самооценки в учебной деятельности;
• выбрать общие критерии оценивания, построить стандартизованные интервальные, квазиинтервальные или уровневые шкалы;
• создать эффективную систему вузовского мониторинга качества образовательных достижений;
• перейти к интегральным многомерным итоговым оценкам учебных достижений.
3.6. Основные этапы разработки аттестационных измерителей
В общем случае в процессе планирования при разработке измерителей важно идентифицировать:
• цель измерения, связав ее с функциями контроля и областью применения результатов измерения;
• порции и временные интервалы применения;
• содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).
Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:
• подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);
• виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;
• представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;
• инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;
• время выполнения теста или временные промежутки, если есть субтесты.
Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:
• определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);
• провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;
• определить структуру теста и стратегию расположения заданий;
• разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;
• создать задания в каждой из выбранных тестовых форм;
• отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;
• провести экспертный анализ качества содержания заданий и теста;
• провести экспертизу формы предтестовых заданий;
• переработать содержание и формы заданий по результатам экспертизы;
• сформировать выборку для апробационного тестирования;
• разработать инструкции для студентов и преподавателей, проводящих апробацию теста;
• провести апробационное тестирование для сбора эмпирических результатов;
• провести статистическую обработку результатов апробации;
• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;
• провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);
• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);
• установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].
Выводы
Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.
Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.
В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.
При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.
Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.
При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.
В настоящий момент во многих странах разрабатываются измерители, отличающиеся от традиционных оценочных средств и тестов в сфере отбора содержания (компетентностный подход, междисциплинарный подход, творческие аспекты содержания подготовки), в форме заданий (переход от заданий с выбором ответа к заданиям со свободно конструируемым ответом), форме оценки (переход к самооценке, многомерной оценке). Во многом эти измерители преодолевают недостатки существовавших ранее оценочных средств, поэтому они получили название средств аутентичного оценивания.
Практические задания и вопросы для обсуждения
1. Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в вузе?
2. Каковы цели разработки корректирующих тестов? Есть ли различия между корректирующими тестами и традиционными средствами текущего контроля?
3. В рамках какого подхода, по вашему мнению, следует разрабатывать компетентностные тесты?
4. Какой процесс называется стандартизацией теста?
5. Перечислите основные факторы, влияющие на устойчивость норм теста для вашего вуза.
6. Укажите отличия между нормативно-ориентированными и критериально-ориентированными тестами.
7. Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в вузе? Назовите несколько ситуаций, в которых целесообразно использовать портфолио.
8. На какие инновационные средства, по вашему мнению, следует делать упор при введении компетентностного подхода в высшее профессиональное образование?
9. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.
10 Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?
11. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?
12. Эффективно ли использовать диагностические тесты без корректирующих тестов?
4. Аттестационные тесты. Их содержание, планирование, отбор и экспертиза
4.1. Целеполагание при планировании содержания педагогического теста
Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.
При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.
В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:
• знание названий, имен, фактов;
• фактуальные знания;
• знание определений и понимание их смысла;
• сравнительные, сопоставительные знания;
• классификационные знания;
• знание противоположностей, противоречий, синонимичных и антонимичных объектов;
• ассоциативные знания;
• причинные знания;
• алгоритмические, процедурные знания;
• обобщенные, системные знания;
• оценочные знания;
• процессуальные знания;
• абстрактные знания;
• структурные знания;
• методологические знания.
В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).