• определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);
• формирование репрезентативных выборок студентов или выпускников для апробации измерителей;
• разработка первой версии инструментария (предметно-ориентированных тестов, компетентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);
• апробация, оценивание размерности пространства измерений и определение числа шкал;
• получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;
• анкетирование работодателей;
• коррекция инструментария;
• проведение измерений;
• сбор и обработка данных;
• взвешивание;
• шкалирование;
• интеграция данных по различным шкалам;
• интерпретация результатов оценочного процесса.
Только выполнение всех этих этапов позволит в полной мере реализовать компетентностный подход в профессиональном образовании.
1.5. Показатели качества образования
Критерии выбора и структурирования совокупности показателей качества могут быть самыми разными. За основу для выделения такой совокупности иногда принимают модели системы образования, структурированные цели образовательной системы, критерии ее эффективного функционирования, актуальные проблемы управления и т.д. Вне зависимости от оснований по выбору совокупность показателей должна быть:
• адекватной трактовкам качества образования, принятым педагогическим сообществом страны;
• репрезентативной, обладающей достаточной полнотой;
• операционализируемой на количественном или качественном уровнях измерения;
• признанной пользователями и полезной на различных уровнях управления;
• пригодной для сбора информации об образовательной деятельности по нужным в управлении направлениям;
• нацеленной на ту информацию, которая обладает прогностическими возможностями и является значимой на протяжении нескольких лет;
• надежной, простой, экономически целесообразной.
Для характеристики качества образования можно выделить обобщенные группы показателей, которые охватывают:
1) данные по образовательным системам;
2) характеристики качества учебного процесса;
3) характеристики качества результатов обучения;
4) данные об интенсивности научной и инновационной деятельности в вузе;
5) объемы вложений в образование;
6 ) данные по эффективности управленческой деятельности в образовании.
К показателям первой группы относятся: характеристики качества содержания образования; структуры и содержание образовательных программ; формы организации учебного процесса; реализация целей обучения и воспитания; сбалансированность образовательной системы, ее стабильность, способность к адаптации при взаимодействии с внешней средой; применяемые педагогические технологии; системы подготовки и переподготовки педагогических кадров; работы по повышению мотивации учебной и профессиональной деятельности педагогов и др.
Показатели второй группы включают характеристики доступности и индивидуализации обучения; организации образовательного процесса (назначения, принципов, методов, планирования, средств и методов контроля процесса и результата обучения); гуманистической и культурно-познавательной направленности образовательного процесса; стандартизации и вариативности учебных программ, соотношения традиционных и инновационных технологий обучения и контроля; способов организации самостоятельной работы студентов во внеаудиторное время и др.
Третью группу составляют показатели, построенные на результатах оценивания качества учебных достижений и требующие для корректной интерпретации развернутой дополнительной информации о демографической и социально-экономической обстановке в районе расположения вуза, качественного состава студентов; образования родителей, условий и атмосферы преподавания; данных рубежного контроля, сведений о дальнейшей судьбе выпускников и т.д.
Среди дополнительных факторов, учет которых необходим при анализе качества результатов образования, принято выделять показатели, не изменяющиеся со временем (географическое положение вуза, столичный вуз или периферийный, социально-экономическое окружение образовательного учреждения и др.), и показатели, подверженные изменениям по мере истечения образовательного процесса (программы обучения, учебники, система домашних заданий, система контроля качества подготовленности, профессорско-преподавательский состав, формы и методы дополнительного образования и др.). К ним можно отнести: индекс развития человеческого потенциала в регионе (процент грамотного взрослого населения, число обязательных лет обучения в школе основной доли взрослого населения, число людей с высшим образованием на 1000 человек), обобщенную характеристику экономической динамики в регионе, характеристику криминогенной обстановки в районе расположения вуза и др.
К четвертой группе относятся показатели интенсивности инновационной деятельности отдельных преподавателей и вуза в целом. При анализе показателей четвертой группы необходимо принимать во внимание последствия инновационной деятельности, которые могут иметь как позитивный, так и негативный характер. При оценивании последствий важно учесть временной фактор, поскольку многие тенденции могут проявляться в разной степени только с течением времени.
В пятую группу включают показатели, отражающие информацию о финансировании образования, его кадровом, информационном, материально-техническом (учебные помещения, лаборатории, оборудование, расходные материалы) и методическом (учебная литература, наглядные пособия, макеты, тренажеры и т.д.) обеспечении.
Шестую группу составляют характеристики эффективности управленческой деятельности, которая осуществляется как прямым административным вмешательством, так и в режиме всеобщей вовлеченности педагогического коллектива вуза и студентов в процесс управления качеством образования.
Таким образом, при оценке качества образования в рамках системного подхода приходится принимать во внимание совокупность самых разных показателей. Для принятия обоснованного решения о достижении либо не достижении определенного качества необходимо по каждому показателю выбрать некоторый критерий или набор критериев, характерный для уровневого подхода к оценке качества результатов образования. Выбор критериев проводится экспертным путем на основе соглашений, и он должен быть четко ориентирован на задачи управления качеством образования.
Для снижения субъективизма при оценке качества образования очевидна важность использования тех показателей, которые допускают трансформацию в количественные критерии и нормы. Значит ли это, что количественные показатели должны занимать приоритетное место при оценке качества образования? Ответ на этот вопрос не однозначный. Отечественный и зарубежный опыт свидетельствует о том, что неосторожное введение количественных критериев и чрезмерное увлечение ими могут привести к неверным представлениям о наличии или отсутствии качества и к ошибочным управленческим решениям.
Типичный пример, подтверждающий высказанное суждение, – практика эксперимента по введению ЕГЭ, где ориентируясь только на процент "двоечников" можно снизить критериальный балл при установлении границы между "двойкой" и "тройкой" и минимизировать тем самым число неуспевающих в большинстве регионов, не принимая во внимание требования к базовой подготовке выпускников. Такая минимизация создаст иллюзию высокого качества учебных достижений выпускников школ, которая не выдержит никакой критики при содержательной интерпретации подготовленности тех, кто получил удовлетворительные оценки.
Столь же проблематично в некачественной интерпретации выглядит вопрос о том, к чему приведет количественный прирост критериального балла для отсева неуспевающих за счет его повышения на 10–20%. Будет ли количественный прирост уровня минимальной подготовленности свидетельствовать о возросшем качестве подготовки аттестованных выпускников или речь идет о простом увеличении объема усвоенных знаний? Таким образом, несмотря на необходимость и важность количественных показателей при оценивании качества образования, абсолютизировать их, превращая в критерии, без развернутой интерпретации и учета дополнительных факторов недопустимо. Если количественные показатели не подвергаются такой интерпретации, то они являются просто статистическими данными.
Желательно, чтобы информация по показателям качества имела восходящий характер, непрерывно передавалась с более низких уровней на более высокие и постоянно агрегировалась на каждом последующем уровне управления. Тогда процесс управления качеством учебных достижений приобретает характер систематического отслеживания изменений в образовательных достижениях школ, муниципальных округов и регионов вместо выборочного оценивания учебных достижений в определенные периоды времени. Свойство непрерывности информации повышает обоснованность управленческих решений и эффективность управления качеством образования.
1.6. Системы менеджмента и оценки качества образования
Новые требования общества к выпускникам системы образования, обусловленные развитием науки и производства, инициируют создание в вузах современных систем менеджмента качества (СМК) образования, закладывающих базу для эталонной модели качества процесса и результатов образования на основе международных стандартов [11]. Сегодня эти процессы охватили в основном профессиональное образование, но постепенно система оценивания качества процесса и результатов образования, реализуемая не в режиме тотального контроля со стороны органов управления образованием, а как регулярная самооценка с осознанием необходимости и важности такой работы, разворачивается в среднем образовании.
Международные организации ЮНЕСКО и Совет Европы разработали теоретические подходы, модели и механизмы обеспечения качества образования, которые приняты всеми странами, являющимися членами этих организаций. Наибольшее распространение получила четырехступенчатая модель обеспечения качества, которая включает:
• наличие национального органа по обеспечению качества (организации по сертификации систем качества);
• внутреннюю самооценку (самоаттестацию) и внутренний аудит;
• оценку внешних экспертов и посещение учебных заведений (внешний аудит);
• систематическую публикацию отчетов о качестве.
Механизмом реализации такой модели служит вузовская СМК.
Основная цель ее создания – обеспечение условий, необходимых для перевода механизма управления научно-образовательной системой вуза в состояние, адекватное по своим результатам современным требованиям к качеству подготовки специалистов, обеспечивающее стабильное повышение качества образования и способствующее формированию у потребителей доверия к профессиональным качествам выпускников в сочетании с устойчивым повышением их конкурентоспособности на рынке труда.
Реализация основной цели направлена на следующее:
• содействие эффективному проведению единой государственной политики в области образования и подготовки кадров;
• защиту прав обучающихся на получение образования, соответствующего по своим характеристикам требованиям государственных образовательных стандартов;
• защиту общества от появления некомпетентных обладателей дипломов и прочих документов об образовании;
• непрерывное повышение качества образования;
• обеспечение преемственности требований к качеству в профессиональном образовании и на рынке труда;
• предоставление студентам, профессорско-преподавательскому составу и администрации вуза объективной информации о фактическом уровне учебных достижений и других показателях качества процесса и результатов образования;
• совершенствование системы аттестации выпускников вуза.
В России и ряде других стран нормативной основой для построения СМК в образовании служит международное семейство стандартов ISO, предназначенное в основном для производственных процессов, плохо согласующееся со спецификой образования и ориентированное на процессную парадигму, рассматривающую деятельность организации через цепочку взаимосвязанных и интегрированных процессов. Согласно методологии процессного подхода, в системе управления качеством необходимо регулярно отслеживать состав и функционирование процессов, подлежащих документированию на основе измерений, оценивать результаты измерений в соответствии с постоянно изменяющимися требованиями потребителей, направлениями деятельности и корпоративной стратегией. Оценка адекватности реальных процессов документированным эталоном, проводящаяся с учетом результативности, степени риска и компетентности персонала, позволяет получить представления о реализуемом качестве образования.
С течением времени семейство стандартов ISO подвергалось многочисленным изменениям и переделкам. В основе такого обновления лежало сближение требований стандартов ISO с концепцией всеобщего управления на основе качества (ТQМ), в частности с ее восемью основополагающими принципами. Такое сближение происходило нелегким путем в силу различных целевых парадигм. В соответствии с основополагающими требованиями ISO, все процессы должны обладать высокой результативностью, в то время как TQM ориентирует на обеспечение эффективности процессов, анализируя то, какой ценой достигается результативность. В итоге появились стандарты ISO серии 9000 и 9001 версии 2000 г., которые, как отмечают специалисты, стали более демократичными и более пригодными для построения СМК в образовательных учреждениях. Сочетание этих двух подходов при построении СМК вуза, которое довольно трудно обеспечить, позволяет добиться оптимизации процессов, протекающих в образовании.
Безусловно, ключевым в деятельности вуза является учебный процесс. Поэтому при создании внутривузовской СМК, особенно на первом этапе, необходима преимущественная ориентация на совершенствование системы управления учебным процессом. В целом СМК носит многокомпонентный характер. Помимо всех структур вуза, являющихся объектами управления, в нее входят структурно-функциональная модель управления качеством образования, требования ФГОС по реализуемым в вузе направлениям подготовки, вузовская система контроля качества образования, информационные потоки нисходящего и восходящего характера, технологии контроля и мониторинга, инструментарий для измерений качества процессов и результатов образования, совокупность требований к качеству подготовки специалистов, профессиограммы, составленные с учетом требований работодателей, критерии качества и т.д.
При создании СМК в соответствии с требованиями ISO серии 9000:2000 для выделения всех необходимых элементов необходимо поэтапно описать весь учебный процесс на макроуровне, т.е. от этапа изучения возможности внедрения образовательной программы до выпуска специалистов. Затем детализировать каждый из процессов этой цепочки на среднем и первичном уровнях, описав его в виде блок-схемы или схемы информационных потоков с учетом системы управления процессом. Общие информационные потоки в системе управления качеством подготовки специалистов показаны на примере университета, имеющего в своей структуре ряд институтов (рис. 1.9).
Рис 1.9. Структура документации СМК образования
Перечень процессов (подпроцессов) каждого этапа жизненного цикла определяется путем систематизации функций, установленных положениями о каждом структурном подразделении вуза. Затем выделенный перечень процессов дополняется операциями, необходимыми с точки зрения системного подхода к осуществлению деятельности. Процессы детализируются с помощью специальных карт, в которых представляются входы и выходы каждого процесса, его участники, документальное и ресурсное обеспечение.
В целом в работе по созданию СМК в вузе можно выделить два этапа: построение системы и ее сертификацию, связанную с подтверждением возможности применения СМК. Для внедрения СМК образования в практику деятельности вуза необходимо соблюдать определенную последовательность действий:
• осознать цели сертификации СМК образования и определить преимущества этого процесса для повышения престижа вуза и конкурентоспособности выпускников вуза на рынке труда;
• ознакомить руководство вуза с целями СМК образования и обеспечить его участие в этом процессе;
• разработать или усовершенствовать внутривузовскую систему оценки качества образования, включающую систему внутреннего аудита, мониторинга качества образования, инструментарий для измерений, программно-инструментальные средства обработки данных мониторинга, технологии и методики;
• подготовить кадры по системам управления качеством, педагогическим измерениям, ведениям баз данных мониторинга, внутреннему аудиту, ведению документации по системе менеджмента качества образования;
• разработать необходимую документацию согласно требованиям ИСО серии 9000 и критериям динамической модели EQUIS;
• провести предварительную оценку текущего состояния процессов в вузе путем оценивания соответствия между реально протекающими и документированными процессами;
• провести анализ результатов оценивания соответствия, выбрать необходимые направления совершенствования процессов, разработать процедуры;
• создать действующую систему внутреннего аудита, анализировать данные аудита на протяжении нескольких лет, оценить динамику изменений в качестве образования;
• выбрать орган по сертификации и провести внешний сертификационный аудит;
• обеспечить механизм по обновлению и совершенствованию СМК образования в вузе.
В процессе создания СМК за основу можно взять два вида документального представления: документы по качеству и по подтверждению качества (и подтверждению улучшения качества).
К первой группе относятся:
• документы по планированию качества (стратегическому и оперативному);
• документы по управлению качеством (политика и цели в области качества, руководство по качеству, документированные процедуры управления), в которых сформулированы цели и задачи в области качества, описана система управления качеством и выполняемые в структуре университета процессы с учетом требований ISO 9001:2000 (ГОСТ ISO 9001-2001);
• документы по обеспечению и улучшению качества, регламентирующие требования к результатам и процессу обучения с его составляющими, контролю и оцениванию качества процессов и результатов обучения (внутренние и внешние нормативные документы).