Кроме того, преподаватели боятся, что информация о добавленной стоимости на уровне учителя будет способствовать конкуренции за премии и признание заслуг [Harris, 2011]. В школах, где сотрудничество и взаимопомощь считаются преимуществом и необходимым компонентом здоровой школьной среды, существуют опасения, что отчеты об уровне учителей заставят их конкурировать друг с другом, и совместное обсуждение информации о добавленной стоимости будет саботироваться. вполне вероятно, что при наличии прямой взаимосвязи между реформой механизмов расчета зарплаты и информацией о добавленной стоимости многие учителя пренебрегут диагностическим потенциалом этих отчетов и сконцентрируются на оценивании их должностей и определения оплаты труда.
Что же делать с давлением, которым сопровождается внедрение концепции замеров добавленной стоимости? Во-первых, руководители школ должны понимать, какие обязанности возникают в результате использования данных о добавленной стоимости на уровне учителя, и своевременно реагировать на появляющиеся вопросы. Руководителям необходимо осознать степень влияния таких данных на самооценку учителей, и подходить к этому вопросу со всей возможной деликатностью. Директора школ должны найти правильный подход к обсуждению отчета каждого учителя. Но мы настаиваем на том, чтобы руководители формировали атмосферу, в которой открытый обмен данными между учителями становится комфортным и обыденным, и любая информация принимается коллегами с уважением и поддержкой. Наконец, руководителям нужно помогать учителям реагировать на получаемую информацию – поощрять их рефлексию и продуктивные действия.
Мы призываем руководителей формировать атмосферу, в которой открытый обмен данными о добавленной стоимости между учителями становится комфортным и обыденным, и любая информация принимается коллегами с уважением и поддержкой.
В завершение данного раздела главы подчеркнем, что все представленные задачи не ложатся лишь на одного или двух людей внутри организации. При внедрении учительских отчетов важно участие как учителей, так и администраторов всех уровней школьной системы. На основании опыта нашей работы мы сформировали перечень действий, которые должны предпринимать руководители и преподаватели, чтобы данные о добавленной стоимости на уровне учителя были доступны, чтобы их использование было корректным и не ущемляло ничье самолюбие, и чтобы польза от них была максимальной.
Что должны делать руководители округов
• Убедиться, что руководители школ умеют интерпретировать отчеты по добавленной стоимости.
• Составить практический план действий для директоров школ и обрисовать им ожидаемые результаты, чтобы они смогли подготовиться к представлению данных о добавленной стоимости своим учителям.
• Призывать директоров использовать информацию о добавленной стоимости при планировании школьного импрувмента.
• Обеспечить директоров конкретными методиками и стратегиями, которыми они смогут поделиться со своими учителями.
• Разработать план коммуникации и уметь объяснять достигнутые результаты как силами школьного совета, так и через средства массовой информации.
Что должны делать директора школ
• Как можно быстрее поделиться с учителями полученной информацией. Директора, уверенно обращающиеся с данными, чаще всего поступательно формируют внутришкольную культуру, поощряющую обмен информацией в коллективе. Когда администраторы не чувствуют себя достаточно компетентными в анализе добавленной стоимости, или же в их коллективах не приняты дискуссии на основе числовых данных, они не стремятся ни распространять среди преподавателей учительские отчеты по добавленной стоимости, ни, тем более, их открыто обсуждать. И наоборот, директора, которые постоянно делятся данными с учителями своей школы и уверены в своей способности правильно толковать отчеты по добавленной стоимости, чаще организуют продуктивные обсуждения данных среди своих преподавателей.
• Использовать эту информацию для того, чтобы:
♦ распределять педагогов так, чтобы они по возможности работали с теми подгруппами учеников, в которых они добиваются наибольших успехов;
♦ объединять учителей с теми из коллег, которые смогут дополнить их сильные стороны;
♦ определить эффективность программ;
♦ выявить учеников, не достигающих ожидаемого прогресса, и разработать план оперативной помощи таким ученикам;
♦ руководствуясь закономерностями данных о прогрессе учеников, разрабатывать направления профессионального развития для преподавателей;
♦ на протяжении всего школьного года организовывать дискуссии, опирающиеся на текущие показатели прогресса учеников.
• Концентрировать внимание на учителях, находящихся в крайних точках шкалы успешности. Иными словами, наибольшее внимание администраторов должно уделяться учителям, постоянно демонстрирующим результаты, значительно ниже или значительно выше средних.
• Распространять преимущества методик эффективного преподавания:
♦ ввести практику обсуждения с преподавательским составом качества преподавания. Убедите учителей в том, что способность каждого из них добиваться прогресса учеников чрезвычайно важна. Как только эта идея будет ими воспринята, данные о добавленной стоимости станут неоценимым источником информации для работы в этом направлении;
♦ выявлять наиболее эффективных учителей и масштабировать их достижения. Самый простой способ – просто говорить им о том, насколько хорошо они справляются со своей работой. Признавая вслух заслуги своих учителей и хваля их в лицо, директора будут многократно вознаграждены. Учителя, чьи успехи заслуженно признаются, охотно работают над дальнейшим совершенствованием своих методов работы, делятся опытом с коллегами и часто берут на себя важные руководящие роли в рамках школы;
♦ проводить определенную часть своего времени в классах успешных преподавателей. В этих классах вы много узнаете о лидерстве – отличные учителя являются отличными руководителями классов, – а также поймете, что же делают успешные учителя, чтобы быть успешными.
• Выстроить систему аргументов в пользу сбалансированной системы тестирования и предоставить инструменты для формирования этой системы. Речь идет о правильном использовании эффективных стратегий проведения промежуточных и итоговых оценок – в течение года и по его окончании соответственно.
• Предоставить учителям:
♦ возможности для постоянного сотрудничества и обсуждения получаемых данных и действенных стратегий;
♦ инструменты для последующих действий, основанных на выявленных закономерностях в данных о добавленной стоимости;
♦ возможности выбирать стратегии для каждого из квинтилей учеников;
♦ информацию о том, что делают высокоэффективные учителя для обеспечения академического прогресса учеников;
♦ возможности открыто обсуждать конкретные вопросы, касающиеся справедливости оценок учителей на основании анализа данных о добавленной стоимости, а также обсуждать аспекты школьной политики, которые могут способствовать достижению наилучшего результата или препятствовать ему;
♦ множество примеров применения других данных – таких как анализ заданий тестов – в сочетании с информацией о добавленной стоимости, чтобы расставлять приоритеты, определять глубинные причины и строить стратегические планы;
♦ примеры эффективных инструментов упорядочивания данных для учителя и класса, подобных журналам данных, в которых отслеживается прогресс каждого учащегося.
Что должны делать учителя
• Использовать данные о добавленной стоимости для определения своих слабых и сильных сторон.
• Строить взаимоотношения с коллегами, позволяющие обсуждать информацию о добавленной стоимости и действенные стратегии работы.
• Выявлять самых эффективных учителей и наблюдать за тем, что они делают, чтобы максимизировать прогресс своих учеников.
• Использовать промежуточные данные, чтобы наблюдать за ростом учеников и корректировать свои методы преподавания на протяжении всего учебного года.
Мы надеемся, что эти рекомендации помогут вам наилучшим образом использовать вашу персональную информацию о добавленной стоимости.
Тезис 3
Для правильной отчетности необходимо соотнесение учителя и ученика
Раньше, подготавливая информацию о добавленной стоимости учителям, мы сталкивались с тем, что системы регистрации и обработки данных по штатам и округов были не способны отразить многообразные сложные взаимоотношения, существующие в современных школах.
В течение учебного года составы классов постоянно меняются. Ученики приходят в класс и уходят из него. Учителя перегруппировывают классы, исходя из педагогической необходимости. Учителя увольняются или меняют должности. Некоторые из учеников могут получать дополнительную поддержку преподавателей или заниматься по индивидуальной программе. в результате ученики на протяжении года могут общаться с множеством учителей. И поэтому данные, собранные с округов департаментами образования штатов в начале учебного года, часто не отражали реального положения дел на конец прошлого учебного года относительно учителя и (или) ученика. Изменения, внесенные в расписание и распределение учеников и учителей, могли быть не учтены. Характеристики учителей – такие как стаж работы и образование – часто были внесены в базы с ошибками или не полностью.
В целом мы обнаружили, что общедоступные источники данных очень часто не содержат необходимых элементов информации о работе учителей:
• расписание уроков;
• перераспределение учеников между классами;
• мобильность учеников и учителей;
• совместное преподавание;
• испытания новых предметных областей.
Мы поняли, что для устранения этих недостатков в данных необходима ежегодная процедура их сверки. Иными словами, чтобы сгенерировать отчеты по добавленной стоимости на уровне учителя, данные тестов должны быть "вычищены", а ученики должны быть "привязаны" к соответствующим учителям. Как только данные прошли такую подготовку, их можно передавать экспертам-статистикам для анализа и составления отчетов.
Ниже приведена последовательность шагов, которую мы используем, чтобы помочь школам выверить данные для учительских отчетов. Этот процесс помогает точно определить, какой учитель преподавал какой предмет конкретному ученику, и получить точную процентную долю времени преподавания каждого учителя каждому ученику.
Основной урок, полученный при пилотных исследованиях отчетности по добавленной стоимости на уровне учителя, состоит в следующем: чтобы сформировать такой отчет, который бы точно отражал влияние учителя на ученика, очень важно определить, какой учитель преподавал какой предмет конкретному ученику, и получить точную процентную долю времени преподавания каждого учителя каждому ученику.
Пять важных шагов для качественной проверки учителем результатов ученика
1. Соберите лучшие из доступных вам данных. Начните с наиболее достоверных источников информации, включающих:
• учебный курс;
• данные о распределении учителей;
• связь кодов предметов с тестами штата.
2. Обеспечьте безопасность доступа. Создайте аккаунты для доступа пользователей, используя идентификационную информацию. Доступ к данным для локальных представителей очень важен как для создания точных привязок, так и для вовлечения всех заинтересованных лиц.
3. Предусмотрите административный доступ к данным и назначьте периоды актуализации данных. Позвольте директорам или назначенным представителям администраций оперативно вносить информацию о перераспределении учителей, происходящем в течение учебного года.
4. Вовлекайте учителей в процесс выверки вводимых данных. Если учителя будут понимать, какие данные попадают в систему, они смогут быть уверены в том, что информация соответствует действительности и точно отражает состояние класса и каждого ученика. Поэтому учителям нужно:
• просматривать и изменять списки, добавляя или удаляя оттуда учеников;
• устанавливать даты прихода и ухода учеников из класса;
• устанавливать распределение времени преподавания;
• представлять данные о распределении своего рабочего времени на согласование и утверждение.
5. Завершите процесс сверки и утверждения. После внесения учителями их изменений директор просматривает данные, исправляет ошибки и устраняет пробелы.
Важно отметить, что, когда учителя вовлекаются в выверку данных об учениках, которых они обучают, они с гораздо большей вероятностью будут доверять результатам и ценить их.
Этот процесс может показаться трудоемким, но, по нашему опыту, если принять меры по технической поддержке – пошаговые письменные инструкции, ежегодные региональные или окружные обучающие сессии "лицом к лицу", организацию системы поддержки по телефону или онлайн – процесс успешно запустится и будет сравнительно безболезненным. Важно отметить, что, когда учителя вовлекаются в выверку данных об учениках, которых они обучают, они с гораздо большей вероятностью будут доверять результатам и ценить их.
Тезис 4
Анализ данных о добавленной стоимости на уровне преподавателя отражает результаты его работы
Теперь, когда мы изложили выводы, сделанные нами при подготовке и передаче учителям их индивидуальных отчетов, давайте обратимся непосредственно к этим отчетам. Нет сомнений, что внешний вид и сложность механизмов формирования отчетов по добавленной стоимости будет совершенствоваться по мере того, как будет расти спрос на эту информацию. Как мы отмечали в главах 4 и 5, даже сейчас учительские отчеты отличаются друг от друга, от округа к округу и от штата к штату в зависимости от организации, которая обрабатывает данные. Например Центр исследований добавленной стоимости (Value-Added Research Center – VARC) производит ежегодные учительские отчеты для таких школьных округов, как округ города Нью-Йорк, Объединенный школьный округ Лос-Анджелеса, общеобразовательные школы Чикаго и школы Висконсина. В Теннеси учителя получают доступ к ежегодным учительским отчетам, сформированным SAS и выложенным на защищенном сайте.
Отчеты по добавленной стоимости обычно включают два типа информации. В одной из частей стандартного отчета обычно оценивается эффективность учителя. Эти показатели отражают относительный годовой рост, произошедший благодаря учителю. Обычно производимый учителем эффект подразделяется на категории в соответствии с тем, оказался ли результат его влияния выше, ниже или равным по сравнению с ожидаемой оценкой прогресса для конкретного уровня обучения и предметной области за рассматриваемый год. этот результат сравнивается со средним прогрессом, достигнутым средним учителем базовой выборки, с которой сравнивается наш преподаватель.
Еще одной важной составляющей хорошего отчета по добавленной стоимости является дезагрегированная информация о закономерностях прогресса внутри групп учеников. На рис. 6.1 представлена информация о закономерностях в прогрессе учеников, закрепленных за учителем алгебры. Такая подача информации аналогична отчетам, производимым SAS и доступной округам посредством системы оценки добавленной стоимости в образовании – EVAAS (Education Value-Added Assessment System), разработанной институтом SAS Institute, Inc. Такой отчет помогает учителям выявить группы учеников, с которыми им удалось достичь наилучших результатов. Из отчета видно, что данный учитель наибольшего успеха добился среди отстающих учеников, т. е. учеников, попавших в нижний терциль, или 33 % самых отстающих учащихся (по результатам их учебы в предыдущие годы).
Рис. 6.1. Отчет по добавленной стоимости на уровне учителя
Источник: SAS® EVAAS® for K-12 content Copyright ©2011, SAS institute Inc., Carv. NC USA. Все права защищены. Публикуется с
Мы также можем заключить, что все три группы учеников прогрессируют со скоростью, превышающей ожидаемую. Эта информация дает учителю возможность подумать над тем, как применяемые им стратегии повлияли на результаты его учеников в прошедшем году.
Еще один пример учительского отчета, составленный VARC для Департамента образования Нью-Йорк-Сити, представлен на рис. 6.2.
Этот учительский отчет по добавленной стоимости содержит рейтинг учителей, составленный на основании перцентильной группы, в которую попадает результат учителя по добавленной стоимости. В верхней части первой страницы содержится образец данных, который поможет в толковании нижней части отчета. Отчет-образец объясняет, как генерируется отчет.
В нижней части отчета представлена информация о текущих показателях добавленной стоимости учителя по имени Хант Рассет, а также о его средних показателях за четыре года в сравнении с другими учителями той же предметной области с аналогичным преподавательским стажем. Показатель роста, достигнутый Хантом в 2008 и 2009 г., соответствует 89-му процентилю, а средний результат за четыре года помещает его в 84-й процентиль. В рейтинге Хант находится выше среднего уровня как по результатам текущего года, так и по средним за четыре года результатам.
На рис. 6.3 отчет Ханта представляет собой ценную дезагрегированную информацию о росте, которого он добился в разных подгруппах учеников.
Из первого графика можно понять, есть ли разница в росте между тремя группами учеников Ханта, разделенных на терцили в соответствии с успеваемостью в прошлые периоды. Этот отчет показывает, что все подгруппы продемонстрировали рост выше среднего.
Рис. 6.2. Учительский отчет по г. Нью-Йорк
Источник: Использовано с разрешения Департамента образования Нью-Йорка.