Во многих случаях бывает сложно или невозможно подобрать адекватный критерий валидизации. При этом особую важность приобретает комплекс характеристик, входящих в тип теоретической валидности. При разработке и использовании теста может быть сформулирован ряд гипотез о том, как будет коррелировать исследуемый тест с другим тестом, измеряющим родственные или противоположные психологические характеристики испытуемых. Эти гипотезы выдвигаются на основании теоретических представлений об измеряемых свойствах как о психологическом конструкте. Подтверждение гипотез свидетельствует о теоретической обоснованности методики, т. е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным. Для подтверждения соответствия получаемых с помощью теста результатов теоретическим ожиданиям и закономерностям используется самая различная информация, в том числе относящаяся к другим типам валидности.
Валидность содержательная (внутренняя, логическая) – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям. Одним из основных требований при валидизации методики в этом направлении является отражение в содержании теста ключевых сторон изучаемого психологического феномена. Если область поведения или особенность очень сложна, то содержательная валидность требует представления в заданиях теста всех важнейших составных элементов исследуемого явления. Так, при разработке теста вербального интеллекта необходимо ввести группы заданий (субтестов) для проверки довольно разнородных по своему операциональному составу навыков письма и чтения.
Наряду с перечисленными основными типами валидности (содержательной, критериальной и конструктной) на практике выделяют факторную, перекрестную (конвергентную) и дискриминантную валидности.
3. Основные типы валидности (диагностическая, прогностическая, эмпирическая, критериальная, конструктная, содержательная). Классификация типов валидности
Классификация типов валидности в достаточной мере условна, так как, с одной стороны, нередко для различных критериев валидности применяются общие методы определения, – а стороны, одни и те же исходные данные могут интерпретироваться с точки зрения различных типов валидности.
Классификация типов валидности:1) конструктная;
2) дифференциальная;
3) конвергентная;
4) дискриминативная (дискриминантная);
5) факторная;
6) валидность по возрастной дифференциации;
7) критериальная;
8) диагностическая (конкурентная);
9) текущая;
10) прогностическая;
11) инкрементная;
12) синтетическая;
13) ретроспективная;
14) эмпирическая;
15) содержательная;
16) лицевая (очевидная).
Другие виды валидности:1) иллюзорная;
2) экологическая.
4. Относительность деления валидности на типы. Понятие комплекса валидности. Обоснование необходимости периодической валидизации психодиагностических методик
В психологической диагностике не существует универсального подхода к характеристике валидности. Для валидизации каждого вида психодиагностических процедур и отдельных тестов могут применяться различные типы валидности. Сведения, входящие в комплекс валидности, можно оценить качественно и количественно (при помощи коэффициента валидности), нередко их можно описать. Однако в силу сложности, комплексности, ситуативности по отношению к конкретным условиям применения методики валидность в целом невозможно измерить, о ней можно лишь судить.
Реальная валидность раскрывается только в результате накопления значительного опыта работы с тестами. Получение новых, расширенных данных о валидности может радикально изменить представление о сфере применения и эффективности методики. Так, некоторые методики, разработанные для диагностики вербальных факторов интеллекта, с достаточной валидностью отражают лишь уровень осведомленности. Сфера применения теста в ходе его длительной валидизации может быть, напротив, расширена. В качестве примера можно привести прогрессивные матрицы Равена, которые были разработаны для изучения определенных сторон перцептивной деятельности, однако оказались в значительной степени насыщены фактором, общим для тестов интеллекта (см. фактор G). Реальная валидность ряда психодиагностических методик, особенно тестов интеллекта, достижений в обучении, профессиональной пригодности, личностных опросников, изменяется со временем. Это объясняется устареванием возрастных статистических норм, изменением социальных норм и образцов поведения, методов обучения и содержания заданий, требований к профессиям. Данное обстоятельство создает необходимость периодического контроля валидности методик.
ЛЕКЦИЯ № 11. Конструктная валидность
1. Сущность, методы характеристики конструктной валидности
Конструктная валидность – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания и т. д. Иначе говоря, конструктная валидность определяет область теоретической структуры психологических явлений, измеряемых тестом. Поскольку проявления таких конструктов, как, например, интеллект, в деятельности человека многообразны и неоднозначны с точки зрения их выделения, процедура установления конструктной валидности по сравнению с валидностью критериальной или валидностью содержательной сложна.
При объяснении связи полученных тестовых результатов с теоретическим конструктом необходимо постепенное накопление разнообразной информации о динамике развития измеряемого свойства, а также о его взаимодействии с другими психическими явлениями.
Среди конкретных методов характеристики конструктной валидности в первую очередь необходимо назвать сопоставление исследуемого на предмет конструктной валидности теста с другими методиками, конструктное содержание которых известно. Наличие корреляции между новым и аналогичным по конструкту тестом указывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведения, способность, личностное качество, что и эталонная методика. Такая процедура валидизации напоминает определение критериальной валидности в том смысле, что эталонный тест, валидность которого определена, выступает в качестве независимого критерия.
Следует заметить, что в отличие от критериальной валидизации при анализе конструктной валидности не требуется высокой степени связи результатов двух тестов. Если окажется, что новый и эталонный тесты практически идентичны по содержанию и результатам и разрабатываемая методика не обладает преимуществами краткости или легкости применения, то это означает лишь дублирование теста, оправданное только с точки зрения создания параллельной формы теста.
Смысл процедуры конструктной валидности состоит в установлении одновременно как сходства, так и различия психологических феноменов, измеряемых новым тестом по сравнению с известным.
2. Конвергентная и дискриминантная валидности
Конвергентная и дискриминантная валидности. При анализе конструктной валидности методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с широким кругом других тестов, направленных на конструкты, находящиеся в теоретически известной или предполагаемой связи с исследуемыми. При этом конструктная валидность характеризуется не только связями проверяемого теста с близкородственными показателями, но и с теми, где исходя из гипотезы значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсутствия связи) валидности. Подтверждение совокупности теоретически ожидаемых связей составляет важный круг сведений конструктной валидности. В англоязычной психодиагностике такое операциональное определение конструктной валидности обозначается как предполагаемая валидность (assumed validity).
3. Факторная валидность
Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность.
3. Факторная валидность
Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность.
Важным аспектом конструктной валидности является внутренняя согласованность, отражающая то, насколько определенные пункты (задания, вопросы), составляющие материал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста. Следует отметить, что критерий внутренней согласованности указывает лишь на меру связи всего содержания теста с измеряемым конструктом, давая лишь косвенную информацию о природе измеряемого свойства.
При определении конструктной валидности важное место принадлежит изучению динамики измеряемого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из таких подходов является применение критерия возрастной дифференциации, что предусматривает согласование результатов теста с ожидаемыми изменениями, которые претерпевает изучаемое психическое свойство в возрастной динамике при переходе на новый этап развития. Этот метод конструктной валидности особенно важен для валидизации тестов интеллекта, достижений в обучении.
В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфере критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидности необходимы связь с практическими формами деятельности, достоверность прогноза реального поведения. Однако конструктная валидность является качественно более высоким и комплексным уровнем описания теста, характеризуя область измеряемого поведения в широких психологических понятиях. Благодаря данным конструктной валидности мы можем с психологических позиций закономерно объяснить результаты теста и их дисперсию, обосновать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.
В качестве примера, иллюстрирующего необходимость глубокого анализа теоретического конструкта, лежащего в основе конкретной методики, для правильного применения теста и интерпретации его результатов, можно привести сопоставление двух популярных личностных опросников – шкалы проявления тревожности (MAS) и варианта личностных опросников Айзенка (EPI). Корреляционные исследования показывают, что шкала тревожности MAS положительно коррелирует со шкалой нейротизма и отрицательно – со шкалой экстраверсии EPI. Согласно концепции Айзенка эти данные можно рассматривать как свидетельство низкой валидности шкалы MAS: тревожность коррелирует не только с релевантным фактором «нейротизм», но и с иррелевантным фактором «интроверсия». С этой точки зрения MAS оказывается просто нечувствительным к особой разновидности нейротизма – нейротизму (тревожности) экстравертов, из перечня пунктов MAS исключены высказывания, в которых могла бы проявиться тревожность экстраверта. Однако с теоретических позиций К. Спенса и Дж . Тейлора эта ситуация вполне закономерна, желательна и никак не является артефактом – следствием дефекта данного диагностического средства. Согласно К. Спенсу, пытавшемуся переносить на человеческое поведение теорию научения Халла, MAS измеряет общий уровень драйва – неспециализированного побуждения, которое как раз достигает максимума при сочетании нейротизма (специфической активации по Айзенку) и интроверсии (неспецифической активации) (Практикум по психодиагностике, 1984). Таким образом, названия тестов не всегда однозначно выражают понятия об измеряемом свойстве. В данном примере особенно подчеркивается роль психологической теории, лежащей в основе методики для раскрытия содержания показателей, получаемых с ее помощью.
4. Дифференциальная валидность
Дифференциальная валидность – вид конструктной валидности, рассматривающей внутренние взаимоотношения между психологическими факторами, диагностируемыми с помощью психодиагностической методики. Содержание дифференциальной валидности может быть проиллюстрировано на примере тестов интересов, которые в своем большинстве обычно умеренно коррелируют с показателями общей академической успеваемости, однако в различной степени связаны с успеваемостью по отдельным дисциплинам. Дифференциальная валидность особенно важна как показатель диагностической ценности методик, используемых в профотборе.
5. Валидность по возрастной дифференциации
Валидность по возрастной дифференциации – один из компонентов конструктной валидности, связанный с возрастной динамикой изменений исследуемого качества. Характеристика валидности по конструкту здесь заключается в определении соответствия результатов теста теоретически ожидаемым и практически наблюдаемым возрастным изменениям данного конструкта или свойства.
Наибольшее значение валидность по возрастной дифференциации имеет для характеристики валидности тестов, направленных на измерение психологических свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, выраженной иерархичностью ступеней развития (осведомленности, навыков, интеллектуальных операций и др.). По этой причине валидность по возрастной дифференциации является главным оценочным критерием при валидизации тестов интеллекта, особенно предназначенных для детей. Здесь закономерное повышение результатов выполнения заданий теста в каждой последующей возрастной группе является основным психометрическим принципом диагностики уровня развития, базой для построения психометрической шкалы. Прослеживается связь валидности по возрастной дифференциации с текущей валидностъю за счет более точной дифференциации возрастных этапов развития исследуемых свойств. Большое значение валидность по возрастной дифференциации имеет и для характеристики валидности тестов способностей, достижений, уровня образования, навыков, умений. Высокие показатели по этому критерию необходимы также для методик, применяемых в клинике в целях повышения точности дифференцированной диагностики изменений возрастного и патологического характера, психодиагностического обследования лиц пожилого и преклонного возраста.
В ряде случаев валидность по возрастной дифференциации обнаруживает связь с прогностической валидностью методик. Наличие высоких показателей по этому критерию означает стабильное изменение исследуемых свойств в большой статистической выборке при переходе от одной возрастной группы к другой, повышает точность индивидуального прогноза.
Критерий валидности по возрастной дифференциации обычно не находит широкого применения при валидизации методик, предназначенных для психологической диагностики функций, свойств, не обнаруживающих четкой и однозначной тенденции к возрастным изменениям. К их числу, в частности, относятся методики диагностики личности.
Одной из конкретных форм выражения показателей валидности по возрастной дифференциации является статистический анализ достоверности различий между результатами теста у испытуемых различного возраста. Более точным, но и более трудоемким и продолжительным методом определения валидности по возрастной дифференциации является лонгитюдное исследование.
ЛЕКЦИЯ № 12. Содержательная валидность
1. Сущность, область применения. Этапы валидизации
Содержательная валидность – один из основных типов валидности методики, характеризующий степень репрезентативности содержания заданий теста измеряемой области психических свойств.
Комплекс сведений содержательной валидности традиционно имеет наибольшее значение для тестов, исследующих деятельность, близкую или совпадающую с реальной (чаще всего учебной или профессиональной). Изучаемая деятельность носит, как правило, синтетический характер, складывается из многих, подчас разнородных факторов (проявлений личностных особенностей, комплекса необходимых знаний и навыков, специфические способностей и т. д.). Поэтому одной из важнейших задач создания адекватной модели тестируемой деятельности является подбор таких заданий, которые будут охватывать главные аспекты изучаемого феномена в правильной пропорции к реальной деятельности в целом.