Для схематического изображения экспериментальных планов мы будем использовать следующие обозначения. Буквой Т мы будем обозначать измерительную процедуру, которой подвергаются испытуемые. Буквой Г будем обозначать группу испытуемых, привлеченных к эксперименту, при этом верхний индекс будет указывать, является ли данная группа экспериментальной или контрольной – Г и Г. Под экспериментальной группой понимается множество испытуемых, являющееся подмножеством исследуемого отношения. Контрольная группа подбирается таким образом, что все ее члены не находятся в данном отношении. Так, например, если исследуется новый метод интенсивного обучения, то этот метод применяется в экспериментальной группе и не применяется в контрольной. Далее группы могут подвергаться тестированию в разные моменты времени. Момент времени, в который группа была подвергнута тестированию, будет фиксироваться нижним индексом: Г – означает, что данная экспериментальная группа была тестирована в 1 момент времени. Нижние индексы, таким образом, указывают порядок тестирования групп. Буквой D мы будем обозначать множество результатов измерения, т. е. зависимую переменную. В схемах будет использована такая стрелка →, которая будет выступать в двух значениях. В паре Т → Г стрелка будет обозначать, что тестовые задания предъявляются группе испытуемых; в паре Г → D стрелка будет обозначать, что экспериментатор свел результаты тестирования в специальную таблицу, называемую матрицей первичных данных, которая фактически и обозначается буквой D. В этой таблице каждому испытуемому ставится в соответствие единственная оценка по каждому тестовому заданию.
Первый наипростейший экспериментальный план модно, вслед за Кэмбэллом, называть "исследованием единичных случаев". Его схема такова: Т – Г – D. Это исследование заключается в том, что проводится единичное тестовое обследование некоторой группы испытуемых. В таком описании исследование, построенное по данному плану, практически не имеет научной ценности. Однако если исследователь уже сформулировал проблему и определил объект и предмет исследования, то научная ценность единичного обследования может быть существенно увеличена с точки зрения его использования для пилотажного исследования.
Следующий экспериментальный план строится на двукратном тестировании, проводимом до некоторого экспериментального воздействия на группу и после него. Схема такого исследования выглядит так:
Т – Г – D
Т – Г – D
Этот план также годен только для пилотажного исследования. Действительно, при таком плане у исследователя не может быть уверенности в том, что между моментами времени 1 и 2 не произошло каких-то существенных изменений в группе, не учтенных при формулировании гипотезы о различии D1 и D2. Кроме того, ничего неизвестно о том, какие отношения, существующие в группе, определили результаты в целом и связаны ли эти отношения с теми, которые интересуют исследователя. Еще раз подчеркнем, однако, что точное определение проблемы, объекта и предмета исследования ослабляет действие угроз валидности и позволяет исследователю формулировать правдоподобные гипотезы, предполагая их проверку в основном эксперименте. Такое ослабление обусловлено подробным теоретическим исследованием всей системы, определяющей область исследования, что позволяет заранее уяснить существующие ограничения степеней свободы побочных переменных.
Следующий экспериментальный план предполагает сравнение двух групп на основе их однократного тестирования. Схема плана выглядит следующим образом:
Т – Г – D
Т – Г – D
Этот план позволяет уже контролировать влияние побочных условий на проведение эксперимента, так как обе группы должны находиться в одинаковых условиях. Однако в этой случае исследователям ничего неизвестно о том, каковы были эти группы до осуществления экспериментального воздействия, а следовательно, различия между D и D могут быть результатом изначальных различий групп по тем или иным свойствам. Легко видеть, что объединение второго и третьего экспериментальных планов позволяет контролировать (в смысле уравнивания для контрольной и экспериментальной групп) все угрозы внутренней валидности. В результате такого объединения мы получим четвертый экспериментальный план, который иногда называют собственно экспериментальный в отличие от предыдущих – доэкспериментальных. Схема этого плана такова:
Т – Г – D Т – Г – D
Т – Г – D Т – Г – D
Этот план может быть использован при проведении основного эксперимента. В этом случае на выходе исследователь имеет четыре матрицы первичных данных, которые характеризуют начальные и конечные состояния обеих групп. Следует, однако, помнить, что данный план позволяет лишь уравнять все побочные влияния для обеих групп, т. е. обеспечивает одинаковое смещение всех экспериментальных оценок, но не позволяет узнать, каково это смещение. Такой план, следовательно, представляется удовлетворительным всегда, когда измерения производятся в интервальных шкалах. В этом случае мы можем увеличить или уменьшить все оценки на постоянную величину, не потеряв при этом никакой информации. Если же измерение каких-то показателей производилось в шкале отношений, и это важно для исследователя, то для уверенности в том, что результаты измерения не искажены побочными влияниями, следует использовать более сложный план. Таким планом может служить план Соломона, названный по имени исследователя, предложившего его. Схема этого плана такова:
Т – Г -D Т – Г – D Т – Г -D
Т – Г – D Т – Г – D Т – Г – D
Верхние индексы Э1 и К1 означают, что речь идет уже о других экспериментальной и контрольной группах, не пересекающихся с первыми. Таким образом, для реализации плана Соломона необходимо наличие четырех различных групп испытуемых. При этом в группе Г определено исследуемое отношение, а в Г – нет. Пусть теперь некоторый результат измерения d из D является показателем измерения исследуемого свойства в шкале отношений. Тогда должны быть выполнены следующие условия:
1) d є 0, если d ∈ D или d ∈ D (нижний индекс любой).
Пусть d1 ∈ D1, d2 ∈ D2, d3 ∈ D3, тогда
2) d1 ≠ d2 = d3 = 0.
Если выполнены оба условия, то можно утверждать, что экспериментальный план согласован с измерением в шкале отношений и все побочные влияния на исследуемую переменную устранены.
Если второе условие не выполнено (но выполнено первое), т. е. d2 ≠ d3, то говорят, что измеряемая переменная взаимодействует с измерительным методом. При этом предполагается, что обе экспериментальные группы уравнены по измеряемым характеристикам.
Если не выполнено и первое условие, то пропорциональность шкалы нарушается, если, однако, d во всех трех указанию: в первом условии множествах данных остается постоянным, то можно говорить, что исследуемое свойство измерено в шкале интервалов и все побочные влияния манкированы. Необходимо добиться выполнения этого последнего условия при проведении основного эксперимента. Это может быть сделано посредством аккуратной проверки всех условий эксперимента и устранения всех "подозрительных" факторов, т. е. тех, которые могут оказывать влияние на исследуемую переменную.
Подготовка данных для обработки на ЭВМ.
В начале параграфа несколько слов о том, зачем нужна обработка данных на ЭВМ. Необходимость такой обработки обусловлена сложностью предмета современного психолого-педагогического исследования. Множественность составляющих его отношений делает невозможным их количественное сравнение без ЭВМ, в силу естественных временных ограничений человеческой деятельности. Но дело не только в этом. Сложность предмета исследования стимулировала разработку адекватных этой сложности методов количественного представления данных, которые в силу исторических причин оказались неразрывно связанными с электронно-вычислительной техникой. В настоящее время не представляется возможным проведение того или иного вида статистического анализа даже для небольшого числа измерений без использования ЭВМ.
Задачей статистического анализа является представление исследуемого сложного отношения как некоторого фактор-множества, т. е. как множества непересекающихся классов. Что позволяет исследователю сделать важный шаг на пути к искомому обобщению. Действительно, исследование начинается с того, что исследователь определяет множество интересующих его отношений, пересечение которых представляет собой сложное и неизвестное еще новое отношение. В процессе пилотажного исследования выясняется, что некоторые составляющие свойства связаны между собой, однако в силу их множественности восстановить всю структуру связей и перейти к обобщению не представляется возможным. С помощью специальных методов существует возможность отобразить все множество исследуемых свойств в небольшое число классов. Далее либо посредством обобщения всего класса свойств, либо посредством выбора некоторого (центрального) представителя класса он может быть отождествлен с некоторым более сложным свойством, множество же классов определяет структуру всего исследуемого отношения.
Существует два основных подхода к построению статистической классификации при незаданных классах. Первый из них носит название кластерного анализа. Этот вид анализа построен на оценке близости элементов исходного множества. Сразу оговоримся, что статистический анализ может быть использован и используется не только для классификации множества исследуемых свойств, но и для классификации испытуемых.
Для разбиения исходного множества на классы необходимо выбрать меру близости элементов. Выбор меры может быть различным в зависимости от специфики исследования. Ее можно задать системой функций f(xi, xj),…, f(x1,…, xn) от двух до n аргументов. Значения f(x1,…, xk) характеризуют степень близости ее аргументов. Из физических соображений обычно выбирают меру попарной близости элементов. Из попарной близости можно построить различные меры групповой близости. Например, можно выбрать диаметр множества или ее усреднение. После того как мера выбрана, определяют ее критическое значение. Далее организуется процедура отбора элементов в классы, которая прекращается тогда, когда расстояния между кластерами становятся элементами больше критического. Более подробное описание кластерного анализа можно найти у других авторов (Байметов, 1967; Брунер, 1971). Чаще всего кластерный анализ применяют для классификации испытуемых.
Вторым подходом к классификации является факторный анализ, который основан на анализе матрицы связей переменных (ковариационной матрицы). В настоящее время наиболее подробно разработана линейная модель факторного анализа. Подробнее с техникой факторного анализа можно ознакомиться у Брунера, 1971.
Для проведения статистического анализа данных исследователь вводит в память ПЭВМ матрицу первичных данных, элементами которой являются оценки испытуемых по всем переменным измерительным методам.
3.3. Интерпретация результатов статистического анализа
В случае использования кластерного (или какой-то его разновидности, например, таксономического) анализа для классификации испытуемых исследователь после машинной обработки данных получает распечатку, где тем или иным способом указано число определенных классов и принадлежность каждого из испытуемых к тому или иному классу. Испытуемые, отнесенные к разным классам, различаются между собой по набору исследуемых свойств. Таким образом, интерпретация результатов основана на уяснении того, какими свойствами обладают представители каждого класса. Рекомендуется специально составить списки свойств, характеризующие каждый выделенный класс. Далее каждый такой список можно озаглавить либо посредством указания какого-то обобщающего свойства, либо посредством выбора из списка наиболее представительного свойства, например, наиболее сильно выраженного у всех испытуемых данного класса.
Приведем пример использования таксономического анализа в психологии. В исследовании, проведенном под руководством В.С. Мерлина (Басырова, 1965), для классификации испытуемых использовался ряд психофизиологических и психических свойств человека, таких, как свойства нервной системы, некоторые особенности восприятия, экстравертированность (направленность на общение), и др. В результате было выделено два класса испытуемых, по мысли авторов обладающих соответственно двумя различными типами темперамента. Таким образом, исходный набор свойств был обобщен в понятии "тип темперамента". Далее, основываясь на том, что выборка испытуемых была достаточно велика, авторы сделали вывод о структуре исследуемого свойства в целом, а именно о том, что существует всего два типа темперамента. Обратимся теперь к интерпретации результатов факторного анализа. После машинной обработки данных исследователь располагает распечаткой корреляционной и факторной матриц. Хотя корреляционный анализ (анализ матрицы корреляционных связей исходных свойств) в строгой смысле не является частью факторного анализа, однако, очевидно, по причине пересечения процедур расчета, существуют единые программы машинной обработки данных, включающие и корреляционный и факторный анализ.
Корреляционная матрица представляет собой таблицу коэффициентов корреляции признаков (свойств). Количество коэффициентов корреляции, подлежащих интерпретации, можно рассчитать, исходя из числа признаков, по формуле, приведенной в п. П.3. Если в распечатке корреляционная матрица приведена полностью, то анализировать следует либо ее верхнюю, либо нижнюю часть по отношению к единичной диагонали. После того как выделен нужный кусок матрицы, следует обратиться к таблицам значимости для коэффициента линейной корреляции (см., напр.: Валлон, 1967) и установить критическое значение коэффициента для имеющегося числа степеней свободы, т. е. для того количества испытуемых, которые участвовали в эксперименте.
Далее, обращаясь к корреляционной матрице, все значения коэффициентов, которые меньше критического при 95 %, можно оставить без внимания. Все же большие значения имеет смысл подчеркнуть. При этом все значения, которые больше критического при 99 % вероятности, имеет смысл отметить каким-то другим способом. Все отмеченные коэффициенты теперь могут быть подвергнуты интерпретации. Мы укажем здесь три наиболее употребительных метода интерпретации.
Интерпретация единичной корреляционной связи. Применяется для интерпретации связи двух наиболее важных для исследователя свойств. Чаще всего обращают внимание на величину коэффициента, что характеризует силу связи, а также на знак, характеризующий направление связи, в соответствии с этим могут строиться утверждения, что большая выраженность первого свойства связана с большей (или меньшей при отрицательной связи) выраженностью второго свойства. Далее исследователь может попытаться объяснить причину такого положения вещей из теоретических соображений, не следует, однако, никогда забывать, что саму корреляционную связь никогда нельзя рассматривать как причинную связь между признаками, так как априори неизвестно, обуславливают ли они друг друга или оба обусловлены некоторой третьей причиной.
Метод корреляционных плеяд. Для реализации этого метода все множество корреляционных связей следует сначала представить графически в виде некоторого графа. При изображении признаки обычно представляются кружками, внутри которых записывается номер или название признака. Связи изображаются линиями, связывающими кружки, имеет смысл положительные и отрицательные связи изображать разным цветом, иногда такие отрицательные связи изображают пунктиром. Над каждой связью надписывается ее значение. Изображение графа связей следует начинать с множества связей, значимых на самом высоком уровне (99,9 %). Этот граф представляет собой плеяду наиболее сильных корреляционных связей, его следует проинтерпретировать отдельно. Затем можно построить граф всех связей, значимых на уровне 99 %. Этот граф также интерпретируется отдельно. Затем можно перейти к интерпретации малозначащих связей (95 %).
Основные моменты, на которые обращают внимание при интерпретации корреляционных плеяд, следующие. Количество связей признака: некоторые признаки могут иметь много связей, другие – мало. Признаки, имеющие много связей, рассматриваются как центральные, им из теоретических соображений может быть приписано большое функциональное или системообразующее значение; признаки, имеющие мало связей, рассматриваются как периферийные. Последовательность признаков в цепочке связей: сама отдельно взятая цепочка связей не может быть однозначно интерпретирована, поэтому имеет смысл рассматривать последовательность удаления признаков от некоторого центра. Первый признак в такой последовательности имеет много связей, далее их число уменьшается вплоть до периферийного признака, имеющего единственную связь.