Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
Если конструкт включает не одну, а несколько переменных, то измерения называют многомерными. Такая ситуация как раз характерна при разработке и использовании компетентностных тестов. Совокупность переменных образует пространство переменных измерения, размерность которого равна их числу. Геометрическая интерпретация двумерных измерений приведена на рис. 2.7. Рисунок изображает частный случай, когда каждая из латентных переменных F1 и F2 воздействует на обе наблюдаемые переменные Х1 и Х2, находящиеся под влиянием ошибок измерения E1 и E2.
Рис. 2.7. Иллюстрация связи переменных при двумерном измерении
Возможны, конечно, другие ситуации, в которых каждая из латентных переменных F1 и F2 воздействует только на одну из переменных X1 и X2, либо только одна из латентных переменных приводит к возникновению двух наблюдаемых.
Многомерность требует построения по результатам измерения не одной, а нескольких шкал, количество которых должно быть равно размерности пространства измерений. Иногда при проведении многомерных измерений создают несколько субтестов, каждый из которых является одномерным и измеряет свою переменную с помощью одномерных заданий. Примером такого подхода является полидисциплинарный тест, состоящий из набора одномерных субтестов. В другом случае разрабатывают междисциплинарный тест, задания которого не являются одномерными. Каждое из заданий измеряет свою совокупность переменных, которые могут отличаться как по количеству, так и по содержательной трактовке конструкта.
В практике педагогических измерений существуют специальные методы анализа размерности пространства измерений. Такую группу методов предоставляет исследовательский и конфирматорный факторный анализ, применение аппарата которого основано на использовании соответствующего программного обеспечения, например статистического пакета SPSS и др. [43].
2.5. Уровни и шкалы измерений
В теории измерений общая типология уровней измерения основывается на проявлении совокупности свойств, лежащей в основе построения шкал. В качестве таких свойств выделяют:
• идентичность, позволяющую однозначно относить объекты к одной из выделяемых совокупностей;
• транзитивность, способствующую ранжированию объектов в определенном порядке;
• метричность, обеспечивающую единую единицу измерения и наличие абсолютного нуля.
Наиболее общая классификация, предложенная С. Стивенсом, включает четыре уровня измерений и фиксирует присущие им свойства. Согласно такой классификации, различают шкалы качественные (шкала наименований или классификаций, порядковая шкала) и количественные (интервальная шкала и шкала отношений). Качественные шкалы иногда называют неметрическими (концептуальными), количественные получили название метрических или материальных. Для каждого уровня измерений существуют группы допустимых преобразований и операций с различными математическими и статистическими величинами, характеризующими измеряемые признаки.
На качественном уровне отнесение эмпирических объектов измерения к различным классам проводится по признаку эквивалентности (шкала наименований) или по признаку упорядочения внутри эквивалентных объектов одного класса (порядковая шкала). Для отнесения или упорядочения применяются экспертные методы, при которых оценки на шкале считаются достоверными, если они признаны большинством экспертов.
В этой особенности построения качественных шкал в образовании есть свои плюсы и минусы. Положительным можно считать относительную легкость построения таких шкал, поскольку не привлекаются специальные оценочные средства, а участвуют только эксперты. Негативные характеристики качественных шкал – ограниченная сфера применения и низкая точность измерения. Числа или символы, приписываемые объектам путем экспертного оценивания, субъективны и носят исключительно условный характер. Поэтому эти числа нельзя суммировать или проводить с ними другие математические операции.
Количественные шкалы не предусматривают привлечения экспертов, поэтому представленные в них оценки измеряемых характеристик объектов обладают более высокой объективностью и поддаются определенным математическим операциям.
К простейшему типу качественных шкал относится шкала наименований (другое название – номинальная шкала), используемая для представления результатов классификации эмпирических объектов измерения, свойства которых проявляются только на уровне оценивания их эквивалентности. При построении шкалы наименований привлекаются эксперты, которые приписывают качественным свойствам объектов некоторые числа или другие символы.
Номинальные шкалы достаточно широко применяются в образовании в тех случаях, когда педагогическое измерение связано с объединением учащихся в группы по какому-либо признаку без установления порядка следования групп. Примером номинальной шкалы могут служить результаты зачетной сессии, когда все студенты делятся на две группы: получившие и не получившие зачет. Другой пример номинальной шкалы получается при дихотомическом оценивании результатов по отдельным заданиям теста. Если тестируемый студент за правильное выполнение задания теста получает 1, а за неправильное выполнение или пропуск задания теста – 0, то результаты тестирования будут представлены в номинальной шкале.
При отнесении каждого объекта к определенному классу в шкале наименований большое значение имеет стандартизация оценивающих правил, позволяющая минимизировать ошибки экспертов при классификации объектов измерения. Основное правило, которым должны руководствоваться эксперты, заключается в том, чтобы не приписывать объектам разных классов одинаковых наименований или чисел.
Так как числа в шкале наименований не несут в себе никаких количественных признаков, а характеризуют только отношение эквивалентности, то их применяют для определения вероятности или частоты появления в ряду наблюдений данного объекта. Поэтому для обработки количественных данных следует использовать не сами числа, а удельный вес количества объектов данного класса.
Номинальная шкала обладает свойствами симметричности и транзитивности. Симметричность означает, что отношения, существующие между градациями x1 и x2 имеют место и между х2 и x1. Транзитивность выражается в следующем: если x1 = x2 и х2 = х3, то x1 = х3 . В номинальной шкале допустимы следующие статистические операции:
• расчет частот (удельных весов) объектов данного класса;
• определение моды изучаемого признака.
Если отнесение объектов к классам основано не только на отношении эквивалентности, но и учитывает возрастание или убывание степени проявления измеряемого свойства, то получаемая шкала носит название шкалы порядка. В порядковой шкале производится ранжирование объектов или классов объектов, связанных соотношением больше-меньше.
Порядковые шкалы используются в образовании в тех случаях, когда педагогический контроль осуществляется традиционными способами без применения теории измерений и тестов. Однако результаты тестирования также приводят к порядковой шкале, если их обработка проводится без алгоритмов теории IRT. Классический пример порядковой шкалы – привычная четырехбалльная шкала, которую иногда неоправданно называют пятибалльной. Каждой группе студентов, проявляющей согласно мнению преподавателя сходные знания, присваивается одинаковый (один из четырех) номер места от двух до пяти.
Вполне понятно, что номера мест не следует складывать и вычитать ввиду неопределенного смысла получаемого результата. Однако этой прописной истины придерживаются далеко не всегда. В образовании был период, когда директору любой школы немало хлопот доставлял так называемый средний балл, который рассматривался как важный показатель качества работы школы. При этом никто не думал о том, что арифметические действия с номерами мест групп школьников не имеют смысла, и потому средний балл нисколько не отражает объективных закономерностей результатов учебного процесса.
Если ранжируются не отдельные объекты, а целые классы объектов, то внутри каждой группы порядок не устанавливается. Поэтому часто говорят о том, что порядковая шкала обладает слабым дифференцирующим эффектом, особенно в тех случаях, когда оценивается подготовленность довольно большого числа студентов. Каждой группе объектов присваивается определенный порядковый номер, который позволяет отличить ее представителей от представителей другого класса.
