Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
(6.6)
где pjl – доля испытуемых, выполнивших правильно оба задания с номерами j и l, т.е. доля тех, кто получил 1 балл по обоим заданиям; pj – доля испытуемых, правильно выполнивших j-е задание, qj = 1 – pj; pl – доля испытуемых, правильно выполнивших l-е задание теста, ql = 1 – pl.
Например, для рассматриваемого примера матрицы корреляция между результатами по 5-му и 6-му заданиям теста будет:
Результаты подсчета значений коэффициента корреляции между всеми заданиями для примера матрицы сведены в табл. 6.4.
Анализ значений коэффициента корреляции в табл. 6.4 позволяет выделить в категорию «плохих» 3-е и 8-е задания теста. Задание 3 отрицательно коррелирует с заданиями 7, 8, 9 и 10. О том, что «виновато» 3-е, а не другие задания теста, свидетельствует анализ значений коэффициента корреляции в столбцах с номерами 7, 9 и 10. В них просматривается только один минус на месте, соответствующем заданию теста 3, которое в свою очередь отрицательно коррелирует с четырьмя заданиями теста. Аналогичная ситуация наблюдается для задания 8. Отрицательные значения коэффициента корреляции указывают на определенный просчет разработчиков в содержании заданий, которые рекомендуется из теста удалить. Наиболее распространенная причина появления отрицательной корреляции – отсутствие предметной чистоты содержания – нередко встречается при разработке самых разных тестов.
Понятно, что предметная чистота – скорее, идеализируемое, чем реальное требование к содержанию любого теста. Например, в тесте по физике всегда встречаются задания с большим количеством математических преобразований, в тесте по биологии – задания, требующие серьезных знаний по химии, в тесте по истории – задания, рассчитанные на выявление культурологических знаний, и т.п. Поэтому можно лишь стремиться к тому, чтобы при выполнении каждого задания доминировали знания по проверяемому предмету.
Таблица 6.4 Коэффициенты корреляции заданий
Анализ 9-го столбца табл. 6.4 с максимальной суммой 4,6495, приведенной в конце, указывает на наличие ряда довольно высоких значений коэффициента корреляции (φ9,8 = 0,6124; φ9,7 = 0,7638; φ9,10 = 0,6667), которые могут получить различную трактовку в зависимости от вида разрабатываемого теста. Для тематических тестов высокая корреляция между заданиями неизбежна, так как они в большинстве своем имеют слабо варьирующее исходное содержание, что вполне объяснимо назначением теста. Однако для итоговых тестов высокой корреляции между заданиями по возможности стараются избегать, поскольку вряд ли имеет смысл включать в итоговый тест несколько заданий, оценивающих одинаковые содержательные элементы. Поэтому в итоговых аттестационных тестах обычно стремятся к невысокой положительной корреляции, когда значения коэффициента варьируют в интервале (0; 0,3), и каждое задание привносит свой специфический вклад в общее содержание теста.
Далее с помощью подсчета значений точечного бисериального коэффициента корреляции можно оценить валидность отдельных заданий теста. Бисериальный коэффициент корреляции используется в том случае, когда один набор значений распределения задается в дихотомической шкале, а другой – в интервальной. Под эту ситуацию подпадает подсчет корреляции между результатами выполнения каждого задания (дихотомическая шкала) и суммой баллов испытуемых (интервальная или квазиинтервальная шкала) по заданиям теста.
Формула для вычисления значения точечного бисериального коэффициента rpbis, имеет вид:
(6.7)
где (X̅1)j — среднее значение индивидуальных баллов испытуемых, выполнивших верно j-е задание теста; (X̅0) – среднее значение индивидуальных баллов испытуемых, выполнивших неверно j-е задание теста; Sx — стандартное отклонение по множеству значений индивидуальных баллов; (N1)j – число испытуемых, выполнивших верно j-е задание теста; (N0)j — число испытуемых, выполнивших неверно j-е задание теста; N — общее число испытуемых, N = N1 + N0.
Применение формулы (6.7) для данных по 5-му заданию рассматриваемого примера матрицы дает достаточно высокое значение точечного бисериального коэффициента.
так как 1, 4, 5, 9 и 10-й испытуемые выполнили задание 5 верно.
так как 2, 3, 6, 7 и 8-й испытуемые выполнили задание 5 неверно. Стандартное отклонение, подсчитанное для рассматриваемого примера ранее, Sx ≈ 2,6; (N1)5 = (N0)5 = 5; N = 10. Поэтому
Значения бисериального коэффициента корреляции десяти заданий с суммой баллов по тесту rbis, рассчитанные с помощью компьютерных программ для данных матрицы, приводятся в табл. 6.5
Таблица 6.5 Значения коэффициента бисериальной корреляции
Анализ значений коэффициента бисериальной корреляции в табл. 6.5 указывает на два довольно неудачных задания теста – 3-е [(rbis)3 = 0,26] и 8-е [(rbis)8 = 0,24], которые имеют низкую валидность и должны быть удалены из теста. В целом задание можно считать валидным, когда значение (rbis)j ≈ 0,5 или выше этого числа. Оценка валидности задания позволяет судить о том, насколько оно пригодно для работы в соответствии с общей целью создания теста. Если эта цель – дифференциация студентов по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных от слабо подготовленных испытуемых тестируемой группы.
Решающую роль в оценке валидности задания играет разность (X̅1)j – (X̅0)j, находящаяся в числителе дроби формулы (6.7). Чем выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых. Значения, близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. В том случае, когда в разности доминирует вклад (X̅0), а не (X̅1), задание следует просто удалить из теста. В нем побеждают слабые испытуемые, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат удалению все задания, у которых rbis < 0.
Оценка трудности тестовых заданий в классической теории получается по формуле
pj = Rj / N
где pj — доля правильных ответов на j-е задание; Rj — количество студентов, выполнивших j-е задание верно; N — число студентов в тестируемой группе; j – номер задания теста, j = 1, 2, …, n. Трудность задания нередко выражают в процентах, тогда оценку, полученную по формуле (6.8), умножают на 100%.
Долю правильных ответов на задание pj естественно интерпретировать как легкость задания, в то время как трудность скорее ассоциируется с долей неправильных ответов qj, которая находится путем вычитания pj из единицы: qj = 1 – pj . Однако по сложившейся традиции в классической теории тестов за трудность задания принимается именно доля pj. Для рассматриваемого примера матрицы доля правильных ответов на первое задание p1 = 9/10 = 0,9, а доля неправильных ответов q1 = 1 – 0,9 = 0,1 и т.д. После перевода доли p1 в проценты (0,9 · 100% = 90%) первое задание следует отнести к категории крайне легких: его выполнили 90% тестируемой выборки студентов.
Подбор заданий по трудности в тесте удобно оценить с помощью гистограммы (рис. 6.3).
Рис. 6.3. Гистограмма хорошо сбалансированного по трудности нормативно-ориентированного теста
В хорошо сбалансированном по трудности нормативно-ориентированном тесте есть несколько самых легких заданий со значениями p → 0. Есть несколько самых трудных с p → 1. Остальные задания по значениям p занимают промежуточное положение между этими крайними ситуациями и имеют в основном трудность 60–70%. Дополнительный аргумент в пользу преимущественного включения заданий средней трудности с p =̣ 0,5 связан с подсчетом дисперсии по каждому заданию теста, которая для дихотомического набора данных будет равна σj = pjqj, (j = 1, 2, …, n). Так как произведение pjqj достигает максимального значения (0,5 · 0,5 =̣ 0,25) при pj =̣ 0,5 =̣ qj , то в рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p = q =̣ 0,5, обеспечивающие максимальный вклад в общую дисперсию теста. В пользу преимущественного выбора заданий средней трудности также говорит подсчет ошибки измерения, которая уменьшается по мере продвижения к центру, где расположены задания средней трудности, и увеличивается на концах распределения.
