Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
Информация управленческого характера, которую получает преподаватель после применения диагностических тестов, довольно подробна и непосредственно увязывается с планируемыми задачами обучения. Например, по результатам диагностики можно установить, что одни пробелы в подготовке вызваны неумением обучаемого применять на практике полученные им теоретические знания, а другие – неумением переносить теоретические знания на новую нестандартную ситуацию и т.д. Поэтому диагностические тесты позволяют педагогу определить истинные источники постоянных неудач отдельных студентов в обучении и скорректировать свою работу соответствующим образом.
Модель итоговых измерений носит преимущественный количественный характер и строится на основе последовательного или параллельного дизайна, сочетания количественных и качественных методов. Для ее реализации, протекающей согласно схемам 3, 4 и 5, чаще всего применяют итоговые тесты учебных достижений. Поскольку основная цель итогового тестирования – обеспечение объективной оценки результатов обучения и ее последующее использование для принятия административных управленческих решений в образовании, то при оценивании стараются применять количественные методы измерения и стандартизованные тесты. По этим же причинам итоговому тестированию стараются придать независимый характер и привлекают к его проведению структуры, внешние по отношению к учебным заведениям. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аккредитации вузов и т.д. Разработкой и стандартизацией итоговых тестов, результаты которых используются для административных решений, обычно занимаются специалисты, прошедшие специальное обучение методике конструирования педагогических тестов.
Для обработки данных в модели итоговых измерений обычно обращаются к теории IRT, особенно в тех случаях, когда данные измерения применяются для сопоставления эффективности работы учебных заведений или прогнозирования тенденций в образовании на основе мониторинговых исследований. Применение IRT позволяет перевести результаты измерений в метрическую шкалу, что существенно повышает обоснованность выводов в процессе управления качеством образования. На фоне количественных методов в модели итоговых измерений широко применяются анкетирование, собеседование и другие методы сбора качественных данных. Для повышения обоснованности выводов относительно итоговых результатов обучения привлекаются данные портфолио или результаты по тестам практических умений, позволяющие перевести результаты измерения только в порядковую или номинальную шкалу.
Выводы
Процесс педагогических измерений состоит из совокупности операций, направленных на компоненты измерений и позволяющих получить количественные или качественные оценки оцениваемых характеристик.
В отличие от традиционных оценочных средств измерители являются объектом специального анализа, направленного на обеспечение необходимых характеристик для повышения надежности и валидности результатов измерений. Особенно важно такое обоснование качества измерителей при итоговом контроле, результаты которого связаны с принятием важных административных решений, например, при аттестации выпускников или оценке эффективности деятельности учебных заведений.
При аттестации объектом измерения являются знания, умения навыки и компетенции, нередко называемые обобщающим термином «учебные достижения», структура и уровень сформированности которых сравнивают с требованиями ФГОС.
Надежность, валидность и размерность – три взаимосвязанные характеристики качества результатов измерений. Задание является одномерным, если оно измеряет одну и только одну переменную. Размерность задания равна числу переменных, которые оно измеряет. Анализ размерности результатов измерения, основанный на исследовательском и конфирматорном факторном анализе необходим при разработке оценочных средств в рамках компетентностного подхода к трактовке качества результатов образования.
При разработке тестов и переходе к шкалированным показателям испытуемых желательно пользоваться методами современной теории тестов (IRT), позволяющей преобразовать сырые баллы студентов в интервальную шкалу, единую для оценок параметров испытуемых и трудности заданий теста.
Классическая теория тестов и рекомендованные в ее рамках линейные преобразования сырых баллов повышают сопоставимость результатов студентов, но не меняют природу порядковой шкалы наблюдаемых результатов выполнения теста. Стандартизованные тесты, разработанные на основе классической теории, не позволяют перевести результаты испытуемых в интервальную шкалу.
Практические задания и вопросы для обсуждения
1. Какие компоненты педагогических измерений вы знаете?
2. Чем результаты оценивания качества подготовленности студентов, полученные на основе педагогических измерений, отличаются от результатов традиционных экзаменов?
3. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.
4. Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?
5. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?
6. Эффективно ли использовать диагностические тесты без корректирующих тестов?
7. Следует ли подвергать стандартизации тесты для текущего контроля?
8. Можно ли использовать тесты, стандартизованные в одном вузе, с теми же нормами для всех вузов по данному направлению подготовки?
3. Основные подходы к разработке измерителей
3.1. Общие подходы к интерпретации результатов педагогических измерений
При педагогических измерениях интерпретация баллов студентов может носить различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы – выборки студентов, выполнявших тот же самый тест, – для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). В другом случае результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход) [22, 28, 33, 43]. Хотя оба подхода дают информацию о подготовленности студентов, они отличаются по характеру получаемых данных. В нормативно-ориентированном подходе определяется место результата каждого студента по отношению к результатам других студентов. В критериально-ориентированном подходе информация, полученная при тестировании, позволяет установить освоенные разделы учебного курса или виды учебной деятельности, выявить проблемы и пробелы в усвоении.
Соответственно двум подходам к интерпретации результатов тестирования выстраиваются и два подхода к созданию педагогических тестов. Оба они перспективны и важны, имеют свою сферу применения, преимущества и недостатки. Выбор подхода к интерпретации результатов тестирования необходимо сделать в самом начале – в момент постановки цели создания теста. В противном случае можно оказаться в ситуации, когда результаты тестирования окажутся недостаточно информативными и непригодными для принятия обоснованных управленческих решений в рамках обоих подходов из-за неопределенности при интерпретации результатов выполнения теста. С первого взгляда оба подхода – нормативный и критериальный – непротиворечивы, поэтому у многих педагогов возникает впечатление, что можно делать тесты, допускающие сразу обе интерпретации результатов. Для специалистов по педагогическим измерениям совмещение нормативно-ориентированного и критериально-ориентированного подходов представляется недопустимым в силу целого ряда различий в конструировании тестов, поэтому в соответствии с двумя подходами к интерпретации результатов тестирования выделяют нормативно-ориентированные и критериально-ориентированные тесты.
3.2. Нормативно-ориентированный подход и стандартизация тестов
Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно-ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов студентов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания студента, выполнившего правильно всего 30 заданий в тесте из 60 в том случае, если 70–80% остальных студентов в группе сделали меньшее число заданий. Тот же самый результат обучаемого в сильной группе будет отнесен к категории довольно низких, если только 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого студента сравнивается с нормами выполнения теста.
