Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально-ориентированного подхода, поскольку бессмысленно говорить о численном аналоге уровня сформированности компетенций. Для получения надежных и валидных результатов итоговой аттестации выпускников вузов в рамках компетентностного подхода обычно используют уровневую шкалу, которую в зарубежных работах обычно, называют вертикальной.
Рис. 3.10. Уровневая компетентностная шкала
Основные направления работ по созданию методики корректного измерения при компетентностном подходе связаны с анализом содержательной структуры и трудностей заданий компетентностного теста. Таким образом, процесс построения вертикальной шкалы (рис. 3.10) для каждой компетенции идет двумя путями. С одной стороны, экспертно выделяются планируемые уровни учебных достижений и соответствующие им по содержанию задания под каждый уровень, нуждающиеся в обосновании своей прогностической валидности путем привлечения работодателей. С другой стороны, строится количественная шкала, получающаяся на основании статического анализа результатов выпускников в итоговой аттестации и позволяющая соотнести определенные совокупности заданий по количественным оценкам их трудности с выделенными диапазонами компетентности. Таким образом, для каждого диапазона компетентности определяется фрейм заданий, образующих часть общего компетентностного теста.
На рис. 3.10 показаны минимальный, базовый, промежуточный, продвинутый уровни и уровень высокой компетентности. Этот рисунок приведен в качестве примера использования вертикальной шкалы в международных исследованиях качества образования. При аттестации, по-видимому, вполне достаточно выделения трех уровней компетентности для построения вертикальной шкалы: минимального, базового и высокого.
При интерпретации результатов выполнения уровневых компетентностных тестов возможны различные схемы построения итогового балла испытуемого для принятия аттестационного решения. В одном случае внутри каждого уровня компетентности экспертно определяют критериальный балл, подлежащий обязательной эмпирической валидизации и позволяющий говорить об освоении определенного уровня компетенции в различных диапазонах в том случае, когда балл испытуемого, подсчитанный только по совокупности заданий, относящихся к данному диапазону компетентности, превышает критерий в каждом диапазоне. В другом случае можно сосредоточиться только на одном диапазоне, например диапазоне высокой компетентности, и засчитывать результаты аттестуемых как положительные вне зависимости от освоения ими компетенций на базовом или минимальном уровнях. В третьем случае балл испытуемого можно находить простым сложением результатов по отдельным заданиям компетентностного теста, не задаваясь вопросом о принадлежности заданий отдельным диапазонам компетентности, а затем сопоставлять его с критериальным баллом и принимать решение об аттестации студента.
Конечно, при построении вертикальной шкалы можно использовать не только компетентностные тесты. В этом случае при вертикальном шкалировании важно добиться сопряжения результатов, полученных на различных уровнях измерения при использовании разнообразных оценочных средств и сопряжения количественных диапазонов шкалы с содержательной структурой оценочных средств. Это работа не одного дня, требующая доказательства валидности заданий (содержательной, конструктной, прогностической) статистическими методами и определения оптимальных весовых коэффициентов при интеграции данных по различным измерителям в единой шкале разнообразных оценочных средств.
Компетентностный подход имеет большое будущее для итоговой аттестации, несмотря на всю сложность реализации его на практике. Сегодня, когда в образовательный процесс вовлечены не отдельные представители интеллектуальной элиты, а большие сообщества, возникла насущная необходимость установления связи качества подготовленности выпускников учебных заведений с требованиями сферы предполагаемого употребления результатов труда. Таким образом, сама жизнь выдвигает новые требования как к квалификации педагогов, так и к качеству подготовленности выпускников вузов. В этой связи одним из основных направлений развития современных педагогических измерений становится переориентация на междисциплинарность и полипрофессиональность, присущие современному образовательному пространству.
К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности студентов (Performance assessment). Они позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, по результатам выполнения которых получается некоторый материальный продукт, оцениваемый экспертами по стандартизованной шкале тестовых баллов. Многие из тестов, оценивающих результаты практической деятельности, не выдержали бы никакой критики специалистов тестологов из-за низких характеристик по ряду показателей качества в области педагогических измерений. Тем не менее они имеют высокую очевидную валидность и вызывают большой интерес у студентов.
Анкеты и интервью предоставляют дополнительную информацию о студентах, их окружении и деятельности во внеучебное время, позволяющую обоснованно интерпретировать данные тестирования или результаты применения других современных оценочных средств.
Анкеты относятся к инструментарию, дающему возможность собрать надежные и валидные данные об измеряемых переменных в тех случаях, когда процесс создания анкет проходит определенные научно обоснованные стадии. Вначале осуществляется формулирование проверяемой и нулевой гипотез и решаются проблемы учета всех сопутствующих факторов, влияющих на результаты эксперимента. Затем разрабатывается план исследований, включающих проведение анкетирования, обработку данных, их анализ и интерпретацию в соответствии с планом эксперимента. Разработка структуры анкеты и ее вопросов проводится в строгом соответствии с научно обоснованными требованиями, которые приводятся в многочисленной литературе по проблемам психодиагностики и измерений в социальных науках. Помимо содержания и формы представления вопросов, эти требования охватывают также внешний вид анкет, систему кодировки данных, их анализа и интерпретации.
При проведении анкетирования обычно принимается решение о том, что считать единицей анализа, в процессе которого происходит приписывание каждому респонденту определенного значения по оцениваемой переменной на основе выбранных правил. Обычно в образовании в качестве единиц анализа выступают учащиеся, педагоги или администрация учебных заведений, иногда к участию в анкетировании в качестве респондентов привлекаются родители студентов.
Интервью можно также рассматривать как научно обоснованный метод сбора дополнительных данных о студентах, их родителях или преподавателях. Специалисты различают континуум видов интервью, постепенно меняющихся от неструктурированного и открытого к высоко структурированному и закрытому интервью, требующему от респондентов однозначных ответов в рамках фиксированных форматов. В последнем случае некоторые исследователи склонны считать, что данные интервьюирования носят количественный характер, хотя это ошибочное суждение, поскольку искусственное приписывание чисел ответам респондентов вовсе не тождественно построению метрической шкалы.
Наиболее распространенный способ интервьюирования связан с последовательностью вопросов, поначалу имеющих достаточно общий вид, но постепенно сходящихся к предмету обсуждения. В образовании интервью часто используются при аккредитации учебных заведений, когда беседы с преподавательским составом вузов или администрацией носят общий ознакомительный характер [19]. Аналогичный случай имеет место в процессе ЕГЭ во время инспекционных посещений экзамена представителями других регионов, общественности или Минобрнауки. Для представления данных интервьюирования обычно используются неметрические шкалы Лайкерта, Терстоуна и т.д.
Различные виды инновационных и традиционных оценочных средств, соотнесенные с функциями педагогического контроля, представлены на рис. 3.11. Можно сделать вывод о том, что в настоящий момент на фоне традиционных средств оценивания результатов обучения появились различные новые виды измерителей, ориентированные на современные подходы к оценке качества образования. Разработка этих видов и их использование в управлении качеством обучения являются важными условиями эффективного выполнения всех функций педагогического контроля и повышения качества образования.
Рис. 3.11. Классификационная схема современных оценочных средств
