Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
Рис. 3.11. Классификационная схема современных оценочных средств
Таким образом, на количественном уровне измерений применяют стандартизованные тесты учебных достижений, содержащие задания с выбором ответов. На качественном уровне измерений широкое распространение получили портфолио, тесты практических умений, кейсы, анкетные обследования и интервью, отвечающие требованиям теории педагогических измерений, в частности требованиям высокой надежности и валидности.
По данным педагогического контроля, организованного с помощью современных оценочных средств, можно осуществлять:
• феноменологический анализ качества процесса и результатов образования, строящийся на анализе данных анкет, интервью и тестовых заданий со свободно конструируемым ответом;
• содержательный анализ программных документов процесса обучения, включающий изучение инструкций, писем, протоколов и пр.;
• аналитическую индукцию, позволяющую связать данные о качестве образования с различного рода инновациями в учебном процессе и получить данные, подтверждающие достоверность и надежность управленческих выводов;
• сравнительный анализ, предполагающий сопоставление данных по однородным группам объектов исследования (студентам, педагогам, вузам и т.д).
Современные оценочные средства позволяют:
• повысить аутентичность результатов итогового контроля;
• создать в процессе текущего контроля условия, адекватные современным технологиям обучения и обеспечивающие развитие компетенций, повышение вариативности и доступности учебных программ для студентов;
• повысить роль самоконтроля, самокоррекции и самооценки в учебной деятельности;
• выбрать общие критерии оценивания, построить стандартизованные интервальные, квазиинтервальные или уровневые шкалы;
• создать эффективную систему вузовского мониторинга качества образовательных достижений;
• перейти к интегральным многомерным итоговым оценкам учебных достижений.
3.6. Основные этапы разработки аттестационных измерителей
В общем случае в процессе планирования при разработке измерителей важно идентифицировать:
• цель измерения, связав ее с функциями контроля и областью применения результатов измерения;
• порции и временные интервалы применения;
• содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).
Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:
• подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);
• виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;
• представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;
• инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;
• время выполнения теста или временные промежутки, если есть субтесты.
Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:
• определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);
• провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;
• определить структуру теста и стратегию расположения заданий;
• разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;
• создать задания в каждой из выбранных тестовых форм;
• отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;
• провести экспертный анализ качества содержания заданий и теста;
• провести экспертизу формы предтестовых заданий;
• переработать содержание и формы заданий по результатам экспертизы;
• сформировать выборку для апробационного тестирования;
• разработать инструкции для студентов и преподавателей, проводящих апробацию теста;
• провести апробационное тестирование для сбора эмпирических результатов;
• провести статистическую обработку результатов апробации;
• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;
• провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);
• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);
• установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].
Выводы
Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.
Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.
В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.
При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.
Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.
При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.
