Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход
При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.
Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид
X'i = Xi – [Wi / (k – 1)]
где i – номер любого испытуемого группы; X'i — скорректированный балл i-го испытуемого; Xi — тестовый балл до коррекции; Wi – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + Wi = n, где n — число заданий в тесте.
При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.
Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.
В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:
• отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;
• нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;
• нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;
• выбор ответов по разным основаниям;
• просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.
Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.
Задание 11
КРУГООБОРОТ КАПИТАЛА – ЭТО
A. Непрерывное и последовательное движение денежного капитала
Б. Последовательное превращение капитала из одной функциональной формы в другую
B. Возвращение авансированной стоимости
Г. Функционирование товарного капитала
Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.
Задание 12
ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ
A. Больше
Б. Меньше
B. Такой же
Г. Зависит от конъюнктуры рынка
Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.
Задание 13
КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?
1. Взаимоотношение человека и окружающей среды
2. Оценка времени
3. Природа людей
4. Манера общения
5. Оценка степени активности
6. Свобода доступа информации
7. Взаимоотношение людей
8. Отношение к обладанию пространством
A. Четвертый и шестой
Б. Третий и шестой
B. Третий и пятый
Г. Четвертый и седьмой
Неудачным можно считать подбор дистракторов в задании 14, где вербальная ассоциация будет способствовать избыточной частоте выбора третьего, неправильного ответа.
Задание 14
КАКОЕ СОДЕРЖАНИЕ ВКЛАДЫВАЕТСЯ В ПОНИМАНИЕ «ОТКРЫТОЙ СИСТЕМЫ»?
A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними
Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности
B. Открыта для любых нововведений, необходимых собственнику
Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач
Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.
Задание 15
КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:
Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.
Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?
A. 0,01 х1 + 0,04 х2 → max
Б. 0,02 х1 + 0,03 х2 → max
B. 0,02 х1 + 0,04 х2 → max
Г. 0,03 х1 + 0,01 х2 → max
5.3. Задания с конструируемым ответом
В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.
Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.
В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.
