Стивен Левитт - FRICONOMICS ФРИКОНОМИКА МНЕНИЕ ЭКОНОМИСТА-ДИССИДЕНТА О НЕОЖИДАННЫХ СВЯЗЯХ МЕЖДУ СОБЫТИЯМИ И ЯВЛЕНИЯМИ
В общественных школах Чикаго подобное тестирование было введено в 1996 году. Согласно новым правилам, школе с плохими оценками по чтению делается предупреждение и дается испытательный срок. В крайнем случае она может быть даже закрыта, а ее персонал уволен или переведен на работу в другие учебные заведения. В Чикаго также покончили с так называемым социальным продвижением. Ранее на второй год оставался только самый неспособный или трудный ученик. Теперь же, чтобы быть переведенным в следующий класс, каждый ученик третьего, шестого и восьмого класса должен набрать минимальную сумму баллов на экзамене. Такой экзамен со многими вариантами ответов получил название “Тест основных умений и навыков штата Айовы” (ITBS).
Сторонники этого тестирования утверждают, что оно повышает стандарты усвоения знаний и дает детям больше стимулов для учебы. Тест также не позволяет плохим ученикам переходить в следующие классы. В то же время его противники беспокоятся, что некоторые ученики могут несправедливо пострадать из-за нелепой случайности. Велика, по их мнению, и вероятность того, что учителя могут излишне концентрироваться на темах теста в ущерб более важным урокам.
Конечно, у детей есть замечательные стимулы мошенничать во время любых тестов, списывая или подсказывая ответы друг другу. Однако новое тестирование так радикально изменило стимулы педагогов, что теперь у них также появилась причина мошенничать. Ведь по новым правилам учитель, чьи ученики показывают плохие результаты, может быть наказан и не получить повышение в зарплате или в должности. Если же с тестом плохо справится вся школа, ее могут временно лишить федерального финансирования. В случае же, когда школе дается испытательный срок, “провинившиеся” учителя становятся первыми кандидатами на увольнение. Правда, этим тестированием для учителей предусмотрены и положительные стимулы. Если их ученики показывают достаточно высокие результаты, учителя могут получить благодарность, повышение и даже стать богаче. Так, штат Калифорния ввел премии в размере двадцати пяти тысяч долларов для тех учителей, которые смогут обеспечить хорошую успеваемость.
Таким образом, в новых условиях учителя столкнулись с невиданными ранее стимулами. При этом они вполне могли убедить себя в следующем: людей их профессии редко подозревают в обмане, мало кого на этом ловили и уж точно никого не наказывали.
Но как учителя могут мошенничать? На самом деле существует огромное количество возможностей, как откровенных и наглых, так и довольно изощренных. Не так давно одна ученица пятого класса из Окленда пришла после школы домой и поделилась со своей матерью приятной новостью. Она радовалась тому, что ее замечательная учительница написала ответы итогового теста прямо на классной доске [6.1]. Конечно, подобные случаи довольно редки, так как даже наихудший учитель обычно не готов вручить свою судьбу в руки тридцати ненадежных свидетелей. (Кстати, учительница из Окленда была уволена.) Существуют гораздо более тонкие способы продемонстрировать якобы глубокие познания учеников. Учитель может просто дать детям больше времени для ответов на вопросы. Если он получает копию теста заранее, что противоречит правилам, то может подготовить класс ко всем или к особенно сложным вопросам. Еще более популярным является вариант, когда учителя строят планы уроков на вопросах прошлогодних тестов. Это не считается жульничеством, но, безусловно, нивелирует элемент неожиданности. Кроме того, поскольку эти тесты имеют несколько вариантов ответа и учитывают только правильный, учитель может посоветовать ученикам заполнять все клеточки. Например, он предложим им писать подряд только буквы В или чередовать их с буквами С. Он даже может сам заполнить клеточки после того, как все выйдут из класса.
Между тем, если учитель действительно захочет смошенничать и у него будут для этого веские причины, он может поступить еще хитрее. Ему не составит труда собрать листочки учеников и перед тем, как их обработает компьютер, стереть неправильные ответы и вписать правильные. (А вы думали, что это ученики исправляют свои ответы карандашом № 2?) Но если имеет место именно этот вид учительского мошенничества, то как его можно обнаружить?
Чтобы ловить мошенников, нужно научиться думать, как один из них. Если бы вы хотели стереть неправильные ответы ваших учеников и вписать правильные, то явно не стали бы менять в тестах слишком много. Вот вам и отличная подсказка. Наверняка вы даже не стали бы менять ответы в тесте каждого ученика — вот и еще одна подсказка. Нет, у вас не хватило бы на это времени, ведь вскоре после окончания теста компьютер уже должен выдать результаты. Что вам нужно делать в этой ситуации, так это выбрать восемь или десять правильных ответов подряд и вписать их в листочки половины или двух третей ваших учеников. Вы можете легко запомнить эту короткую серию букв и цифр, вписать которые будет гораздо быстрее, чем править каждый тест индивидуально. При этом лучше направить усилия на конец теста, где вопросы обычно сложнее предыдущих. В этом случае вы с большей долей вероятности замените неправильные ответы теми, что там должны быть, и улучшите общие показатели.
Как мы уже выяснили, экономика — это наука, связанная в первую очередь, со стимулами. Но при этом она также (к счастью) имеет необходимые статистические инструменты для измерения реакции людей на эти стимулы. Все, что вам нужно, — это немного данных.
В данном случае все необходимые для изучения материалы предоставили сами общественные школы Чикаго. Они разрешили доступ к ответам на вопросы теста всех учеников от третьего до седьмого класса с 1993 по 2000 год. Это примерно тридцать тысяч учеников каждого класса в год — более семисот тысяч наборов ответов теста и около ста миллионов отдельных ответов. Полученные данные, объединенные по классам, включали ответы каждого ребенка на вопросы тестов по чтению и математике. (Сами листочки с ответами задействовать не удалось, поскольку они уничтожаются вскоре после окончания каждого теста.) Данные также включали сведения о каждом учителе и демографическую информацию по каждому ученику. Содержали они и результаты предыдущих и последующих тестов, доказавших свою важность для определения мошенничества учителей.
Теперь можно было составлять алгоритм, способный выделить из этого массива данных самое главное. Итак, каким образом можно определить классы, учителя которых мошенничают?
Первая вещь, которую нужно искать, — необычные конструкции ответов в отдельно взятом классе. К примеру, это могут быть блоки идентичных ответов большого количества учеников, особенно на сложные вопросы. В то же время здесь просто необходим избирательный подход. Если десять отличников (что доказали предыдущие и последующие тесты) правильно ответили на первые пять вопросов (обычно самых простых), это не считается подозрительным. Но если десять двоечников правильно ответили на последние пять вопросов (самых сложных), это должно вызывать сомнения. Еще одним сигналом будет необычная компоновка ответов любого ученика —например, правильные ответы на сложные вопросы и неправильные на простые. Это особенно подозрительно на фоне тысяч учеников из других классов, которые отвечали на тот же тест примерно одинаково и предсказуемо. Более того, алгоритм определяет класс, результаты учеников которого были гораздо хуже во время предыдущих и последующих тестов. Конечно, резкий скачок успеваемости в один год можно приписать хорошему учителю, но когда он так же резко обрывается, высока вероятность, что он был вызван искусственно.
Теперь давайте рассмотрим ответы, которые дали ученики двух шестых классов школ Чикаго на вопросы идентичного теста по математике. Каждая строка представляет ответы одного ученика. Буквы a, b, c и d обозначают правильные ответы, а цифрами отмечены неправильные, причем 1 соответствует а, 2 — b и так далее. Нуль обозначает отсутствие ответа. В одном из этих классов учительница явно жульничала, а в другом — нет. Попробуйте определить мошенничество сами, но хотим сразу предупредить, что сделать это невооруженным глазом не так уж просто.
Класс А
112a4a342cb214d0001acd24a3a12dadbcb4a0000000
d4a2341cacbddad3142a2344a2ac23421c00adb4b3cb
1b2a34d4ac42d23b141acd24a3a12dadbcb4a2134141
dbaab3dcacb1dadbc42ac2cc31012dadbcb4adb40000
d12443d43232d32323c213c22d2c23234c332db4b300
db2abad1acbdda212b1acd24a3a12dadbcb400000000
d4aab2124cbddadbcb1a42cca3412dadbcb423144bc1
1b33b4d4a2b1dadbc3ca22c000000000000000000000
d43a3a24acb1d32b412acd24a3a12dadbcb422143bc0
313a3ad1ac3d2a23431223c000012dadbcb400000000
db2a33dcacbd32d313c211423 23cc30000000000000
d43ab4d1ac3dd43421240d24a3a12dadbcb400000000
db223a24acb11a3b24cacd12a241cdadbcb4adb4b300
db4abadcacb1dad3141ac212a3a1c3a144ba2db41b43
