Дарелл Хафф - Как лгать при помощи статистики
Глава 10
Как поставить статистика на место
До сих пор я обращался к вам так, словно вы какой-нибудь пират только и мечтающий, чтобы его подковали по части тонкостей владения абордажной саблей. В заключительной главе я позволю себе отойти от этого литературного приема. Я готов приступить к важной миссии, которая, как мне хочется думать, таится под обложкой этой книги. Пришло время растолковать вам, как смело глядеть в глаза фиктивной статистике и изобличать ее и, что не менее важно, как распознавать добросовестные и полезные данные в непролазных чащобах обмана и фальсификаций, описанию которых главным образом и посвящены предыдущие главы.
Не все статистические данные можно проверить с той же степенью надежности, какую гарантирует химический анализ или какое-то другое действо, осуществляемое в стенах лаборатории. Но что мешает вам прощупать подозрительные данные с помощью пяти простеньких вопросов? Ответив на них, вы оградите себя от невероятной массы сведений, которые не содержат и крупицы правды.
Кто это говорит?
Первое, на что следует обратить внимание, – это предвзятость статданных. Вдруг они исходят от научно-исследовательской лаборатории, которой требуется подтвердить какую-нибудь теорию или сохранить репутацию? А еще ей просто могли за это заплатить. Или сведения представила газета, чья цель – интересная статья. А может, источником стал профсоюз или руководство компании и на кону стоит размер заработной платы персонала.
Присмотритесь: нет ли сознательного искажения сведений? Один из приемов – откровенно лживое утверждение; другой – когда утверждение сформулировано туманно, но не хуже вводит в заблуждение, а уличить автора в обмане не представляется возможным. Это может быть и подбор благоприятных фактов при одновременном сокрытии неблагоприятных. Иногда намеренно подменяют точку отсчета. Такое практикуется, когда для одного сравнения за основу берется какой-то один год, а для другого сравнения – другой год, более подходящий. Бывают случаи, когда специально выбирают ненадлежащий статистический показатель: например, среднее арифметическое там, где медиана была бы более показательной (и, вероятно, чересчур показательной). Этот трюк маскируют, называя приведенный показатель «средним» – без уточнения, какой это вид среднего.
Присматривайтесь внимательно, возможна ли непреднамеренная предвзятость данных. Зачастую это куда опаснее. Именно такого рода предвзятость в 1928 г. сыграла злую шутку со многими статистиками и экономистами, когда, пробравшись в их графики и диаграммы, «помогла» им доказать вещи совершенно невероятные. Дефекты в структуре экономики они на радостях прошляпили, зато привели самые разнообразные свидетельства, причем подкрепленные статистическими выкладками, дабы продемонстрировать, что страна вступила в полосу процветания[27].
Иногда достаточно если не первого, то хотя бы второго взгляда, чтобы определить, кто это говорит. Этот кто-то может скрываться за тем, что Стивен Поттер[28] назвал бы «какими-надо-именами». Нечто хотя бы намекающее на причастность к медицинской профессии – это «какое-надо-имя». Научно-исследовательские лаборатории тоже имеют «какие-надо-имена». Таковыми обладают высшие учебные заведения, особенно университеты, а еще в большей мере те, что известны своими техническими разработками. Автор статьи, упоминавшейся несколько глав назад, который доказывал, что высшее образование подрывает шансы девушки выйти замуж, ловко воспользовался «каким-надо-именем» Корнеллского университета. Еще раз обращаю ваше внимание, что хотя статистические данные предоставлены Корнеллским университетом, выводы из них целиком и полностью на совести автора статьи. Но благодаря упоминанию «какого-надо-имени» может сложиться неверное впечатление, будто это «Корнеллский университет утверждает, что…».
Когда упоминается «какое-надо-имя», удостоверьтесь, что авторитет его обладателя действительно стоит за данной информацией, а не просто приплетается ради пущей убедительности.
В чикагском Journal of Commerce вам могло попасться на глаза некое горделивое заявление. Журнал провел опрос на тему манипуляций с ценами и затоваривания. Из 169 корпораций, согласившихся принять в нем участие, две трети отрапортовали, что из своего кармана компенсируют увеличение цен, вызванное войной в Корее. «Опрос показывает [держите ухо востро, когда бы и где бы вам ни встретились эти слова!], – утверждал Journal of Commerce, – что корпорации сделали прямо противоположное тому, на что так рассчитывали враги американского бизнеса». Вот тут самое время задаться вопросом «Кто это говорит?», поскольку Journal of Commerce вполне можно счесть заинтересованной стороной. Это еще и самое подходящее время задать себе второй вопрос:
Откуда ему это известно?
В нашем случае выяснилось, что журнал начал с того, что разослал вопросник в 1200 крупных компаний. Из них на вопросы ответили лишь 14 %. Остальные 86 % не удосужились сделать вообще никаких публичных заявлений относительно того, манипулируют ли они ценами и придерживают ли свою продукцию.
Таким образом, журнал умудрился сделать поразительно хорошую мину при довольно плохой игре, но сам факт от этого не изменился: по большому счету хвастаться было особо нечем. Все успехи сводились к следующему: из 1200 привлеченных к опросу компаний 9 % сообщили, что не поднимали цены, 5 % – что подняли, а 86 % промолчали. Ответившие компании образуют выборку, которую можно заподозрить в необъективности.
Приглядывайтесь, нет ли свидетельств тому, что выборка смещенная, то есть отобрана ненадлежащим образом или, как в вышеупомянутом случае, сформировалась сама собой. Задайте себе вопрос, который мы обсуждали в одной из первых глав: достаточно ли велика выборка, чтобы на ее основе сделать сколько-нибудь надежный вывод?
Аналогичным способом поступайте в случае, когда сообщается о корреляции: достаточно ли она велика, чтобы что-то означать? Достаточно ли случаев рассмотрено, чтобы выявленная корреляционная зависимость имела хоть какую-то значимость? Как неподготовленный читатель, вы лишены возможности применить какие-либо критерии значимости или составить себе однозначное суждение о степени адекватности выборки. Но что касается множества публикуемых данных, вы способны оценить с первого взгляда – возможно, довольно долгого и пристального, – что количество рассмотренных случаев явно недостаточно, чтобы убедить в чем-либо человека думающего.
Чего не хватает?
Далеко не всегда сообщают, сколько случаев было взято для изучения. Отсутствия такой цифры достаточно, чтобы бросить тень подозрения на все сообщение в целом, особенно если оно исходит от заинтересованного источника. Точно так же не следует принимать слишком серьезно информацию о корреляции между двумя величинами, если не указана степень достоверности этого показателя (вероятная ошибка, стандартная ошибка).
Будьте начеку, если вам называют среднее без уточнения его вида, во всех случаях, когда можно заподозрить, что среднее арифметическое и медиана существенно различаются.
Множество цифр утрачивают всякий смысл из-за неправомерных сравнений. Так, статья в журнале Look, касаясь темы синдрома Дауна, сообщает, что «как показало одно исследование, в 2800 случаях более половины матерей были 35 лет или старше». Чтобы данная информация имела для вас хоть какой-то смысл, вы должны иметь общее представление, в каком возрастном диапазоне женщины в массе своей рожают детей. А такими знаниями мало кто из нас владеет.
Ниже приводится выдержка из рубрики «Нам сообщают из Лондона» в журнале New Yorker от 31 января 1953 г.
Министерство здравоохранения недавно обнародовало данные, что за неделю, когда держался густой туман, уровень смертности в Лондоне подскочил на 28 %. Эти сведения глубоко потрясли общественность, привыкшую считать последствия неприветливого британского климата скорее досаждающими, нежели губительными… Небывалая смертельная опасность…
Но насколько смертоносной на самом деле была эта неделя? Считать ли исключительным случаем, что уровень смертности настолько превысил обычный показатель? Такого рода вещам вообще свойственно варьироваться. А как насчет последующих недель? Упал ли уровень смертности ниже среднего уровня, указывая, что если туман и убивал, то по большей части людей нездоровых, которых болезни в любом случае вскоре свели бы в могилу? Сама приведенная цифра выглядит весьма внушительно, но отсутствие других цифр, которые позволили бы оценить ее значение, сводит почти на нет весь смысл сообщения.
