Бен Голдакр - Обман в науке
Если выразиться проще, доверие участников испытания к данным исследования было основано не на объективной оценке его методологии, а на том, подтверждали ли эти данные их точку зрения. Это явление достигает своего апогея у практиков альтернативной медицины — или обманщиков, — которые некритически воспринимают любые данные в свою пользу, но скрупулезно выискивают в любом крупном, хорошо проведенном исследовании малейшие недостатки, которые позволят им раскритиковать его результаты.
Вот почему нам необходимы четкие принципы для оценки данных, независимо от их вывода, и в этом состоит основная сила науки. В систематическом обзоре научной литературы исследователи иногда смотрят на качество раздела «методы» вслепую, не заглядывая в результаты, чтобы не быть предвзятыми в своей оценке. Аналогично в медицинских исследованиях существует иерархия доказательств: хорошо проведенное испытание более важно, чем данные опроса в большинстве контекстов, и т. д.
Мы можем дополнить наш список новых взглядов на недостатки интуиции еще одним пунктом:
5. наша оценка качества новых данных является предвзятой в силу наличия у нас предыдущих представлений.
Доступность
Мы проводим жизнь, выискивая закономерности и собирая исключительные и интересные вещи. Вы не тратите умственных усилий каждый раз, когда входите в свой дом, на то, чтобы анализировать и замечать многочисленные вещи в визуально плотном пространстве вашей кухни. Но вы, безусловно, заметите разбитое окно или пропавший телевизор.
Когда информация становится более доступной, как говорят психологи, она становится непропорционально важной. Это происходит несколькими путями, и вы можете составить о них представление на основании нескольких известных психологических экспериментов. В одном из них испытуемым зачитывали список мужских и женских имен (количество их было одинаковым), а затем просили сказать, каких было больше; если мужские имена в списке звучали как Рональд Рейган, а женские имена были неизвестными, люди отвечали, что в списке было больше мужских имен, и наоборот.
Наше внимание всегда привлекает исключительное или необычное, и если у вас есть что-нибудь на продажу, разумно обратить внимание людей на те свойства, которые, по вашему мнению, должны быть ими замечены. Если вы выигрываете в игровые автоматы, они выбрасывают каждую монету с громким театральным звуком, так, чтобы все в зале это слышали; однако если вы проигрываете, они не привлекают к этому внимания. Лотерейные компании также делают все, чтобы люди, выигравшие крупные суммы, обязательно появились в СМИ, но, само собой разумеется, что, если вы проиграли, вы не услышите о своем проигрыше по телевизору.
Анекдотические истории об успехах альтернативной медицины — и трагические анекдоты о вакцине MMR — непропорционально выпячиваются и вводят в заблуждение, не только потому, что там отсутствуют статистические данные, но потому, что они доступны: драматичны, эмоциональны и подкреплены визуальными образами. Они конкретные, запоминающиеся, а не абстрактные. Не важно, что вы делаете со статистическими данными о риске или выздоровлении; ваши цифры не будут иметь такого психологического воздействия, как чудесные исцеления, медийные страшилки или расстроенные родители в новостях.
Благодаря «доступности» и нашей чувствительности к трагедиям люди больше боятся акул на пляже и езды по морским пирсам, чем перелетов во Флориду или путешествий на побережье. Это явление даже демонстрировалось в закономерностях прекращения курения среди врачей: вы можете подумать, что врачи, как люди разумные и образованные, немедленно бросят курить, как только прочтут об исследовании, показывающем стойкую связь между курением и раком легких. Они люди прикладной науки, в конце концов, которые могут каждый день переводить холодные цифры статистики в значимую информацию, заставляющую биться человеческие сердца.
Но на самом деле врачи, работающие в таких областях, как грудная хирургия и онкология — где они видят больных, умирающих от рака легких, собственными глазами, — с большей вероятностью готовы отказаться от курения, чем врачи других специальностей, которые не имеют возможности эмоционально реагировать на его трагические последствия.
Социальное влияниеПоследним в нашем путешествии по иррациональному идет наиболее очевидный недостаток. Кажется, он слишком очевиден, чтобы даже говорить о нем, но на наши взгляды сильно влияют конформизм и наше окружение. Мы избирательно знакомимся с информацией, которая заставляет нас переоценить взгляды, отчасти из-за того, что мы большей частью находимся в ситуациях, где наши взгляды не подвергаются сомнению, отчасти потому, что мы задаем вопросы, которые (по причинам, описанным выше) дают нам подтверждающие ответы, а отчасти потому, что мы намеренно контактируем с людьми, которые разделяют наши взгляды.
Легко забыть о феноменальном влиянии конформизма. Вы, безусловно, считаете себя совершенно независимым человеком и всегда знаете, о чем думаете. Я бы предположил, что теми же самыми соображениями руководствовались и участники эксперимента Аша по социальному конформизму. Испытуемых поставили перед несколькими актерами, которые представились участниками эксперимента, хотя на самом, деле выполняли указания исследователей. Каждый участник получал две карточки, на одной из которых была одна линия, а на другой — три различной длины: шесть, восемь и десять дюймов.
Каждого вызывали по очереди и просили определить, какая из линий на второй карточке была равна по длине линии на первой. Для шести из 18 пар карточек испытуемые дали правильные ответы, в 12 других случаях ответ был неправильным и в четверти случаев участники соглашались с неправильным ответом, который им подсказывали из толпы, несмотря на то что это противоречило их собственным ощущениям.
Это экстремальный пример конформизма, но это явление присутствует повсеместно. «Влияние сообщества» — это процесс, благодаря которому утверждение превращается в стойкое убеждение, поскольку постоянно повторяется в сообществе. Этот процесс не зависит от того, является ли утверждение проверенным, поддержанным экспериментальными данными, достаточными, чтобы заставить поверить в него здравомыслящих людей.
Влияние сообщества объясняет, как религиозные убеждения передаются из поколения в поколение, а также почему заявления, сделанные в пределах сообщества врачами, психологами, знаменитостями, политиками, гостями ток-шоу, могут так глубоко укорениться и стать более влиятельными, чем научные данные.
Когда люди не имеют инструмента, чтобы проверить сказанное, и просто следуют за своими надеждами, семена политических манипуляций уже посеяны.
Стивен Джей ГулдСуществует много других хорошо исследованных областей предвзятости. Мы имеем сильно преувеличенное мнение о себе, что приятно. Большинство людей думают, что они имеют более широкий кругозор, меньше предрассудков, более умны и более искусны в вождении автомобиля, чем среднестатистический гражданин[49].
Большинство из нас демонстрирует то, что можно назвать «атрибуционной предвзятостью»: мы считаем, что наши успехи — это результат наших собственных способностей, а наши неудачи обусловлены внешними факторами; в то время как в отношении других мы склонны придерживаться противоположного мнения и полагаем, что их успехи — это удачное стечение обстоятельств, а неудачи — результат их собственных промахов. Но мы все не можем быть правы.
И наконец, мы используем контекст и ожидания, чтобы склониться к определенному мнению о ситуации — потому что это единственный способ, которым мы можем думать. Исследования по искусственному интеллекту терпят неудачу в основном из-за «проблемы рамки»: вы можете объяснить компьютеру, как обрабатывать информацию, и дать все необходимые сведения, но как только вы поставите перед ним реальную задачу — например, предложение, которое нужно понять и отреагировать на него, — выяснится, что компьютер делает это гораздо хуже, чем мы могли ожидать, поскольку он не знает, какая информация имеет отношение к проблеме. Это то, что люди хорошо умеют — отфильтровывать ненужную информацию, — но это умение приходит ценой непропорционального преувеличения некоторых контекстуальных данных.
Мы склонны допустить, например, что положительные характеристики объединяются: привлекательные люди должны быть одновременно добрыми; люди, которые кажутся добрыми, должны быть умными и хорошо информированными. Даже это было продемонстрировано экспериментально: сообщения, написан-
(В pdf файле отсутствуют 266 и 267 страницы)
14. Плохая статистика
