Джонатан Смит - Псевдонаука и паранормальные явления: критический взгляд
Мы уже видели, что совершенно случайные события обычно следуют одно за другим — кучками или полосами. Если бы вам пришлось изучать чисто случайное явление — к примеру, зависимость между школьными оценками и размером ноги, — вы рано или поздно обязательно столкнулись бы с несколькими подряд случаями, когда отличные оценки получают люди с маленькой ногой. Скорее всего, при дальнейших испытаниях этот перекос выровнялся бы. А может быть, вы вскоре встретили бы сразу несколько человек с маленькой ногой и плохими отметками. Но! Что произойдет, если вы прекратите исследование сразу после встречи первой группы двоечников с маленькой ногой? Это будет мошенничество. Формально ваше исследование подтвердит существование связи между размером ноги и коэффициентом интеллекта. Поэтому нельзя продолжать исследование до тех пор, пока не будут получены желаемые результаты, а потом произвольно прекратить процесс. К примеру, именно в этом можно заподозрить Еоклена (Gauquelin, 1974), известного исследователя астрологии. Можно предположить, что он обрабатывал свои данные до тех пор, пока не наткнулся на некую кажущуюся закономерность — сомнительную связь между нахождением планеты Марс в двух секторах неба и атлетизмом родившегося человека (глава 5). Почему мы можем сказать, что Гоклен просто прекратил свой эксперимент в произвольный, устраивающий его момент? Дело в том, что очевидно вытекающий из его исследований астрологический прогноз не работает, да и обнаруженная им будто бы связь не относится к тем, о которых обычно говорят астрологи.
Предпочтения при публикацииМы уже видели (глава 3), что исследователи предпочитают публиковать необычные и обязательно положительные результаты. Неудачи их не интересуют. Журналы делают то же самое и отбирают для публикации преимущественно положительные результаты. Если вы проведете тщательный эксперимент и установите, что, на тучи кричи не кричи, дождь пойдет вне зависимости от ваших усилий, то вы вряд ли станете посылать этот результат для публикации в научный журнал. А если пошлете, то журнал наверняка откажется публиковать вашу статью. То, что у положительных результатов больше шансов на публикацию в научном журнале, не секрет. Скорее всего, именно предпочтениями при публикации объясняются многие «научные демонстрации» паранормальных явлений. Рассмотрим это с точки зрения теории вероятностей. Так, мы можем предположить, что из 100 исследований некоего паранормального явления пять случайно дадут положительный результат. В данном случае 5 % — это вероятность случайной флуктуации в том случае, если на самом деле этого паранормального явления не существует вовсе. При этом из 100 исследований именно 5 положительных результатов со временем, скорее всего, будут опубликованы, создавая у читателей ложное впечатление о том, что существование этого паранормального явления доказано.
Чтобы исключить влияние предпочтений при публикации, исследователям и журналам следовало бы публиковать все без исключения результаты — и положительные, и отрицательные. Журналы, посвященные исследованию паранормальных явлений, начинают это делать; они требуют, чтобы исследователи еще до проведения регистрировали намеченные исследования, тогда отрицательные результаты не останутся незамеченными.
Еще один метод борьбы с предпочтениями при публикации — метаанализ множества различных исследований по данному вопросу, позволяющий определить, сколько негативных исследований потребовалось бы, чтобы свести на нет некий положительный результат. Метаанализ — очень популярный инструмент обработки данных парапсихологических исследований, поэтому мы подробнее рассмотрим его в главе 12.
Надо отметить, что одно из самых серьезных открытий, сделанных в процессе научных исследований паранормального, — это отрицательная корреляция между качеством проводимого исследования и полученными свидетельствами в пользу паранормального (Bauseil, 2007; Hines, 2003). Плохо спланированные дешевые исследовательские программы гораздо чаще дают положительные результаты, чем правильно организованные строгие исследования. В остальных областях научных исследований все обстоит с точностью до наоборот. Обычно чем лучше организовано исследование, тем более вероятен положительный результат.
Краткий итог: психологическое искажение
Да, мир чисел обманчив, практически у каждого из нас есть неверные представления о вероятности тех или иных событий. Иногда мы воспринимаем совершенно обычные случайные совпадения как некую закономерность или даже как свидетельство в пользу паранормального. Некоторые люди особенно склонны к подобным ошибкам. Блэкмор и Тросянко (Blackmore & Troscianko, 1985) обнаружили, что люди, которые верят в паранормальные способности человека, особенно склонны к ошибкам при оценке вероятностей. Это явление можно назвать психологическим искажением. Так, в ходе одного из исследований людям, верящим и не верящим в паранормальные явления, предлагалось попытаться силой мысли повлиять на результат автоматического подбрасывания монетки. Но сначала исследователи попросили тех же людей оценить число орлов в серии, которое можно ожидать при чисто случайном распределении. В оценках верующих (в паранормальные явления) участников — но не их неверующих собратьев — проявилась интересная закономерность, которую можно назвать искажением случайного среднего. Именно эти люди недооценивали число орлов, которые можно получить случайно. Почему это важно? Потому что, когда Блэкмор и Тросянко просили участников эксперимента повлиять на поведение монетки силой мысли, полученные ими совершенно случайные результаты казались верующим в паранормальное неслучайными (они и были неслучайными с их искаженной заранее точки зрения). Из-за этого искажения верующие были более склонны поверить в то, что им удалось при помощи паранормальных сил повлиять на поведение монетки. В более общем плане такое искажение показывает, как наши верования и ожидания могут повлиять на восприятие, — тема, которую мы рассмотрим подробнее в следующей главе.
СВЕРИМСЯ С РЕАЛЬНОСТЬЮ
Как могли бы эвристика доступности, ложный оптимизм, математическая неграмотность и кластеризация данных усиливать готовность людей верить в паранормальное?
Как определить «значимость» научного открытияВ каких случаях вы принимаете научное открытие всерьез? Когда оно «значимо»?
Паранормальные события по определению являются экстраординарными и выходят за рамки мира обычной науки. Если вы делаете ошибочный вывод о том, что результат не случаен, а имеет конкретную причину, то это ошибка I рода. (Ошибочный вывод в том, что реальный неслучайный эффект — всего лишь результат случайности, называется ошибкой II рода.) Говоря проще, ошибка 1 рода — это когда вы считаете, что «происходит что-то необычное», тогда как на самом деле все идет своим чередом. В данном тексте мы рассмотрим процедуру сверки с реальностью, призванную выявлять ошибки I рода.
Пусть ученый проводит эксперимент с целью определить, стоит ли за неким явлением — скажем, необычайной способно стью выигрывать в лотерею, читать мысли или предсказывать результаты выборов — какая-то конкретная причина или это чистая случайность. Пусть далее наш ученый получит подряд несколько позитивных результатов. В конце концов игрок в покер может иногда получить удачные карты, в этом нет ничего таинственного. Да и в лотерею люди иногда выигрывают.
К счастью, существуют статистические процедуры для оценки вероятности ошибки I рода. К примеру, мы считаем, что выигрыши в лотерее распределяются совершенно случайно и честно, так что выигрыш каждого человека зависит исключительно от удачи. При этом некоторым людям все же выпадают выигрыши. Если выигрышей больше, чем можно было ожидать, мы можем заподозрить, что лотерея работает не совсем случайно. Возможно, кто-нибудь жульничает или здесь работают паранормальные силы. Чтобы разобраться в происходящем, статистики вычисляют, сколько выигрышных билетиков должно быть предъявлено, чтобы мы сделали вывод о том, что происходит нечто странное. Может быть, по законам случайности на один миллион участников должно приходиться 10, 100 или даже 1000 выигрышей. Любое число, превышающее 10, 100 или 1000, вызовет подозрения. Но как выбрать допустимое число выигрышей? Все зависит от того, чем вы готовы рискнуть. Насколько вы боитесь совершить ошибку I рода.
«Уровень риска» совершения ошибки I рода называется a-уровнем. Традиционно многие ученые ориентируются на а-уровень 5 % (0,05), но иногда используются и другие уровни (1 % (0,01) и 0,1 % (0,001)). Так, а-уровень 5 % означает, что лотерея становится по-настоящему подозрительной. Если же уровень уверенности не превышает 5 %, т. е. вероятность ошибки не превышает 1/20. Иногда уровень вероятности для краткости называют p-величиной. В научных докладах можно часто встретить следующие утверждения (не забывайте, что при этом р лучше, т. е. меньше, 0,05, и, соответственно, результаты эксперимента значимы):
