Тимоти Феррис - Совершенное тело за 4 часа
Если ваши результаты негативны полностью, вообще не публикуйте их, или опубликуйте, но спустя длительное время. Именно так и поступили фармацевтические компании с данными по антидепрессантам с SSRI: сначала скрыли данные, указывающие, что эти препараты могут быть опасными, потом умолчали о данных, свидетельствующих, что препараты действуют ничуть не лучше плацебо. Если вам хватает ума и денег, чтобы швырять их на ветер, тогда после получения досадных результатов можете провести еще несколько испытаний по тому же протоколу – в надежде, что они дадут положительные результаты. Потом попытайтесь обобщить все данные так, чтобы отрицательные затерялись среди посредственно-положительных.
А можно взяться за дело всерьез и начать манипулировать статистикой. Текст на следующих нескольких страницах – совсем замороченный. Я привожу классические фокусы специально для статистического анализа, которые наверняка сделают положительными результаты любых испытаний.
Полностью игнорируйте протокол испытаний
Всегда исходите из предположения, что любая корреляция доказывает причинно-следственную связь. Вбейте все свои данные в электронную таблицу и с важным видом сообщите о какой угодно связи между чем угодно, если это поможет достижению вашей цели. Если вы собрали достаточно данных, по чистейшей случайности среди них наверняка найдутся положительные.
Поиграйте с первоначальными данными
Иногда в начале испытания в группе, получающей лечение, дела по случайному совпадению идут лучше, чем в группе, получающей плацебо. Так и оставьте. С другой стороны, если на старте ситуация в группе плацебо лучше, чем в группе, получающей лечение, тогда введите «поправку на первоначальные данные», когда займетесь анализом.
Игнорируйте выбывших
У людей, выбывших из испытаний, статистически выше вероятность наличия плохих результатов и побочных эффектов. Из-за них ваш препарат будет производить неприглядное впечатление. Поэтому не обращайте на них внимание, не пытайтесь их вернуть, не включайте их результаты в окончательный анализ.
Подчищайте данные
Посмотрите на полученные графики. На них наверняка есть аномальные «выбросы» – точки, находящиеся далеко от остальных. Если они портят впечатление от препарата, просто сотрите их. А если благодаря им препарат смотрится лучше, даже если достоверность этих результатов сомнительна – оставьте.
«Лучшие из пяти… нет, из семи… нет, девяти!»
Если разница между вашим препаратом и плацебо становится значительной по прошествии четырех с половиной месяцев из шести месяцев испытаний, сразу же остановите испытания и начните обрабатывать результаты: на всякий случай, вдруг в дальнейшем ситуация изменится к худшему. Если к концу шести месяцев результаты оказываются «почти значимыми», продлите испытание еще на три месяца.
Поиграйте с полученными данными
Если результаты плачевны, поищите, нет ли в группе подгрупп, в которых ситуация выглядит иначе. Возможно, вы обнаружите, что ваш препарат прекрасно действует на китаянок в возрасте от 52 лет до 61 года. «Изощренная пытка – гарантия любого признания», как говорят в Гуантанамо.
Понажимайте все кнопки и клавиши на компьютере
Если отчаетесь, безуспешно пытаясь проанализировать данные так, как планировали, и не получив желаемого результата, тогда просто попробуйте наугад обработать их с помощью самых разных программ для анализа статистических данных, даже если они в вашем случае неуместны.
После этого вам предстоит самое важное: продуманная публикация. Если испытания прошли удачно, опубликуйте результаты в самом крупном журнале, какой вам доступен. Если испытания оказались позитивными, но подтасовки при получении результатов будут очевидны каждому, поместите результаты в каком-нибудь малоизвестном журнале (который издают, пишут и редактируют исключительно «свои люди»). Помните: только что описанные трюки ничего не скрывают, их заметит каждый, кто прочтет вашу статью, но лишь при внимательном прочтении, значит, в ваших интересах позаботиться о том, чтобы читатели ограничивались краткой аннотацией. И наконец, если вам по-настоящему стыдно за свои результаты, спрячьте их куда-нибудь и ссылайтесь на «данные в электронном виде». Никто не узнает, какими методами вы действовали, такая опасность возникнет лишь в том случае, если кто-нибудь начнет слезно выпрашивать у вас данные для систематического обзора. Если повезет, это случится очень не скоро.
Медленноуглеводная диета и 194 человека
Представленные далее данные по медленноуглеводной диете были собраны с помощью подробных опросников на сайте CureTogether.com. На все вопросы ответило 194 человека, 58 % указали, что эта диета стала первой, которой им удалось строго придерживаться.
Набор участников эксперимента проводился через мой блог (www.fourhourblog.com), Twitter (www.twitter.com/tferris) и Facebook (www.facebook.com/timferriss).
Количество респондентов в зависимости от потери веса
(Потенциальные) недостатки данных
Эти данные, несмотря на всю их примечательность, не идеальны. Вот два самых заметных изъяна методологии и опросов в целом:
Среди участников могут быть фантазеры
Мы исключили явные повторы, «мусор» («я сбросил 295 кг!», «в самом начале я весил 16 кг» и т. п.) и пометили сомнительные ответы, но никто не просил отвечавших предъявить документы и не навещал их лично. Этой проблемы трудно избежать в неконтролируемых испытаниях.
Во внимание не приняты выбывшие – те, кто пытался следовать диете и не смог.
В проанализированных 3000 комментариев к моему блогу количество отзывов о неудачах составляло 3–5 %, и можно ожидать, что на самом деле их было еще больше. Из 194 респондентов, принявших участие в исследовании, лишь четверо набрали вес или сохранили первоначальный. Напоминаю: к этим респондентам обращались после того, как они оставляли комментарии к посту в блоге или реагировали на сообщения в Twitter или Facebook. Проблема выбывших указывает на общий недостаток публичных опросов: с наибольшей вероятностью на вопросы отвечают те, кто добился положительных результатов[195]. Это одна из форм «систематической ошибки выжившего», с которой стоит разобраться.
Обращаете внимание на среднюю доходность паевых фондов за прошлый год, чтобы выбрать из них лучший? Не забывайте, что перед вами «выжившие». Потери, которые Нассим Талеб называет «безмолвными свидетелями», невозможно зафиксировать путем опросов – опрашивать некого. «Средняя» доходность не так впечатляет, если принять во внимание тех, кто рискнул всем и проиграл. Обнаружить этих «убитых» нелегко, особенно в финансовой сфере, где так много причин скрывать эти цифры.
Значит ли это, что с практической точки зрения наши результаты диеты – фальшивка? Вовсе нет. Возможность систематической ошибки выжившего еще не доказывает, что эти цифры нерепрезентативны. Следует помнить:
1. На основании всех доступных эмпирических отчетов по диете доля неудач не должна превышать 5 %. Это невероятно по любым традиционным меркам, относящимся к строгости соблюдения диеты.
2. Почти все неудачи, о которых было сообщено, объяснялись несоблюдением инструкций.
Если включить в окончательные результаты только данные по людям, которые в точности следовали указаниям и сообщали о своем прогрессе, уровень успеха ближе к 100 %, чем в любом другом известном мне случае.
Оценка результатов
Как следует интерпретировать полученные данные? Как планировать или менять свое питание на основании этих результатов? Посмотрим, где именно мы можем допустить наиболее распространенные ошибки. Это практическое применение нашего курса для начинающих по выявлению псевдонауки.
При первом взгляде на данные можно сделать вывод, что несколько элементов программы приводят к более значительной потере жира, особенно если данные представлены нам в виде внушительных графиков, на которых недостает важных деталей.
Средняя потеря веса в зависимости от количества приемов пищи в сутки
Вот несколько напрашивающихся неожиданных выводов о факторах, приводящих к более значительной потере веса, – выводов, которые мы могли бы сделать на основании представленных данных (выделены жирным шрифтом):
Всего два приема пищи в сутки; пятиразовое питание – второй по эффективности режим питания (потеря в среднем 18 кг и 10 кг).
