Филипп Царевский - Яндекс.Директ. Как получать прибыль, а не играть в лотерею
Однако и в этом случае есть свои недостатки, причём существенные: зачастую одна неделя может существенно отличаться от другой. Особенно это касается рынка В2С (Business to consumer, то есть это товары и услуги для конечного потребителя), так как там большое влияние имеют дни зарплат. В этом случае остаётся следующий метод – «шахматки». Это не самый мой любимый метод, но в подобных случаях альтернативы ему на данный момент не существует. Понять, насколько сильно отличается одна неделя от другой, очень просто. Для этого нужно накопить статистику хотя бы за месяц и посмотреть, велики ли скачки. Если важные показатели (раскрыты в предыдущей главе) каждую неделю «скачут» более чем на 10 % относительно среднего показателя, то тест по неделям теряет всякий смысл. Невозможно будет оценить, вызвано изменение тестом или очередным скачком.
Пример приемлемого разброса CTR – не более 7 % от среднего
Метод «шахматки» подразумевает создание двух новых кампаний, показы в которых чередуются по часам (0–1 час – первая кампания, 1–2 часа – вторая кампания и т. д.). Тестировать необходимо так же одну неделю. Безусловный плюс этого метода – равномерный показ объявлений при одинаковых внешних условиях. Однако и минусы у него не самые приятные. Во-первых, тестируя таким образом, приходится каждый раз создавать новые кампании – в противном случае из-за различного накопленного CTR они будут в неравных условиях, и результат может оказаться обманчивым. (Напомню, что от CTR зависит доля показов на высоких позициях и стоимость входа на них.) А если каждая кампания получает хотя бы 70-100 кликов в день, то реальный CTR начнёт оказывать своё влияние уже к концу тестируемой недели. Во-вторых, любая кампания, запущенная с нуля, имеет время так называемого «расклика». Первые дни Яндекс как будто не доверяет новым объявлениям и начинает их очень аккуратно, постепенно «внедрять» в аукцион. Требуется некоторое время, чтобы объявления раскочегарились на полную мощность и наравне с остальными рекламодателями участвовали в аукционе. Порой в особо конкурентных нишах «расклик» занимает как раз около недели. Из-за этого приходится или выставлять завышенные ставки, или терять значительную часть показов (до половины). Третья проблема – невозможность набрать действующий CTR и снизить цену клика, если проводить один тест за другим (а ведение кампании подразумевает постоянное тестирование). Приходится каждый раз создавать две новые кампании, которые вынуждены заново набирать CTR. А как показывает практика, прогнозный CTR обычно ниже, чем реальный. Поэтому цена клика по ходу ведения кампании не снижается, как это обычно происходит (нередко за счёт хорошего CTR удаётся снизить расходы в 2–3 раза). А кому хочется переплачивать?
Поэтому данный метод хорош для разовых глобальных тестов в том случае, если поочерёдные недельные тесты невозможны из-за скачков. Но его постоянное использование приводит к значительной переплате и потере показов.
Настроить «шахматки» очень просто. Кампания выгружается из интерфейса дважды (создаём два дубля). В обоих файлах необходимо очистить ячейку «№ заказа» (номер рекламной кампании, состоящий из 7–8 цифр). В одном варианте больше ничего не меняем, во втором вносим те изменения, которые необходимо протестировать. Обязательно меняем UTM-метки, чтобы в метрике легко различить оба варианта между собой. Выгружаем обе кампании в интерфейс, как новые, и заново выставляем все параметры. С помощью временного таргетинга настраиваем чередование, как показано на скриншоте ниже. Важно удостовериться, что случайно не выставлено одно и то же время. Выстави время начала и окончания кампаний таким образом, чтобы они автоматически включились в понедельник ночью и отключились в воскресенье вечером. Основную кампанию, копия которой тестируется, также надо вспомнить вовремя остановить и настроить время запуска. Кроме того, назови кампании так, чтобы четко понимать, что именно в них проходит тест. (Например, «Шахматки/поиск/горячая/свето-диоды/вариант 2»).
Этим методом можно тестировать и отдельные объявления – не обязательно целую кампанию.
Настройка временного таргетинга для «шахматок»
На что стоит обратить внимание в А/Б-тестировании
В тестировании есть несколько важных нюансов. Надеюсь, они предостерегут тебя от нескольких частых ошибок.
1. Когда я говорю о том, что для тестирования должно быть минимум 300 кликов и запускать тест нужно на семь дней, я имею в виду, что кампания уже стабильно работает. Если же заявок мало, бюджет «улетает» и вообще непонятно, что происходит (а начальство нервничает), – в этой ситуации можно тестировать даже по дням, в быстром темпе по 150–300 кликов на один тест. Цель такого теста – не постепенное увеличение показателей, а хотя бы минимальное исправление ситуации. Но в этом случае важно особенно глубоко копаться в Метрике, изучать поведение пользователей на сайте и тщательно всё анализировать: каждый тест должен быть максимально взвешен и выверен.
2. Не стоит зацикливаться только на рекламе: обязательно нужно тестировать сайт. Иногда замена заголовка на сайте повышает конверсию в два раза. А ещё можно проверить различные картинки, фон, форму, цвет кнопки, расположение блоков, тексты, шрифты, значки, видео, карту и т. д.
3. Обязательно сохраняй предыдущие варианты кампаний. У тебя должна быть отдельная папка, в которой выгружены все варианты кампаний за всю историю, чтобы в случае чего ты легко восстановил предыдущую версию.
4. Качество теста – на первом месте. Например, ты решил протестировать одностраничный сайт вместо большого. После теста конверсия упала, и логичная реакция – у меня лэндинги не работают. Хотя возможно, на сайте кривая вёрстка, режущий глаза дизайн, сделанный по плохому шаблону, не проработана целевая аудитория, нет логики в расположении блоков, заголовок «не цепляет» и т. д. Тест имеет смысл только при тщательном продумывании и профессиональном исполнении. Если тест оказался неудачным, то первый вопрос, который необходимо задать, звучит так: «А всё ли правильно было сделано?»
5. Тестирование должно быть основано на аналитике. Есть анекдот, где мужик говорит: «В этот Новый год не буду есть мандарины. Пора уже выяснить, из-за чего мне всегда так плохо 1-го января». Смешно? Но так же ведёт себя большинство рекламодателей. Не надо менять что-то случайным образом: проанализируй вебвизор, показатели, объявления конкурентов, выяви слабые стороны – и для них уже проводи тест. Какой смысл тестировать фавикон, когда у тебя доставка осуществляется на следующий день, а у конкурентов – в день заказа?
