Резюме
♦ Яндекс собирает огромную статистику по рекламной кампании.
♦ Отчёты строятся на сегментации, срезах и показателях.
♦ Умение построить любой отчёт позволяет решать сложные аналитические задачи.
Задание
1. Выдели 2 часа на изучение разделов Метрики и её возможностей.
2. Составь тренировочные отчёты, описанные в этой главе.
Глава 15
А/б-тестирование
Как ты думаешь, существует ли рекламный механизм, который с вероятностью 100 % мгновенно завалит тебя заказами? Если бы он существовал, наверное, все давно стали бы миллионерами. Однако этого не происходит. Есть лишь опыт и знания, которые увеличивают вероятность и снижают риски. Но есть механизм, который при правильном использовании даёт 100 % вероятности того, что рано или поздно заявками тебя завалят.
Для этого необходим запас денег, терпения и смелости, а также определённые знания. Речь идёт об А/Б-тестах, или "сплит-тестах".
А/Б-тестирование – внедрение или замена одного элемента (в данном случае в рекламной кампании) и сравнение результатов до и после. Лучший вариант оставляют и тестируют следующий элемент. Элементов тестирования может быть бесчисленное количество, а сам процесс тестирования теоретически не должен прекращаться никогда.
Есть механизм, который при правильном использовании даёт 100 % вероятности того, что рано или поздно заявками тебя завалят.
Всё, что описано в этой книге, – для тебя всего лишь гипотеза. Да, это сработало в тысячах рекламных кампаний моих клиентов и учеников и сработает ещё в десятках тысяч. Но всегда найдётся одно-два исключения из этого правила. Вспомни пример про объявления, которые дали конверсию, только когда их перенаправили на главную страницу сайта. В каждом методе, способе, "фишке" есть смысл только в том случае, если ты опробуешь их сам и сравнишь результаты до и после. Если результат улучшился – метод для тебя рабочий, если нет – пробуй другие. Любая гипотеза должна подвергаться сомнению и внедрению с целью проверки.
В каждом методе, способе, "фишке" есть смысл только в том случае, если ты опробуешь их сам и сравнишь результаты до и после.
Но существует бесчисленное количество вариантов для тестирования. Представь, сколько текстов и быстрых ссылок можно сгенерировать – сотни и тысячи! И если тестировать каждый вариант, на это уйдут годы. Поэтому наука о тестах подразумевает не только правильные механизмы тестирования и аналитики результатов, но и выявление приоритетных гипотез, которые с максимальной вероятностью дадут результат.
Вообще эта глава в некотором роде небольшой тренинг по бизнесу и личностному росту. Кроме конкретных алгоритмов для Директа, в ней будет много общих идей, применимых в любой сфере жизни. Как родители определяют способности своих детей? Отдают их на все возможные секции: футбол, пение, танцы, гармонь, вышивание и т. д. В той сфере, где проявляются талант и способности, потом идёт фокусировка и плотная работа. То же самое и с выбором любимой еды, друзей, мировоззрения, места жительства, работы и даже супругов, как бы цинично это ни звучало. Отпетые ловеласы всегда в итоге находят для себя лучших женщин, с которыми будут счастливы всю жизнь. В бизнесе так же тестируют сотрудников, подрядчиков, партнёров, персонажей клиентов, офисы, сайт, рекламу и т. д.
Но далеко не всем повезло найти своё с первого раза. В Силиконовой долине разрабатывают четыре варианта стартапа, по очереди вкладывая деньги в каждый из них. И часто "выстреливает" лишь последний вариант, который учитывает опыт и промахи предыдущих трёх. Большая ошибка – попробовать один вариант, не получить результата и отказаться от продолжения. У меня был клиент, который занимался промышленным альпинизмом. Он купил один из самых дорогих пакетов, хотя я предлагал начать с дешёвого, вложил в рекламу около 30 000 руб., получил много заявок. Но все заявки оказались для него неинтересными – слишком мелкие объекты, а ему было интересно работать с крупными. Он сделал вывод: "Подрядчиков на интересные объекты через поисковик не ищут" и свернул проект. Другой клиент из этой же ниши спустя месяц получил через Директ заказ от крупного торгового центра. Я считаю, что первый заказчик поступил неправильно. Во-первых, мелкие заявки можно отдавать на субподряд или обеспечивать оборот за их счёт. Во-вторых, можно было поменять тексты объявлений и некоторые детали на сайте (мы даже написали список необходимых изменений): первоначальный вариант мог не вызывать доверия у крупных заказчиков, но активно привлекать мелких. Немного терпения и инвестиций (а ресурсы для этого у клиента были: мало кто на последние деньги закажет у нас дорогой рекламный пакет для Яндекса и Гугла), и я уверен, что он начал бы получать интересные заказы. Вместо этого человек потерял более 100 000 руб. Неудачные тесты всегда будут (без них просто не было бы удачных), и они всегда ведут к потере денег здесь и сейчас. Но при правильном подходе это становится не потерей, а инвестицией, которая впоследствии многократно окупится.
Цель А/Б-тестов в Яндекс. Директе – улучшение показателей. В первую очередь смотрим, разумеется, на конверсию. При этом не забываем о качестве заявок: бывает, что их стало больше, но на мелкие заказы; а крупные, наоборот, отсеялись. Здесь же анализируем CPL, ROI и PPV – это показатели, которые непосредственно связаны с прибылью. Нет смысла рассматривать их по отдельности, надо анализировать все вместе. Бывает, что снижается цена заявки, но падает и их количество. К примеру, если понизить цену клика вдвое, можно "вылететь" из спецразмещения и получить в 10 раз меньше кликов. Цена заявки упадёт наполовину, а их количество – в 10 раз. Анализируй всё в комплексе и думай, что для тебя выгоднее.
Часто бывает, что тестирование не приносит особых изменений главных показателей – тогда анализируем второстепенные:
CTR, цену клика, время на сайте, показатель отказов, глубину просмотров. На основании изменения всех этих показателей и принимается решение, какой вариант оставить в качестве рабочего.
Порядок тестирования
Рекламная кампания имеет множество составляющих: стратегия показов, релевантные фразы, заголовок и текст объявления, быстрые ссылки, виртуальная визитка, размер объявления, домен, фавикон, картинка на РСЯ, ставки и т. д. Разумеется, глупо начинать тест с фавикона. Разберём порядок тестирования по уменьшению вероятности значительных улучшений. Для поиска и РСЯ это будут разные списки.
Заголовок объявления для поисковой РК должен содержать ключевую фразу, и здесь сложно придумать что-то более эффективное. Однако к ним можно добавить вторую часть из текста (или, наоборот, убрать) – и здесь вариантов гораздо больше. Это первое, что я протестировал бы, потому что многие интернет-пользователи текст объявления даже не читают и принимают решение только по заголовку.
Текст тестируется во вторую очередь. Как ты помнишь, он состоит из трёх частей: фильтра, УТП и призыва. Призыв тестируй в последнюю очередь: большое влияние он оказывает редко. Если заявок мало или их нет совсем – меняй УТП. Если они есть, но не очень интересные, – пробуй другие фильтры. После текста, а иногда и одновременно с ним, тестируй быстрые ссылки. Если в них указаны преимущества, то их можно поменять местами с преимуществами в тексте. Если заявки не очень целевые, надо проверить тестами фильтры или разделы. Обязательно проанализируй Метрику и посмотри, по каким ссылкам кликают чаще и по каким не кликают вообще. Если какую-то жмут постоянно – её содержимое можно перенести в текст. Те ссылки, которые клиенты игнорируют, меняем в первую очередь. Остальные можно поменять местами, расположив самые кликабельные по краям (там они заметнее).
Позиции и цены клика
Бывает, что на разных позициях могут быть абсолютно разные показатели. Иногда конверсия с первого места в спецразмещении выше. Поэтому обязательно стоит протестировать стратегию "наивысшая доступная позиция", пробовать разные ставки. Позиции показов и кликов можно посмотреть в статистике Директа в "Мастере отчётов". На этом же этапе также нужно проверить все три режима релевантных фраз.
Для РСЯ всё то же самое, но на первое место по важности выходят заголовок и картинка, ведь их задача – привлечь внимание! Только после тестирования нескольких вариантов того и другого можно переходить к проверкам текста и всего остального.
Второстепенные объекты теста
Виртуальная визитка и все её составляющие: адрес (центр города или окраина), телефон (8800 или 495), время работы (круглосуточно или будни с 9 до 18) – всё это может влиять на показатели. Кроме этого, есть домен, который может отображаться в объявлении на поиске два раза, и фавикон. В тексте и быстрых ссылках можно тестировать наличие или отсутствие ключевых слов, цифр и символов, порядок слов. Какой-то вариант рано или поздно даст лучший результат. Если трафик небольшой, то до таких тестов может и не дойти. Да и если большой – вариантов тестирования огромное количество. Поэтому можно поменять уже не один элемент, а сразу несколько.
Когда всё протестировано, остаётся проверять самые бредовые гипотезы – нарушать все возможные правила. Сделать одно объявление на все ключевики, использовать шаблон, в заголовке не писать ключевики, проверить все стратегии, убрать низкочастотники. Вероятность низкая, но бывают исключения. В любом случае с этого не стоит начинать. Пробовать такие варианты можно, лишь когда заявки уже стабильно идут и есть запас бюджета.
Техническое решение
Существует несколько технических решений проведения А/Б-тестирования. Директологи постоянно спорят, какое из них эффективнее. Поэтому я опишу все варианты, указав их преимущества и недостатки.
Есть два основных вида тестирования: одновременно и по очереди. В первом случае два объявления чередуются между собой автоматически, показываясь по очереди (их ротирует Яндекс). Очевидное преимущество такого метода в том, что внешние условия (начиная от количества конкурентов и заканчивая курсом доллара) одинаковы для каждого объявления. Во втором случае объявления показываются по очереди, но чередуем их мы сами – по часам, дням, неделям или даже месяцам. Внешние условия меняются, но по некоторым другим параметрам такой вариант имеет преимущества.
Для любого случая тестируется вся кампания или большая однотипная группа ключевиков (например, если мы продаём готовый бизнес, то можно отдельно протестировать группу горячих ключевиков, которые содержат слово "франшиза"). Тестировать отдельное объявление есть смысл, если показатели по нему слишком низкие. Но об этом мы будем говорить в следующей главе, сейчас же важно понять общие принципы теста. Также важно понимать, что в разные дни (например, понедельник и четверг) и в разное время дня люди ведут себя абсолютно по-разному. Сравнивать клики, сделанные утром и вечером, нет никакого смысла.
Начнём с первого варианта. Здесь есть два способа: запуск двух кампаний одновременно или тестирование с помощью групп объявлений.
Группы объявлений – инструмент Директа, который позволяет на один ключевик сделать несколько объявлений. Он показывает их по очереди и через какое-то время оставляет самое кликабельное (имеющее самый большой CTR). Выглядит здорово, но есть большой недостаток: система ротирует их очень медленно, причём на практике совсем неравномерно – в разное время суток, в разные дни недели. Поэтому есть смысл использовать только для ВЧ-ключевиков или в РСЯ. Каждое объявление нужно пометить своей UTM-меткой, чтобы смотреть не только его CTR, но и другие показатели. На поиске, сделав группы для высокочастотников, лучшее объявление потом переносится на все остальные НЧ-ключевики. Я не люблю этот способ ещё и потому, что в нём всё автоматизировано и на ход теста нельзя повлиять. Единственный параметр оценки Яндекса – CTR. В скором времени показываться будет только одно из объявлений. С помощью групп я тестирую только картинку в РСЯ и призывы к действию – элементы, которые влияют, как правило, только на CTR.
Дополнительная группа объявлений делается очень легко. Для этого необходимо в рекламном кабинете перейти в управление кампанией с помощью Excel и выгрузить рекламную кампанию. С помощью фильтров найди строчки с объявлениями, которые требуется протестировать. Скопируй эти строчки полностью и вставь в самом низу, под все остальные объявления (для удобства их можно выделить цветом, чтобы не перепутать с уже существующими строчками). В колонке "дополнительное объявление группы" поменяй "-" на "+".
Очисти поля "ID объявления" (только в новых строчках!). И поменяй в объявлениях тестируемый элемент (например, призыв к действию). Также стоит изменить UTM-метки (utm-content=zagolovokl), чтобы в метрике можно было посмотреть, какое из объявлений лучше сработало.
Картинку поменять немного сложнее, так как для этого нужно изменить ссылку. Самый простой вариант – заранее (до выгрузки) поменять картинку в одном из объявлений с помощью интерфейса и скопировать ссылку на неё в новые добавленные строчки (колонка "изображение").
После этого сохрани файл и загрузи его обратно в интерфейс.
Таким образом, на один ключевик может быть два и более объявления, которые Яндекс будет чередовать самостоятельно, пока не выявит более кликабельный вариант.
Кстати, так же можно сделать отдельное объявление для мобильных устройств. Они могут быть короче, без переноса части текста в заголовок, с призывом к действию "звоните"! В файле всё делается аналогично добавлению объявлений в группы, только в колонке "мобильное объявление" также нужно поменять "-" на "+".
Запуск двух кампаний одновременно чем-то похож на тесты с помощью групп объявлений: мы делаем две копии кампании (с одним-единственным отличием) и запускаем обе. Яндекс показывает их по очереди, постепенно оставляя лучшие объявления. Этот метод включает в себя все недостатки групп и имеет ещё один, гораздо более существенный: в одной кампании уже есть накопленный CTR, вторая – абсолютно новая, и в ней считается прогнозный. Поэтому объявления будут показываться на разных позициях и преимущество будет у первой кампании: вторая будет видна гораздо реже.
Тестируя объявления по очереди, мы избегаем всех этих недостатков. Всё тестируется в одной кампании, поэтому CTR одинаковый. На тест каждого варианта выделяется семь дней. Практика показывает, что в один и тот же день недели люди ведут себя схожим образом. Главное, не тестировать на стыке сезонов и в праздники. Тест идёт сразу по всем ключевикам, в том числе по низкочастотным. Для одной группы ключевиков текст объявления срабатывает, как правило, один и тот же. Однако тестировать только по ВЧ не очень хорошо: тест затянется. Ведь основную массу переходов мы получаем именно с НЧ. А подводить итоги одного теста можно минимум по 300 кликам. Поэтому этот вариант я считаю оптимальным.
Технически это делается очень просто: выгружается кампания, в ней меняется один элемент, загружается обратно. Все данные до теста лучше куда-нибудь записать. Через неделю новые показатели анализируются и сравниваются с предыдущими. После этого выбирается лучший вариант и проводится следующий тест.
Однако и в этом случае есть свои недостатки, причём существенные: зачастую одна неделя может существенно отличаться от другой. Особенно это касается рынка В2С (Business to consumer, то есть это товары и услуги для конечного потребителя), так как там большое влияние имеют дни зарплат. В этом случае остаётся следующий метод – "шахматки". Это не самый мой любимый метод, но в подобных случаях альтернативы ему на данный момент не существует. Понять, насколько сильно отличается одна неделя от другой, очень просто. Для этого нужно накопить статистику хотя бы за месяц и посмотреть, велики ли скачки. Если важные показатели (раскрыты в предыдущей главе) каждую неделю "скачут" более чем на 10 % относительно среднего показателя, то тест по неделям теряет всякий смысл. Невозможно будет оценить, вызвано изменение тестом или очередным скачком.
Пример приемлемого разброса CTR – не более 7 % от среднего
Метод "шахматки" подразумевает создание двух новых кампаний, показы в которых чередуются по часам (0–1 час – первая кампания, 1–2 часа – вторая кампания и т. д.). Тестировать необходимо так же одну неделю. Безусловный плюс этого метода – равномерный показ объявлений при одинаковых внешних условиях. Однако и минусы у него не самые приятные. Во-первых, тестируя таким образом, приходится каждый раз создавать новые кампании – в противном случае из-за различного накопленного CTR они будут в неравных условиях, и результат может оказаться обманчивым. (Напомню, что от CTR зависит доля показов на высоких позициях и стоимость входа на них.) А если каждая кампания получает хотя бы 70-100 кликов в день, то реальный CTR начнёт оказывать своё влияние уже к концу тестируемой недели. Во-вторых, любая кампания, запущенная с нуля, имеет время так называемого "расклика". Первые дни Яндекс как будто не доверяет новым объявлениям и начинает их очень аккуратно, постепенно "внедрять" в аукцион. Требуется некоторое время, чтобы объявления раскочегарились на полную мощность и наравне с остальными рекламодателями участвовали в аукционе. Порой в особо конкурентных нишах "расклик" занимает как раз около недели. Из-за этого приходится или выставлять завышенные ставки, или терять значительную часть показов (до половины). Третья проблема – невозможность набрать действующий CTR и снизить цену клика, если проводить один тест за другим (а ведение кампании подразумевает постоянное тестирование). Приходится каждый раз создавать две новые кампании, которые вынуждены заново набирать CTR. А как показывает практика, прогнозный CTR обычно ниже, чем реальный. Поэтому цена клика по ходу ведения кампании не снижается, как это обычно происходит (нередко за счёт хорошего CTR удаётся снизить расходы в 2–3 раза). А кому хочется переплачивать?
Поэтому данный метод хорош для разовых глобальных тестов в том случае, если поочерёдные недельные тесты невозможны из-за скачков. Но его постоянное использование приводит к значительной переплате и потере показов.
Настроить "шахматки" очень просто. Кампания выгружается из интерфейса дважды (создаём два дубля). В обоих файлах необходимо очистить ячейку "№ заказа" (номер рекламной кампании, состоящий из 7–8 цифр). В одном варианте больше ничего не меняем, во втором вносим те изменения, которые необходимо протестировать. Обязательно меняем UTM-метки, чтобы в метрике легко различить оба варианта между собой. Выгружаем обе кампании в интерфейс, как новые, и заново выставляем все параметры. С помощью временного таргетинга настраиваем чередование, как показано на скриншоте ниже. Важно удостовериться, что случайно не выставлено одно и то же время. Выстави время начала и окончания кампаний таким образом, чтобы они автоматически включились в понедельник ночью и отключились в воскресенье вечером. Основную кампанию, копия которой тестируется, также надо вспомнить вовремя остановить и настроить время запуска. Кроме того, назови кампании так, чтобы четко понимать, что именно в них проходит тест. (Например, "Шахматки/поиск/горячая/свето-диоды/вариант 2").