В итоге: если у вас много трафика — используйте комбинированное тестирование, с его помощью вы определите наилучшую комбинацию элементов для улучшения конверсий. Также вы получите большую достоверность, потому что если проводить тест достаточно долго, сможете увидеть кривую комбинаций: от верхних, которые работают лучше всего, до тех, которые работают очень плохо или вообще не работают. Когда все результаты собраны, кривая будет явно просматриваться. Рис. 4.4, 4.5 и 4.6 показывают различные ее виды. Сперва рисунок иллюстрирует спорные результаты, но в конце концов выявляется победитель.
Рис. 4.4. В этой программе сплит-тестирования вы можете отслеживать различные типы диаграмм, чтобы прийти к выводу: кривая распределяется равномерно
Рис. 4.5. Две эти диаграммы отображены также на рис. 4.4
Рис. 4.6. Эта диаграмма показывает, что сплит-тестирование началось нечетко, но затем линии отделились друг от друга и определился победитель, так как была получена статистическая достоверность
Многоразмерное тестирование
Другой тип многомерного тестирования применяет похожие стратегии, основанные на методе Тагучи. Я называю их методами многоразмерного тестирования, потому что у них есть дополнительный уровень сложности.
Они используются для получения статистической достоверности тестирования и того уровня надежности, который вам нужен. Эти методы позволяют протестировать большое количество вариантов без обязательного наличия большого трафика. К сожалению, мои любимые инструменты сплит-тестирования пока не применяют эти развитые концепции. В «Лаборатории опытов» я более подробно затрону эту тему, исследуя некоторые варианты использования концепции наряду с ее разрушением. Понимание A/B-, A/B/n- и многомерного комбинированного тестирования поможет в изучении многоразмерного тестирования.
Лучшие современные инструменты тестирования
Секрет хорошего сплит-теста — в программном обеспечении. Вам нужно что-нибудь надежное и простое в использовании, обеспечивающее точные и легкие в понимании данные. Хотя существует великое множество сплит-тестовых программ, у меня есть несколько предпочтений, которые мы сейчас и обсудим.
Google Analytics Content Experiments
В течение многих лет одним из наиболее распространенных инструментов сплит-тестирования был «Оптимизатор сайтов Google» (Google Website Optimizer), который с тех пор включен в Google Analytics. Теперь это называется Google Analytics Content Experiments. Причина популярности этого программного обеспечения в том, что Google Analytics — широко используемый продукт, более того — бесплатный. Когда вы объединяете возможности сплит-тестирования с данными в Google Analytics, вам становятся доступны решения всей хост-системы, которые можно изменять и использовать для улучшения коэффициентов конверсии. Лично мне Content Experiments не очень нравится, потому что она довольно новая, но это отличное место старта, если вы работаете с бесплатным программным обеспечением. Я очень надеюсь, что в будущем эта программа предложит больше инструментов. Зная Google, скажу — это возможно. Рис. 4.7 иллюстрирует пример, как будет выглядеть отчет Google Analytics Content Experiments на экране.
Рис. 4.7. Google Analytics Content Experiments — прекрасный инструмент, в большей степени потому что бесплатный и включает простое A/B-тестирование. Эта иллюстрация — пример отчета тестирования для выявления абсолютного победителя
Visual Website Optimizer
Visual Website Optimizer (рис. 4.8) — еще одна довольно хорошая программа. Компания, продолжительное время работавшая в сфере конверсии, постоянно улучшала ее, поэтому она теперь быстро работает и проста в использовании.
Рис. 4.8. Visual Website Optimizer — инструмент сплит-тестирования, дополненный большим количеством встроенных инструментов, включая возможность создавать собственные варианты напрямую в программе с помощью компоновщика «перетаскивание»
Предрасположенным к визуальному восприятию пользователям эта программа нравится, потому что в собственном сплит-тестировании не нужно разбираться с программным языком HTML или другим кодированием.
В буквальном смысле вы можете кликать на веб-страницу в Visual Website Optimizer, менять заголовок, изменять текст и кнопки — все то, что я уже описывал, и без знаний каких-либо языков программирования.
Вы можете задумывать какие угодно изменения, но многие шаги настолько легко выполнять, что становится просто интересно пробовать новое в сплит-тестировании. Программа позволяет создавать разные версии, разделять трафик, определять выигрышные и проигрышные варианты и даже оповещает, когда пришла пора выявить лидера. Как только вы внесли желаемые изменения, вы можете проводить тестирование и не обращаться к команде технологов. Программа может даже автоматически запускать в работу лучший вариант, и в результате вы даже не потеряете деньги в ожидании декодирования страницы. Это одно из наиболее весомых достоинств Visual Website Optimizer, но далеко не единственное. Мне также нравится качественная информация, получаемая от его тепловой карты кликов: вы можете наблюдать, как люди взаимодействуют с вашей веб-страницей. Меня интересуют и более продвинутые инструменты, такие как геотаргетинг. И все эти преимущества доступны по разумной цене — вот что делает Virtual Website Optimizer моей любимой программой. Кстати, я нередко останавливаю на ней свой выбор для работы с предприятиями малого бизнеса.
Optimizely
Optimizely — новая блестящая игрушка, которая быстро превратилась в мой самый любимый инструмент. По своей функциональности она очень похожа на Visual Website Optimizer. У Optimizely тоже есть редактор перетаскивания, но он сделан проще, а также по умолчанию в нем меньше компонентов. Например, вам необходимо интегрироваться с третьей тепловой картой кликов программы, чтобы использовать эти компоненты. Но она предоставляет данные в более удобном для пользователя интерфейсе, поэтому все, что может быть сделано в Visual Website Optimizer, на один шаг проще в Optimizely, по моему мнению. На момент написания этой книги Optimizely была еще и дешевле.
Рис. 4.9 показывает, как Optimizely ведет себя при сплит-тестировании. Программа дает отличные результаты и замечательно визуализирована. Одна из моих любимых особенностей — возможность отслеживать результаты тестирования в реальном времени и обновляться каждые несколько секунд. Вы можете поставить сложные задачи — например, отслеживать места, по которым люди кликают, определять степень взаимодействия с вашим сайтом или выбор их путей. Данные собираются отдельно, но предоставляются в отчете все вместе и в реальном времени. У кого-то такая работа вызовет опасения, но на самом деле это забавно. Инструменты сплит-тестирования дают возможность обыгрывать разные варианты и идеи и оценивать различные результаты.
Рис. 4.9. С Optimizely просто проводить сплит-тестирование, даже если у вас нет знаний о программировании или IT-персонала. В настоящее время эта программа не обладает таким же количеством характеристик, как Visual Website Optimizer, но она более точна и интегрирована с другими важными инструментами. Самое важное то, что вы начинаете тестировать, не бездействуете, даже если это означает, что вы используете бесплатный инструмент Google
Чем больше разработано путей просмотра данных, тем лучше. Optimizely позволяет легко создавать различные пути достижения целей, поэтому я могу смотреть на тестирование момента микроконверсии более комплексно, и это прекрасно. Найдите время, чтобы все это попробовать. Я уверен, вы получите массу удовольствия и одновременно пользу для бизнеса.
Как избежать типичных ошибок в сплит-тесте
Не запускайте в работу новый сайт без сравнительного тестирования со старой версией. Вы обещали, помните? Это важно. Последняя вещь, которую вы можете сделать, — разрушить все, что наработали.
Не полагайтесь только на то, что у вас есть прекрасная идея, которую вы качественно воплотили: не факт, что она будет работать и хорошо конвертировать. Не поддавайтесь эмоциям при тестировании: новая идея может оказаться как хорошей, так и плохой. Запуск тестирования в инструментарии сплит-теста займет несколько минут, но может сэкономить ваши деньги.
Не тратьте время на маленькие и медленные изменения, только если они не стратегически важные. Если у вас большой бизнес, имеет смысл продвигаться медленно, делая незначительные поправки: даже 1% изменения конверсий подразумевает миллионы долларов, а может, и больше. Но малому бизнесу иногда лучше сфокусироваться на большей картине, такой как корректировка воронки, чем тестирование различных цветов на кнопке «Закажите сейчас».
Чем больше разработано путей просмотра данных, тем лучше. Optimizely позволяет легко создавать различные пути достижения целей, поэтому я могу смотреть на тестирование момента микроконверсии более комплексно, и это прекрасно. Найдите время, чтобы все это попробовать. Я уверен, вы получите массу удовольствия и одновременно пользу для бизнеса.
Как избежать типичных ошибок в сплит-тесте
Не запускайте в работу новый сайт без сравнительного тестирования со старой версией. Вы обещали, помните? Это важно. Последняя вещь, которую вы можете сделать, — разрушить все, что наработали.
Не полагайтесь только на то, что у вас есть прекрасная идея, которую вы качественно воплотили: не факт, что она будет работать и хорошо конвертировать. Не поддавайтесь эмоциям при тестировании: новая идея может оказаться как хорошей, так и плохой. Запуск тестирования в инструментарии сплит-теста займет несколько минут, но может сэкономить ваши деньги.
Не тратьте время на маленькие и медленные изменения, только если они не стратегически важные. Если у вас большой бизнес, имеет смысл продвигаться медленно, делая незначительные поправки: даже 1% изменения конверсий подразумевает миллионы долларов, а может, и больше. Но малому бизнесу иногда лучше сфокусироваться на большей картине, такой как корректировка воронки, чем тестирование различных цветов на кнопке «Закажите сейчас».
Не забудьте удостовериться, что вы правильно установили учет конверсии. Люди не любят тратить свое время. Худшее, что может быть в тестировании, — это выбор неверного направления и пустая трата времени и денег. До проведения главного тестирования с новыми клиентами мы тратим время на программу по сплит-тестированию, просто анализируя, чтобы понять — правильно ли сама программа взаимодействует со страницей и точно ли собирает конверсии.
Не путайте свои цели. Крайне важно правильно определить цели конверсии. Мы можем подразумевать под конверсией переход по ссылке, чтобы совершить покупку, или когда посетитель, попадая на страницу корзины покупок, действительно что-то приобретает. Но можем забыть, что конечная цель коэффициента конверсии — то, что можно сосчитать. Поэтому нужно отслеживать, как ваши цели, заявленные при тестировании, влияют на итог. Все зависит от того, какую информацию вы ищете и чего хотите добиться. Так или иначе, до начала тестирования необходимо удостовериться, что программа ведет учет грамотно. Тогда, без сомнения, вы можете задавать сложные конверсионные цели, так как мы уже говорили — с Optimizely это сделать нетрудно. Вам не нужны недостоверные данные, которые лишь отсылают вас в неверном направлении.
Не позволяйте цене вас напугать. Увеличение выручки может произойти всего лишь от одного сплит-тестирования, и это стоит того, чтобы ежемесячно на протяжении нескольких лет тратить деньги на программное обеспечение или консалтинговые издержки. С другой стороны, вы также снижаете риск потери денег от отсутствия тестирования. Это действительно стоящая информация.
Не делайте поспешных заключений, читая первые результаты тестирования. Победители могут меняться местами на ранних фазах теста, как вы видели на рис. 4.6. На первой минуте версия A — победитель, а на второй — версия B. Чтобы быть уверенным, вам необходимо чистое вертикальное разделение всех кривых по линии графика, тогда будет ясно просматриваться только один победитель на протяжении всего цикла тестирования.
Не игнорируйте внешние факторы, влияющие на тест. Хронологические обстоятельства, такие как время, день недели или даже сезон, также влияют на посещение интернета. Если вы разместите пост на Facebook в будни, в 10 утра, то, возможно, соберете 100 лайков. Но если вы сделаете то же самое в 6 вечера выходного дня, то можете получить 1000 лайков (или наоборот). Вот где действительно необходимо хорошо знать рынок. Существуют ли факторы, например сезонные, влияющие на результаты тестирования?
ГЛАВА 5 Как собирать данные
Когда мы с компанией начинаем работать над коэффициентом оптимизации конверсии нового клиента, то еще до определения рекомендаций относительно сайта или другого маркетинга обязательно собираем данные. Комплексная, или большая перспективная, картина бизнеса состоит из мелких деталей, которые могут быть измерены различными инструментами и аналитическими программами. Собирая данные в самом начале, мы можем максимально приблизиться к полной картине того, что происходит с бизнесом и как выглядят воронки, а также рассмотреть все в деталях, что тоже полезно. Этап сбора информации позволяет соединить разные части бизнеса, заставляющие его работать, в результате чего мы можем анализировать поведение перспективных посетителей и клиентов до и после взаимодействия с сайтом или бизнесом.
Чем больше вы знаете обо всем происходящем на этих этапах, тем легче отыскать места для начала оптимизации. По большому счету существует всего два вида информации — количественная и качественная. Количественные данные включают в себя все, что может быть измерено или выражено в числах, например сколько конвертируется людей при переходе от одного шага к другому, сколько шагов они проделывают, сколько у них трафика и т. д. Обычно при наличии измеряемых данных владельцы сайта устанавливают отслеживающие инструменты наподобие Google Analytics, но данные сами по себе ничего не значат, если их не анализировать. Вы переходите на другой уровень сложности, когда перестаете просто отслеживать это, а с помощью сплит-тестов накапливаете количественные данные.
Некоторые части качественных данных состоят из информации, не измеряемой численно, например как люди кликают на странице, где они зависают, почему приходят на эту страницу, насколько она выглядит надежной для посетителей и т. д. Поведение посетителей и физиология могут казаться относительными факторами, но их тоже можно анализировать с помощью теста. Когда вы соберете различные виды данных, образуется достаточное основание для оптимизации.
Вы получите возможность оптимизировать все три стадии. Если данные отражают слабый поток трафика или низкий возврат от инвестиций до момента, когда люди находят ваш сайт, вам, вероятно, захочется оптимизировать трафик. Если данные отражают хороший приток трафика, но различные микроконверсионные моменты представлены не очень хорошо, скорее всего, вы захотите оптимизировать эти страницы на сайте. Если увеличение суммы покупки или программы рефералов не очень хорошо представлены в следующей фазе, стоит направить все усилия на стратегии по маркетинговой рассылке. Суть заключается в том, что вы мыслите комплексно.
В зависимости от бизнеса и опыта вы можете обладать огромным количеством данных или не обладать (или просто думать, что их нет). Как бы то ни было, очень важно получить ясное представление о работе сайта, чтобы сориентироваться, в каком направлении начинать тестирование.
Зачем возиться со сбором данных
Если вы новичок в ОКК, сбор данных поможет понять, с какого места лучше начинать оптимизацию коэффициента конверсии. Если опыт есть, то улучшение установок по сбору данных поможет выполнить все более эффективно. Сбор данных покажет, какое место воронки нуждается в тестировании. Все идеи по улучшению и возникающие вопросы будут исходить из соответствия этих данных вашей воронке. Действительно ли люди идут туда, куда хотят? Если нет, то почему? И как вы поощряете их к тем действиям, которые от них ожидаете? Что вы знаете о перспективных клиентах и покупателях? Как вы это узнали? Может быть, с помощью интуиции, основанной на опыте, или по данным, которые могут это подтвердить? Существует ли шанс, что ваши действия относительно клиентов неверны? Возможно ли, что желания перспективных клиентов и покупателей меняются со временем? Меняются ли они из-за вас, вашей сферы или из-за мира в целом? Как эти изменения влияют на их потребительское поведение?
Вот примерные вопросы, на которые может ответить сбор информации. Сбор информации — это озвучивание вопросов, анализ ответов и появление новых вопросов, так как вы продолжаете работать с оптимизацией коэффициента конверсии. Сбор данных не должен прекращаться с началом оптимизации. ОКК — это постоянный процесс познания. Теперь вы знаете, почему сбор информации очень важен именно до начала оптимизации. Давайте рассмотрим некоторые стратегии, которые можно применить для получения данных.
Традиционные методы сбора информации
И до появления интернета, и сегодня основные методы сбора информации — это опросы, фокус-группы и предметное исследование рынка. Такие традиционные методы все еще часто используются, но у них есть свои достоинства и недостатки.