Основы A B-тестирования: что и как этим методом проверяют в маркетинге

Репрезентативность — соответствие признаков тестируемой группы генеральной совокупности. Устаревший дизайн и неинтересный контент — основные причины отказов и низкой кликабельности. Таких проблем можно избежать, a/b-тестирование если постоянно тестировать элементы и подбирать оптимальные решения для каждой проблемы. Вот несколько примеров, что можно улучшить с помощью A/B-тестов. Решите, будет ли это односторонний или двусторонний тест. Схожие результаты получим и с калькулятором A/B Testguide.

• Однако когда есть возможность тестировать много гипотез, появляется ресурс даже для таких мелких вопросов, как «написать „Год без процентов“ или „365 дней без процентов“?
• Изменение даже одного слова в вашем CTA может повлиять на коэффициент конверсии.
• А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента.
• С точки зрения математической логики, суждения «Н0 не опровергнута» и «Н0 верна» не тождественны друг другу.
• Следить за ходом кампании можно в кабинете или получать уведомления по электронной почте.

Сформулировать задачи тестирования

C одной стороны, мы можем протестировать всё, что приходит в голову каждому члену команды, — от цвета кнопки до уровней сложности игры. Техническая возможность проводить сплит-тесты закладывается в наши продукты еще на этапе проектирования. Вячеслав Зотов Прежде чем приступать к проведению А/В-тестов, лучше изучить, как работают популярные статистические тесты.

Какие ошибки совершают при тестировании

Если одновременно изменить цвет, текст, формат и размер CTA-кнопки на сайте, будет сложно понять, что именно сделало ее более выигрышной. Правильнее будет сначала поменять, например, только цвет, а если эффекта не будет, пробовать другие варианты и гипотезы. За один эксперимент лучше тестировать одну гипотезу. Это сократит погрешность расчетов и покажет, какие изменения повлияли на метрики. Цели A/B-тестирования заключаются в поиске эффективной версии страницы, интерфейса или рекламного объявления, которая даст наибольшую конверсию или иные целевые показатели. Кросс-ревью стоит проводить при подготовке крупных и важных экспериментов.

#4. Выполнение теста в течение неправильной продолжительности

Сравнение не ограничивается только веб-страницами, это может быть интерфейс приложения, целевые страницы, электронный маркетинг или любые другие маркетинговые активы. В отчёте будут все показатели обоих вариантов — например, данные о количестве посетителей страницы, числе целевых действий, конверсиях. Если Varioqub обнаружит лучший вариант, он выделит его зелёным цветом. Определение более эффективной версии дизайна — задача, требующая внимательного и систематического подхода. Процесс A/B-тестирования должен проходить поэтапно — нельзя просто запустить два варианта сайта и ждать, что какая-то метрика вырастет.

Почему нельзя просто изменить цвет кнопки на любой другой?

В шаблоне систематизирована информация, которая нужна для настройки A/B-теста и анализа результатов. Если конверсия в подписку у версии с поп-апом действительно вырастет, значит гипотеза подтвердилась — эксперимент удался, изменение можно вводить. Представьте, что вы работаете над интерфейсом для онлайн-магазина. Есть идея — разместить виджет подписки на рассылку в поп-ап, который всплывает сразу, как только пользователь заходит на сайт. В текст виджета планируется добавить информацию о скидке 10% за подписку.

Посмотреть, как выглядят изменения до запуска, можно с помощью блока «Проверка эксперимента», который располагается в правом нижнем углу экрана. Введите название эксперимента и задайте его условия. Читайте в Справке, какие значения можно указать в каждом окне. Проведение A/B-тестов позволит снизить плату за потенциального клиента (CPL). Эксперимент выявит, какой текст или дизайн объявления приносит недорогие заявки и побуждает людей оставлять контакты.

Во время последовательного тестирования первые две недели (или месяц) вы показываете вариант сайта A, а оставшийся промежуток времени — вариант B. Для ниш с сезонными товарами последовательное тестирование не подойдет — невозможно будет оценить, повлиял ли на результаты спрос. Итак, 10 мучительно долгих дней прошли, и что мы видим? Конверсия второй группы, которой мы показывали вариант формы с оффером, составила 30% — предложение-то работает!

Тестирование выявит, какие элементы на сайте или в РК привлекают пользователей, а какие — отталкивают. В дальнейшем вы сможете создавать проекты с учётом предпочтений потенциальных клиентов. Пока он идёт, нельзя его останавливать и вносить изменения в страницы — иначе придётся начинать заново. Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с большим размером выборки.

Можно также добавить ссылку на опрос и таким образом собрать дополнительные данные для будущего продукта. Делитесь с коллегами итогами A/B-теста — это поможет им в понимании поведения пользователей, даже если, на первый взгляд, гипотеза не имеет отношения к их задачам. Рассказать о результатах можно в виде презентации для команды. Организовать процесс кросс-ревью поможет шаблон для подготовки эксперимента, который опубликован в нашем телеграм-канале.

В первые два дня после запуска побеждал вариант игры без изменений (группа А), но это оказалось просто случайностью. Уже после второго дня показатель в группе В приобретает стабильно лучшие результаты. Для завершения тесту нужна не просто статистическая значимость, но и стабильность, поэтому ждем окончания теста.

— Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик. Вы упомянули и про важность определять заранее длительность эксперимента, и про запрет на подглядывание результата до завершения эксперимента. Калькулятор Evan’s Awesome A/B Tools рассчитал для каждого варианта доверительный интервал с учетом объема выборки и выбранного уровня значимости. Поэтому длительность теста мы округляем до недель, чтобы учесть сезонность. Чаще наш цикл тестирования составляет одну-две недели в зависимости от типа А/В-теста. Выборка не будет идеально репрезентативной, но мы всегда обращаем внимание на структуру пользователей в разрезе их характеристик — новый/старый пользователь, уровень в игре, страна.

Запускать тестирование можно в Яндекс Метрике — бесплатной системе веб-аналитики. Она подойдёт для сравнения нескольких вариантов посадочных страниц, а также отдельных её элементов. Важно, чтобы выборка была с теми же характеристиками, что и пользователи, которые обычно взаимодействуют с продуктом. Например, если на ваш сайт заходят мужчины и женщины в пропорции 20 на 80, то и при тестировании цвета кнопки нужно сохранить это соотношение.

Рекомендуется постоянно проводить A/B-тесты на веб-сайтах. Вы можете использовать несколько инструментов, чтобы начать свое путешествие по A/B-тестированию, о котором мы упоминали выше. Не все маркетологи хорошо разбираются в статистике, для получения точных результатов необходимо иметь правильный размер выборки.

Рассмотрим подробнее то, как работает инструмент, для чего проводят такие тесты и каким образом реализуются задачи. Давайте рассмотрим самые распространенные просчеты. Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов.

Показатель отказов — это процент пользователей, которые ушли с сайта почти сразу (как правило, в течение 15 секунд), не сделав ни одного целевого действия или клика. — Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать. Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования. Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают. Пример, когда стоит преждевременно завершить А/В-тест.

На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов. Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

IT курсы онлайн от лучших специалистов в своей отросли https://deveducation.com/ .