Лидпульт
Аналитика

A/B-тест лендингов и креативов: как не обмануться случайностью

Сплит-тест кажется простым: два варианта, выбираем лучший. На деле случайные колебания легко принять за эффект. Разбираем, как формулировать гипотезу, сколько данных нужно и как проверять значимость без сложной статистики.

· 5 мин чтения

Что можно тестировать

В кабинете вебмастера есть потоки, в том числе сплит-тест лендингов: трафик делится между вариантами страницы. Тестировать можно заголовок, оффер на странице, форму заявки, порядок блоков, креативы объявлений, аудиторию. Правило одно: в тесте меняется одна переменная, остальные остаются неизменными. Если вы поменяли и заголовок, и форму, вы увидите разницу, но не поймёте её причину.

Перед тестом запишите гипотезу в формате «если сделать A, то метрика B изменится в сторону C, потому что D». Например: если убрать необязательное поле в форме, конверсия в заявку вырастет, а апрув не изменится, потому что человек остаётся мотивированным. Такой формат заставляет заранее назвать и метрику, и возможный побочный эффект.

Какую метрику выбрать

Главная метрика теста должна быть близка к деньгам, а не просто к клику. Для лендинга это принятые заявки на 100 кликов, для креатива — тоже. CR в заявку полезен как быстрый сигнал, но им легко манипулировать: упрощённая форма поднимет CR и снизит апрув. Поэтому всегда смотрите на пару метрик: CR и апрув. Если CR вырос, а апрув упал сильнее, чем вырос CR, вариант проигрывает. Формула итога:

Принятых на 100 кликов = CR × апрув × 100

Главная трудность: апрув приходит с задержкой. Тест нельзя останавливать, пока заявки обоих вариантов не созрели; о зрелости читайте в статье про когорты заявок.

Размер выборки

Размер выборки зависит от базового значения метрики и от минимальной разницы, которую вы хотите заметить. Чем меньше разница и чем реже событие, тем больше нужно данных. Для редких событий вроде принятых заявок типичная ошибка — останавливать тест после нескольких десятков кликов. Ориентировочная логика: если вы ожидаете улучшения на 10–20 %, то для надёжного вывода нужно сотни принятых заявок на вариант; если на 50 % и больше, хватит меньше. Поэтому заранее решите, какой эффект вам важен, и оцените бюджет теста. Если бюджета не хватает, тестируйте крупные изменения, а мелкие правки внедряйте без теста, как гипотезы по здравому смыслу.

Проверка значимости без сложной статистики

Для долей (например, апрува или CR) можно воспользоваться простой оценкой погрешности. Если доля p измерена на n наблюдениях, то стандартная ошибка равна:

SE = √(p × (1 − p) / n)

Условный пример: вариант А даёт CR 4,0 % на 2500 кликах, вариант Б — 4,6 % на 2500 кликах. Стандартная ошибка каждого около 0,39 пункта. Разница 0,6 пункта меньше удвоенной суммарной ошибки (около 0,55 · 2 ≈ 1,1), значит, различие статистически не подтверждено, и вывод «Б лучше» делать нельзя. Для строгой проверки используйте z-тест для двух долей или онлайн-калькулятор значимости, а общее правило такое: доверительные интервалы вариантов не должны сильно пересекаться.

Типичные ловушки

  • Подглядывание. Если смотреть на результаты каждый день и остановить тест при первом «значимом» результате, вероятность ложного вывода сильно возрастает. Определите срок или объём заранее.
  • Неравные условия. Варианты запускаются в разное время или на разные аудитории.
  • Сезонные события. В период теста случился праздник или изменились лимиты оффера.
  • Много вариантов. Чем больше вариантов, тем выше шанс случайно найти «победителя».
  • Игнорирование апрува. Победитель по CR оказывается хуже по итогу.

Условный пример теста лендингов

Допустим, вы сравниваете два лендинга в одном потоке, по 3000 кликов на вариант. По данным через время зрелости:

ВариантКликиЗаявкиCRПринятоАпрувПринято на 100 кликов
Лендинг 130001204,0 %6655 %2,2
Лендинг 230001505,0 %6342 %2,1

Лендинг 2 выигрывает по CR, но не выигрывает по итогу. Разница 2,2 против 2,1 лежит в пределах случайного шума, то есть различия по итогу нет. Вывод: оставить любой вариант, но проанализировать, почему лендинг 2 привлекает менее качественных людей (возможно, форма слишком простая).

Практическая процедура теста

Чтобы тесты не превращались в хаос, пользуйтесь короткой процедурой. Шаг первый: сформулируйте гипотезу и выберите главную метрику и защитную метрику (ту, которая не должна ухудшиться, например апрув). Шаг второй: оцените нужный объём данных и бюджет, определите срок. Шаг третий: запустите варианты одновременно с равным распределением трафика и зафиксируйте дату старта в заметке. Шаг четвёртый: не меняйте условия до конца теста: не правьте креативы, не меняйте ставки, не добавляйте площадки. Шаг пятый: после завершения подождите зрелости заявок и только затем сравните варианты.

Если по ходу теста случились внешние события (остановка приёма у клиники, исчерпание лимита, праздник), отметьте их и при необходимости исключите затронутые дни из обоих вариантов одинаково.

Последовательные тесты и накопление знаний

Один тест редко решает задачу. Выстраивайте серию: сначала крупная гипотеза (например, формат лендинга), затем более тонкие (заголовок, форма). Ведите реестр тестов: гипотеза, даты, объём, результат, решение. Через полгода реестр показывает, какие типы изменений работают для вашей аудитории, а какие нет, и экономит бюджет на повторные эксперименты. Не забывайте записывать и неудачные тесты: они не менее полезны.

Как внедрять результаты

  1. Зафиксируйте результат и размер выборки в заметке к офферу.
  2. Внедряйте победителя на весь поток постепенно, наблюдая за апрувом.
  3. Если разницы нет, оставляйте более дешёвый или простой вариант.
  4. Повторяйте тест для новых гипотез, не откладывая выводы на потом.
  5. Раз в квартал перепроверяйте старых победителей: аудитория и конкуренты меняются.
Тест не должен приводить людей с помощью обмана: недопустимо менять креативы так, чтобы обещать то, чего нет в оффере. Это нарушает правила трафика.

Вопросы и ответы

Сколько времени должен идти тест?

Пока обе группы не наберут заранее определённый объём данных и заявки не станут зрелыми. Минимум — несколько недельных циклов, чтобы учесть дни недели.

Можно ли тестировать на небольшом трафике?

Можно, но только крупные изменения с ожидаемым значительным эффектом. Для мелких правок данных не хватит.

Что делать, если разницы нет?

Это тоже результат. Оставьте более простой вариант и переходите к следующей гипотезе.

Нужно ли учитывать апрув в тесте креативов?

Да, иначе победит креатив, который собирает много случайных заявок.

Достаточно ли одного теста, чтобы принять решение?

Для крупного эффекта и большой выборки да. Для небольшого эффекта желательно подтвердить результат повторным тестом или более длинным периодом.