A/B-тест лендингов и креативов: как не обмануться случайностью
Сплит-тест кажется простым: два варианта, выбираем лучший. На деле случайные колебания легко принять за эффект. Разбираем, как формулировать гипотезу, сколько данных нужно и как проверять значимость без сложной статистики.
Что можно тестировать
В кабинете вебмастера есть потоки, в том числе сплит-тест лендингов: трафик делится между вариантами страницы. Тестировать можно заголовок, оффер на странице, форму заявки, порядок блоков, креативы объявлений, аудиторию. Правило одно: в тесте меняется одна переменная, остальные остаются неизменными. Если вы поменяли и заголовок, и форму, вы увидите разницу, но не поймёте её причину.
Перед тестом запишите гипотезу в формате «если сделать A, то метрика B изменится в сторону C, потому что D». Например: если убрать необязательное поле в форме, конверсия в заявку вырастет, а апрув не изменится, потому что человек остаётся мотивированным. Такой формат заставляет заранее назвать и метрику, и возможный побочный эффект.
Какую метрику выбрать
Главная метрика теста должна быть близка к деньгам, а не просто к клику. Для лендинга это принятые заявки на 100 кликов, для креатива — тоже. CR в заявку полезен как быстрый сигнал, но им легко манипулировать: упрощённая форма поднимет CR и снизит апрув. Поэтому всегда смотрите на пару метрик: CR и апрув. Если CR вырос, а апрув упал сильнее, чем вырос CR, вариант проигрывает. Формула итога:
Принятых на 100 кликов = CR × апрув × 100
Главная трудность: апрув приходит с задержкой. Тест нельзя останавливать, пока заявки обоих вариантов не созрели; о зрелости читайте в статье про когорты заявок.
Размер выборки
Размер выборки зависит от базового значения метрики и от минимальной разницы, которую вы хотите заметить. Чем меньше разница и чем реже событие, тем больше нужно данных. Для редких событий вроде принятых заявок типичная ошибка — останавливать тест после нескольких десятков кликов. Ориентировочная логика: если вы ожидаете улучшения на 10–20 %, то для надёжного вывода нужно сотни принятых заявок на вариант; если на 50 % и больше, хватит меньше. Поэтому заранее решите, какой эффект вам важен, и оцените бюджет теста. Если бюджета не хватает, тестируйте крупные изменения, а мелкие правки внедряйте без теста, как гипотезы по здравому смыслу.
Проверка значимости без сложной статистики
Для долей (например, апрува или CR) можно воспользоваться простой оценкой погрешности. Если доля p измерена на n наблюдениях, то стандартная ошибка равна:
SE = √(p × (1 − p) / n)
Условный пример: вариант А даёт CR 4,0 % на 2500 кликах, вариант Б — 4,6 % на 2500 кликах. Стандартная ошибка каждого около 0,39 пункта. Разница 0,6 пункта меньше удвоенной суммарной ошибки (около 0,55 · 2 ≈ 1,1), значит, различие статистически не подтверждено, и вывод «Б лучше» делать нельзя. Для строгой проверки используйте z-тест для двух долей или онлайн-калькулятор значимости, а общее правило такое: доверительные интервалы вариантов не должны сильно пересекаться.
Типичные ловушки
- Подглядывание. Если смотреть на результаты каждый день и остановить тест при первом «значимом» результате, вероятность ложного вывода сильно возрастает. Определите срок или объём заранее.
- Неравные условия. Варианты запускаются в разное время или на разные аудитории.
- Сезонные события. В период теста случился праздник или изменились лимиты оффера.
- Много вариантов. Чем больше вариантов, тем выше шанс случайно найти «победителя».
- Игнорирование апрува. Победитель по CR оказывается хуже по итогу.
Условный пример теста лендингов
Допустим, вы сравниваете два лендинга в одном потоке, по 3000 кликов на вариант. По данным через время зрелости:
| Вариант | Клики | Заявки | CR | Принято | Апрув | Принято на 100 кликов |
|---|---|---|---|---|---|---|
| Лендинг 1 | 3000 | 120 | 4,0 % | 66 | 55 % | 2,2 |
| Лендинг 2 | 3000 | 150 | 5,0 % | 63 | 42 % | 2,1 |
Лендинг 2 выигрывает по CR, но не выигрывает по итогу. Разница 2,2 против 2,1 лежит в пределах случайного шума, то есть различия по итогу нет. Вывод: оставить любой вариант, но проанализировать, почему лендинг 2 привлекает менее качественных людей (возможно, форма слишком простая).
Практическая процедура теста
Чтобы тесты не превращались в хаос, пользуйтесь короткой процедурой. Шаг первый: сформулируйте гипотезу и выберите главную метрику и защитную метрику (ту, которая не должна ухудшиться, например апрув). Шаг второй: оцените нужный объём данных и бюджет, определите срок. Шаг третий: запустите варианты одновременно с равным распределением трафика и зафиксируйте дату старта в заметке. Шаг четвёртый: не меняйте условия до конца теста: не правьте креативы, не меняйте ставки, не добавляйте площадки. Шаг пятый: после завершения подождите зрелости заявок и только затем сравните варианты.
Если по ходу теста случились внешние события (остановка приёма у клиники, исчерпание лимита, праздник), отметьте их и при необходимости исключите затронутые дни из обоих вариантов одинаково.
Последовательные тесты и накопление знаний
Один тест редко решает задачу. Выстраивайте серию: сначала крупная гипотеза (например, формат лендинга), затем более тонкие (заголовок, форма). Ведите реестр тестов: гипотеза, даты, объём, результат, решение. Через полгода реестр показывает, какие типы изменений работают для вашей аудитории, а какие нет, и экономит бюджет на повторные эксперименты. Не забывайте записывать и неудачные тесты: они не менее полезны.
Как внедрять результаты
- Зафиксируйте результат и размер выборки в заметке к офферу.
- Внедряйте победителя на весь поток постепенно, наблюдая за апрувом.
- Если разницы нет, оставляйте более дешёвый или простой вариант.
- Повторяйте тест для новых гипотез, не откладывая выводы на потом.
- Раз в квартал перепроверяйте старых победителей: аудитория и конкуренты меняются.
Вопросы и ответы
Сколько времени должен идти тест?
Пока обе группы не наберут заранее определённый объём данных и заявки не станут зрелыми. Минимум — несколько недельных циклов, чтобы учесть дни недели.
Можно ли тестировать на небольшом трафике?
Можно, но только крупные изменения с ожидаемым значительным эффектом. Для мелких правок данных не хватит.
Что делать, если разницы нет?
Это тоже результат. Оставьте более простой вариант и переходите к следующей гипотезе.
Нужно ли учитывать апрув в тесте креативов?
Да, иначе победит креатив, который собирает много случайных заявок.
Достаточно ли одного теста, чтобы принять решение?
Для крупного эффекта и большой выборки да. Для небольшого эффекта желательно подтвердить результат повторным тестом или более длинным периодом.