Ретест связок: как перепроверять гипотезы
Связка, которая не сработала три месяца назад, может сработать сегодня: изменились сезон, конкуренты, ставки, оффер. А рабочая связка может незаметно выгореть. Ретест превращает эти наблюдения в систему. Разбираем, когда и как перепроверять.
Что такое ретест и чем он отличается от первого теста
Ретест — повторная проверка связки, которую вы уже запускали. Цель разная: подтвердить, что рабочая связка всё ещё работает, или выяснить, не изменились ли условия для связки, которую вы закрыли.
Первый тест отвечает на вопрос «есть ли что-то». Ретест отвечает на вопрос «осталось ли оно». Для этого вам нужны записи первого теста: параметры, бюджет, результаты. Без них сравнивать нечего. Именно поэтому в статье про тестовый бюджет мы советовали документировать каждый запуск.
Когда делать ретест
| Ситуация | Зачем ретест |
|---|---|
| Прошёл сезон | Проверить закрытую связку в другом периоде |
| Изменился оффер: выплата, лимиты, условия | Пересчитать экономику |
| Связка стабильно работала и вдруг просела | Понять, выгорание это или внешние причины |
| Появились новые инструменты таргетинга или форматы | Проверить новые возможности на старой идее |
| Прошло несколько месяцев после закрытия | Аудитория и конкуренция могли смениться |
Не повторяйте ретест слишком часто и без причины: каждый тест стоит денег.
Как подготовить ретест
- Найдите записи первого теста: оффер, гео, источник, креативы, метки, итоги.
- Определите, что изменилось с тех пор: сезон, оффер, источник, ваши знания.
- Сформулируйте гипотезу: почему результат может быть иным.
- Решите, что оставить прежним для сопоставимости, а что поменять.
- Определите бюджет и критерии остановки заранее.
Если вы поменяете сразу несколько параметров, вы не поймёте, что именно повлияло на результат. Меняйте один-два.
Что сравнивать
- Цену сырой заявки и конверсию лендинга.
- Апрув по подстатусам.
- Цену принятого лида и ROI.
- Скорость набора заявок относительно лимита.
- Долю отмен по причинам.
Ретест рабочей связки
Рабочие связки тоже нужно проверять. Раз в некоторый период запускайте параллельно «контрольную» версию (прежние креативы и настройки) и «экспериментальную» (с одним новым элементом). Так вы видите, держит ли прежняя версия показатели и есть ли резерв улучшений.
Если контрольная версия просела, а экспериментальная нет, у вас готовая замена. Если просели обе, причина, вероятно, в оффере, сезоне или рынке. Проверьте условия оффера и динамику по другим связкам.
Ретест закрытой связки
Не воскрешайте закрытые связки вслепую. Спросите себя, почему она провалилась: слабый апрув, дорогой трафик, мало заявок, блокировка. Если причина была в ошибке, которую вы теперь умеете исправить (метки, форма, таргетинг), ретест оправдан. Если причина — структурная нехватка спроса в городе, ждать чуда не стоит.
Закрытую связку проверяйте на небольшом бюджете с чёткими критериями остановки. Помните о правиле: деньги не должны зависеть от упрямства.
Как вести журнал ретестов
| Поле | Что записывать |
|---|---|
| Дата и номер теста | Первый, повторный |
| Параметры | Оффер, гео, источник, креативы |
| Бюджет | Сколько потрачено |
| Результат | Заявки, апрув, цена принятого лида |
| Вывод | Что делаем дальше |
Заметки к офферам в кабинете вебмастера подходят для краткой версии такого журнала. Подробный вариант храните в своей таблице.
Условный пример ретеста за три недели
Допустим, вы закрыли связку по косметологии полгода назад: цена принятого лида оказалась выше выплаты. Сейчас вы решили проверить её снова, учтя два изменения: вы научились ограничивать возраст в таргетинге и добавили проверку телефона в форму. Остальное оставляете прежним.
| Неделя | Действие | Что смотрим |
|---|---|---|
| 1 | Небольшой тест с новыми ограничениями | Доля подстатусов «возраст» и «неверный номер» |
| 2 | Накопление заявок, ожидание итогов обзвона | Апрув по первым зрелым заявкам |
| 3 | Сравнение с результатами первого теста | Цена принятого лида и ROI |
Если улучшение подтвердилось, связку возвращают в работу и осторожно масштабируют. Если нет, закрывают окончательно и фиксируют вывод в журнале: «возвращаться только при изменении условий оффера».
Как не застрять в бесконечных ретестах
Ретест — инструмент, а не привычка. Установите лимит: сколько раз и на какой бюджет вы готовы перепроверять одну и ту же идею. После двух-трёх подтверждённых провалов связка уходит в архив до существенных изменений условий.
Полезно разделять «проверку гипотезы» и «поиск новой гипотезы». Если вы бесконечно возвращаетесь к старой связке, вы тратите время, которое можно потратить на новые идеи. Баланс простой: часть бюджета и внимания идёт на поддержание рабочих связок, часть — на ретесты, часть — на новые эксперименты. Распределение подберите по своим целям и риску.
Роль заметок и записей
Любой ретест начинается с записей. Если вы сохранили параметры первого запуска, повтор занимает час подготовки, а не день восстановления из памяти. Фиксируйте в заметках к офферу и своей таблице: дату, гео, источник, креативы, метки, бюджет и итог. Короткая запись «закрыта из-за низкого апрува по причине возраста» через полгода подскажет, что именно изменить.
Итог по ретесту
Ретест экономит деньги, когда у вас есть записи, ясная гипотеза, ограниченный бюджет и критерии остановки. Он превращает прошлые результаты в рабочий ресурс. Планируйте его после смены сезона и изменений оффера, сравнивайте на сопоставимых периодах и не возвращайтесь к связкам, закрытым из-за нарушений. Так вы не потеряете хорошие идеи и не будете тратить время на заведомо безнадёжные.
Ошибки ретеста
- Сравнивать результаты в несопоставимые периоды без поправки на сезон.
- Менять слишком много параметров сразу.
- Принимать решение по малой выборке.
- Ретестить без записей и каждый раз заново придумывать условия.
- Возвращаться к связкам, которые закрыты по причине нарушения правил.
Связь с сезонностью разобрана в статье про сезонные колебания.
Вопросы и ответы
Как часто делать ретест?
При изменении условий, после смены сезона и при падении показателей. Регулярный контрольный тест рабочих связок раз в несколько месяцев тоже полезен.
Нужно ли тратить на ретест столько же, сколько на первый тест?
Достаточно бюджета, который даёт сопоставимое число событий. Часто он меньше, если вы знаете, что проверяете.
Что если ретест показал другой результат?
Выясните причину: сезон, условия оффера, источник. Не принимайте решение по одному тесту и при необходимости повторите.