Лидпульт
Аналитика

Сравнение источников по итогу: какую метрику выбрать

Источник с самым большим числом заявок часто проигрывает по деньгам. Показываем, какие метрики подходят для честного сравнения источников и как не запутаться в разных этапах воронки.

· 5 мин чтения

Почему заявки не годятся как мерило

Заявка — самый ранний сигнал воронки. Он легко накручивается упрощением формы, привлекательным обещанием и широким таргетингом. Поэтому число заявок почти ничего не говорит о ценности источника. Для сравнения нужны метрики, стоящие ближе к деньгам: принятые заявки, визиты, покупки. Каждая из них ближе к цели, но приходит позже, и компромисс между скоростью и точностью нужно выбирать осознанно.

Лестница метрик

МетрикаЧто показываетКогда доступнаРиск
CR в заявкупривлекательность лендингасразулегко накрутить
Принятых на 100 кликовкачество с точки зрения клиникипосле обзвоназависит от скорости клиники
Визитов на 100 заявокготовность прийтипосле приёмапоздно
Покупок на 100 заявокитоговая ценностьпосле визитовсамая поздняя

Выбирайте самую дальнюю метрику, для которой у вас уже достаточно данных, и используйте ближние как опережающие сигналы.

Нормировка по затратам

Чтобы сравнивать источники с разной ценой трафика, нормируйте результат на расходы:

Принятых на единицу бюджета = принятые заявки / расходы

Стоимость принятой заявки = расходы / принятые заявки

Для клиники аналог — стоимость пациента: расходы на заявки, делённые на число купивших. Сравнивайте источники именно по ней, а не по цене заявки (подробнее в статье про стоимость пациента).

Условный пример сравнения

Три источника, одинаковый период, бюджет по 100 единиц, зрелые данные.

ИсточникЗаявокПринятоПринято на 1 единицу бюджетаВизитов
А120360,3625
Б200400,4018
В80320,3226

По заявкам лидирует Б, по принятым тоже Б, но по визитам ведут В и А. Если клиника оценивает пациентов, Б хуже по итогу. Решение зависит от того, что для вас конечная цель: для вебмастера, получающего выплату за принятые заявки, Б выгоднее, а для долгосрочных отношений с клиникой — А и В.

Статистическая надёжность

Различия между источниками могут быть случайными. Прежде чем отказываться от источника, проверьте, не укладывается ли разница в шум. Если принятых заявок у каждого источника по 10–15, то разница в 2–3 заявки ничего не значит. Накапливайте больше данных либо объединяйте периоды. Для формального сравнения используйте подход из статьи о значимости в A/B-тестах.

Лучший источник сегодня не обязательно лучший через месяц: качество трафика меняется со временем, поэтому сравнение нужно повторять.

Учёт ограничений источника

  • Ёмкость: источник может давать хороший результат только до определённого объёма.
  • Стабильность: показатель колеблется от недели к неделе или стабилен.
  • Совместимость с лимитами оффера и городов.
  • Риск: доля подозрительных заявок и отмен вида «не оставляла заявку».

Источник с чуть худшим результатом, но с большой ёмкостью и стабильностью, может быть ценнее маленького «звёздного». Оценивайте оба фактора.

Как оформить сравнение

  1. Выберите период, достаточный для зрелости данных.
  2. Задайте одинаковые условия: оффер, города, лендинг.
  3. Составьте таблицу по лестнице метрик.
  4. Отметьте размер выборки по каждому источнику.
  5. Примите решение: масштабировать, оставить, переделать, отключить.
  6. Запишите вывод и дату, чтобы вернуться к нему при следующем сравнении.

Пример решения по таблице

Вернёмся к условному примеру. Вы вебмастер и распределяете следующий бюджет между тремя источниками. Источник Б даёт максимальный объём принятых заявок, но худшее качество по визитам. Источник В маленький, но с высоким качеством. Разумное решение: Б оставить как основной по объёму при условии стабильного апрува, В увеличить на небольшой шаг и проверить, сохранится ли качество при росте, А держать как резерв. Если клиника поделится данными о визитах, вы сможете скорректировать креативы Б, чтобы приводить более мотивированных людей. Если нет, ориентируйтесь на принятые заявки и их стабильность.

Для клиники решение выглядит иначе: приоритет источникам с лучшей стоимостью пациента, а Б нужно либо улучшить, либо ограничить лимитами.

Сравнение внутри одного потока

Иногда нужно сравнить не источники, а варианты внутри одного потока: два лендинга, два креатива, две аудитории. Здесь важно соблюдать равные условия: одинаковое время показа, одинаковый бюджет, одно гео. Для лендингов в потоке доступен сплит-тест, результат которого считайте по принятым заявкам на 100 кликов. Если вариант выигрывает по CR, но проигрывает по апруву, победителя определяйте по итоговой метрике. Иначе вы выберете лендинг, который привлекает случайные заявки.

Подводите итоги только после того, как заявки обеих групп достигли зрелости.

Что делать с сезонностью и событиями

Источник может выглядеть хуже просто потому, что его период пришёлся на сезонный спад или на изменение лимитов клиники. Прежде чем сравнивать, убедитесь, что периоды сопоставимы: одинаковые дни недели, нет праздников у одного и не у другого, лимиты и паузы оффера одинаковые. При возможности сравнивайте источники параллельно, а не последовательно: тогда внешние факторы действуют на всех одинаково.

Единая таблица источников для регулярного пересмотра

Заведите постоянную таблицу, в которой каждому источнику соответствует строка, а каждому периоду столбец. В ячейках храните не только итоговую метрику, но и размер выборки и дату последнего пересмотра. Раз в две недели просматривайте строки: источники со стабильно высоким показателем получают больше бюджета, с падающим попадают под наблюдение, с низким и нестабильным отключаются. Такая рутина занимает немного времени и сильно снижает риск держать слабый источник просто по привычке.

Добавьте столбец «гипотеза»: что вы собираетесь изменить в источнике и к какой дате ожидаете результат. Без гипотезы пересмотр превращается в наблюдение, а с ней — в эксперимент.

Когда сравнение невозможно

Бывают ситуации, когда честное сравнение источников недоступно: объёмов слишком мало, периоды несопоставимы, данные по итогам неполные. Тогда лучше признать, что вывода пока нет, и продолжить сбор данных, чем принимать решение по случайным цифрам. Малый объём можно компенсировать объединением периодов, но не смешивайте периоды разных сезонов без поправок.

Ошибки сравнения

  • Сравнивать источники с разными офферами и гео.
  • Брать разные периоды зрелости.
  • Оценивать по заявкам или CR.
  • Игнорировать размер выборки.
  • Не учитывать ёмкость и риск.

Вопросы и ответы

Что лучше для сравнения: принятые заявки или визиты?

Если данные по визитам есть и их достаточно, они ближе к ценности. Принятые заявки полезны как более ранний сигнал.

Как сравнивать источники с разной стоимостью клика?

Нормируйте результат на расходы: принятые заявки на единицу бюджета или стоимость принятой заявки.

Сколько данных нужно, чтобы сравнить два источника?

Достаточно, чтобы разница не объяснялась шумом: несколько десятков итогов на источник и зрелые когорты.