Ostrovok Performance Marketing
Тестовое задание · Якубов Марк
Анализ 1 427 414 сессий · Январь–Июнь 2017
Сессий
1.4M
за 6 месяцев
Бронирований
19 761
уникальных
Net комиссия
$495K
с учётом отмен
Средний CR
1.38%
по всем каналам

Разделы отчёта идут в том же порядке, что вопросы в задании: структура трафика → качество → динамика → LTV → стратегия. Чтобы не было разночтений в терминах и моделях атрибуции — в конце добавлен словарь с формулами.

Структура трафика
Распределение сессий и доходность по каналам
Распределение сессий по каналам
Доходность каналов
Канал Сессии CR Доля выручки RPS
brand 545 799 2.71% 75.1% $1.37
metasearch 175 058 1.97% 17.2% $0.98
partners 53 537 1.04% 2.8% $0.51
seo 78 931 0.45% 1.8% $0.22
cpc 574 089 0.11% 3.2% $0.055
Качество трафика
Revenue per session и эффективность субканалов
CPC — 40% трафика, 3.2% выручки. CR в 25 раз ниже brand. Для точной оценки качества нужно получить данные по цене сессии и посчитать ROMI, но при отсутствии этих данных пока опираемся на RPS.
Revenue Per Session — сколько выручки приносит одна сессия
Субканалы — развернуть
Субканал Канал Сессии CR RPS Avg net LTV Median net LTV
gotravelunl Топ CR metasearch 21 108 7.42% $1.86 $26.36 $20.37
vital brand 110 626 4.66% $1.18 $35.04 $23.08
type-in brand 360 784 2.29% $0.58 $32.85 $21.99
email brand 68 343 1.98% $0.50 $29.17 $21.51
hc metasearch 59 894 1.82% $0.43 $24.36 $18.54
cpa-affiliate partners 53 537 1.04% $0.25 $33.58 $21.58
trivago metasearch 94 015 0.84% $0.21 $25.37 $18.33
yandex seo 78 931 0.45% $0.11 $27.47 $20.69
retargeting cpc 3 034 0.33% $18.74 $13.14
sem cpc 571 055 0.11% $0.027 $25.27 $18.89
gotravelunl: CR 7.42% — лучший субканал в датасете. В 3.8× выше среднего по metasearch.
brandСубканалы
СубканалСессииCRRPS
vital110 6264.66%$1.18
type-in360 7842.29%$0.58
email68 3431.98%$0.50
smm6 0460.40%$0.07
metasearchСубканалы
СубканалСессииCRRPS
gotravelunl Топ CR21 1087.42%$1.86
hc59 8941.82%$0.43
trivago94 0150.84%$0.21
cpcСубканалы
СубканалСессииCRRPS
retargeting3 0340.33%
sem571 0550.11%$0.027
CR и объём сессий по устройствам
Mobile конвертирует лучше PC — 1.71% vs 1.31% На первый взгляд кажется, что мобильная версия сайта работает лучше десктопной, но для проверки нужно посмотреть каждый тип устройств в разрезе каналов. Это и проверим на следующем графике.
Состав трафика по каналам внутри каждого устройства
Доля сессий канала от всего трафика устройства
На mobile — 53.7% brand и лишь 19.3% cpc. На PC — наоборот: 48.3% cpc и 32.7% brand. Разница в CR объясняется прежде всего составом трафика, а не качеством мобильной версии. Ниже — сравнение CR одних и тех же каналов в рамках разных устройств. Фактически мобильная посадка конвертит значительно хуже веба.
Устройство Канал Сессии Доля на устройстве CR
Mobilebrand215 36553.7%2.36%
cpc77 56119.3%0.07%
metasearch70 62817.6%2.29%
seo20 1555.0%0.26%
partners17 4784.4%0.31%
PCcpc447 30148.3%0.12%
brand302 91832.7%3.03%
metasearch91 3029.9%1.81%
seo51 9645.6%0.53%
partners32 8433.5%1.48%
Tabletcpc49 22749.3%0.05%
brand27 51627.5%1.82%
metasearch13 12813.1%1.38%
seo6 8126.8%0.34%
partners3 2163.2%0.40%
Динамика
Retention по каналам и недельная динамика сессий и CR
Session retention по каналам — доля вернувшихся пользователей
Order retention по каналам — доля покупателей, сделавших повторное бронирование
CPC: session retention 2.2% в M1, order retention 0.16%. Пользователи возвращаются на сайт, но почти никогда не бронируют повторно — разрыв в 14×.
Metasearch: session retention 3.1%, order retention 1.11% — лишь треть возвратов заканчивается покупкой. Brand: сессионный и покупательский retention почти совпадают — кто возвращается, тот и бронирует.
Сессии и CR по неделям — январь–июнь 2017
Гипотеза: пик трафика приходится на июнь, но CR в этот период падает — тогда как март–май дают наилучшую конверсию. Возможно, имеет смысл смещать бюджетные пики на весенний сезон, а не наращивать трафик в июне. Требует проверки: нужны данные по spend и сезонности спроса за несколько лет.
Q: Как оценить качество трафика в разрезе когорт?
LTV и качество пользователей по каналу первого привлечения
Первое бронирование одинаково у всех каналов (~$24–25 net). Вся разница в LTV — только через повторные покупки.
CR × Repeat rate по каналам (размер пузыря = объём трафика)
Лучшие каналы — brand и partners. Оба в правом верхнем квадранте: высокий CR и высокий repeat rate. Brand — лидер по обоим показателям и по объёму. Partners неожиданно близко к brand по retention (9.8% vs 12.2%) при CPA-модели оплаты.
Худший — cpc. Самый большой пузырь, но левый нижний угол: CR 0.11%, repeat rate 1.4%. Огромный объём трафика не конвертируется и не возвращается. Metasearch — в середине: конверсия есть, но лояльности нет.
LTV по каналу первого привлечения
Канал Покупателей Доля с повторной покупкой Avg net LTV Median net LTV
brand 11 230 12.2% $33.15 $22.32
partners Неожиданно высокий retention 409 9.8% $33.58 $21.58
seo 321 4.7% $27.47 $20.69
metasearch 3 326 3.2% $25.49 $19.16
cpc 624 1.4% $25.18 $18.72
Partners: repeat rate 9.8% — почти как brand. CPA-модель: платим только за состоявшееся бронирование. Partners выглядит как топ-кандидат на масштабирование по этим метрикам, но для финального решения нужно получить стоимостные метрики (CPA) по всем каналам.
Стратегия
Ответы на вопросы тестового задания
Q1: Каких данных критически не хватает?
💰
Стоимость трафика (spend)
Главный недостаток датасета. Без стоимостных показателей невозможно принимать никакие решения
🔍
Микроконверсии
Бронирование без оплаты, переход на выбор даты и т.д. Позволят оценить точки отвала и искать их причины
🗺️
Параметры поиска
Destination, даты, кол-во гостей — сегментация по намерению
📅
История до периода
Новый ли пользователь в январе или returning — чистота когортного анализа
🏨
Тип бронирования
Сегмент отеля, направление — для понимания ценности аудитории канала
Как действовать без данных:
  • Использовать RPS как прокси доходности канала
  • Ранжировать по CR + repeat rate — два независимых сигнала качества
  • Ориентироваться на LTV как показатель долгосрочной доходности. Более высокий LTV позволяет окупаться при более высоком CPA
Q2: Атрибуция и Customer Journey
Сравнение моделей атрибуции
Канал Last paid Last-click Linear Time decay
brand 69.3% 71.1% 71.0% 71.0%
metasearch 21.7% 20.6% 20.6% 20.6%
cpc 4.5% 3.9% 4.0% 4.0%
partners 2.7% 2.5% 2.4% 2.4%
seo 1.8% 2.0% 2.0% 2.0%
Last paid — единственная модель с заметным расхождением. Системно занижает brand (−1.8 пп) и seo (−0.2 пп), завышает metasearch (+1.1 пп) и cpc (+0.6 пп, рост на 15%). Механика понятна: last paid игнорирует органику и direct, отдавая кредит последнему платному касанию — то есть каналам, за которые платишь. Три остальные модели дают практически идентичный результат: пути слишком короткие, чтобы выбор модели имел значение.
Методы оценки верхнеуровневых каналов
1
Geo-holdout тест Отключить brand в тестовых регионах — измерить реальный инкремент. Альтернатива — тест почасовым миганием
2
Post-purchase survey "Как впервые узнали об Ostrovok?" — прямой сигнал brand awareness
3
View-through attribution Конверсии от показов, не кликов — важно для медийки
4
Data-Driven attribution При 10k+ конверсий/мес платформы дают алгоритмическую модель
5
Эконометрические оценки Оценить корреляции показателей медийки (показы, охваты) с трафиком и конверсиями других каналов (главным образом brand и SEO)
Q3: Ранжирование каналов по качеству
По трём метрикам из данных: CR + Repeat rate + Net LTV
1
brand
CR 2.71% · Repeat 12.2% · LTV $33
1
partners
CR 1.04% · Repeat 9.8% · LTV $34 CPA
3
seo
CR 0.45% · Repeat 4.7% · LTV $27
4
metasearch
CR 1.97% · Repeat 3.2% · LTV $25
5
cpc
CR 0.11% · Repeat 1.4% · LTV $25
brand ≈ partners  >>  seo  >  metasearch  >>  cpc
Q4: Куда вложить $100 000
Важная оговорка. В данных нет стоимостных показателей (spend, CPA, CPM) и нет понимания текущей ёмкости каналов. В реальной практике рекомендации о распределении бюджета без этих данных невозможны. Приведённое ниже распределение — аналитическое упражнение на основе CR, RPS, LTV и repeat rate, но не операционное решение.
Масштабируемые каналы — приоритет заливки бюджетом
Исключены неуправляемые через бюджет каналы: SEO yandex, type-in, email
# Субканал Канал RPS CR Repeat rate Median LTV
1 gotravelunl metasearch $1.86 7.42% 4.4% $20.37
2 vital brand $1.18 4.66% 13.3% $23.08
3 hc metasearch $0.43 1.82% 2.6% $18.54
4 cpa-affiliate partners $0.25 1.04% 9.8% $21.58
5 trivago metasearch $0.21 0.84% 1.4% $18.33
6 smm brand $0.07 0.40% 4.2% $15.18
7 retargeting cpc $0.056 0.33% 0.0% $13.14
8 sem cpc $0.027 0.11% 1.5% $18.89
Каналы отранжированы по RPS — прямому прокси доходности сессии без данных по расходам. Repeat rate показан отдельно как второе измерение качества. Логика заливки бюджетом: сверху вниз, в соответствии с потенциальной ёмкостью каждого канала — до насыщения переходим к следующему.
Исключены из таблицы — не масштабируются бюджетом:
  • type-in, yandex (seo) — органический трафик, прямые заходы
  • email — работает на существующей базе, почти не зависит от бюджета, поэтому не рассматривается как инструмент масштабирования. Если есть ёмкость — заливать надо, но чаще всего на практике дополнительной быстрой ёмкости в деньгах почти нет
  • SEO-канал — долгосрочная инвестиция, не реагирует на увеличение бюджета в моменте
Словарь терминов
Метрики, модели атрибуции и когортные понятия, используемые в отчёте
Метрики эффективности
ТерминРасшифровкаКак считается / что значит
CR Conversion Rate Бронирования / Сессии × 100%. Доля сессий, завершившихся бронированием
RPS Revenue Per Session Net комиссия / Сессии. Сколько чистой выручки приносит одна сессия канала
LTV Lifetime Value Суммарная чистая выручка от одного пользователя за весь период. Здесь: avg net commission × (1 + retention M1 + M2 + … + M5)
CPA Cost Per Acquisition Стоимость привлечения одного покупателя. В датасете нет данных по расходам — не считался
ROAS Return on Ad Spend Выручка / Рекламные затраты. Не считался — нет данных по spend
Net комиссия Чистая комиссия commission_usd × (1 − cancellation_prediction) — ожидаемая выручка с поправкой на риск отмены
Gross комиссия Валовая комиссия commission_usd без поправки на отмены
Repeat rate Доля повторных покупок % покупателей канала, совершивших хотя бы 2 бронирования за наблюдаемый период
Атрибуция
Модель / терминЧто значит
Last-click 100% кредита — последней сессии перед бронированием, независимо от канала
Last paid 100% кредита — последнему платному каналу в пути. Органика и direct игнорируются — brand и SEO системно занижены
Linear Кредит делится поровну между всеми касаниями в пути до конверсии
Time decay Кредит распределяется с нарастающим весом в пользу более поздних касаний
Assist rate Доля конверсионных путей, где канал встречался, но не был последним. SEO assist rate 20% — присутствует в каждой пятой конверсии, но кредит по last-click не получает
Incrementality test Geo-holdout эксперимент: отключить канал в тестовых регионах и измерить реальные потери в бронированиях — единственный способ измерить инкрементальный вклад
Когортный анализ
ТерминЧто значит
Когорта Группа пользователей, привлечённых в одном месяце. Когорты позволяют сравнивать поведение пользователей с учётом «возраста» — сколько прошло с момента привлечения
Retention M1, M2… Доля пользователей из когорты, вернувшихся через 1, 2… месяцев после первого визита
Session retention Доля вернувшихся на сайт — не обязательно с бронированием. Отличается от repeat rate
Repeat rate Доля пользователей, совершивших повторное бронирование. Более жёсткий сигнал лояльности, чем session retention
Browsing ≠ покупка Возврат на сайт (session retention) не равен повторному бронированию. Metasearch возвращает пользователей чаще partners, но повторных покупок у partners в 3× больше
cancellation_prediction Модельная вероятность отмены для каждого бронирования (0–1). Используется для расчёта net комиссии. Чем выше — тем рискованнее бронирование с точки зрения выручки