Метрики инкрементальности

В отдельной статье мы сравнили атрибуцию и инкрементальность и разобрали, когда применять каждый из подходов. Теперь подробнее остановимся на метриках инкрементальности — что они показывают, как их считать и как правильно интерпретировать результаты тестов.

Incremental Conversions (инкрементальные конверсии)

Это количество дополнительных действий (покупок, заявок, регистраций), которые появились именно из-за рекламы.

• Если тестовая и контрольная группы одинакового размера:
  считаем разницу в конверсиях.
  Пример: в контрольной группе — 100 покупок, в тестовой — 130. Кампания принесла 30 дополнительных покупок.

• Если группы разного размера:
  сравнивать «голые» числа нельзя — нужно смотреть процент конверсии (CR).
  Пример: в тесте 10 000 пользователей и 130 покупок (CR = 1,3 %), в контроле 8 000 пользователей и 80 покупок (CR = 1 %).
  Разница в конверсии = 0,3 п. п. (процентных пунктов). Это и есть инкрементальный эффект: на каждую 1000 пользователей реклама дала +3 дополнительных покупки.

Incrementality Rate (уровень инкрементальности)

Показывает, какую часть конверсий можно отнести именно на счёт рекламы.

• Если группы равны по размеру:
  Incrementality Rate = Incremental Conversions / Conversions in Test Group

• Более универсальный способ — через конверсионные ставки (CR):
  Incrementality Rate = (CR_test − CR_control) / CR_test
  Этот вариант показывает долю всех конверсий в тесте, которые связаны с рекламой.

• Иногда используют другое определение:
  Incrementality Rate = (CR_test − CR_control) / CR_control
  В этом случае показатель отражает относительный прирост конверсий по сравнению с контролем.

Пример:
В тесте 10 000 пользователей и 130 покупок (CR = 1,3 %).
В контроле 8 000 пользователей и 80 покупок (CR = 1 %).

• По первой формуле: (1,3 % − 1 %) / 1,3 % ≈ 23 %. Значит, почти четверть конверсий в тестовой группе связана с рекламой.

• По второй формуле: (1,3 % − 1 %) / 1 % = 30 %. Это относительный прирост конверсий по сравнению с контролем.

Важно: нужно выбрать одну формулу и использовать её последовательно, чтобы метрики были сопоставимы между кампаниями.

Lift % (лифт, относительное увеличение)

Показывает в процентах, насколько результат в тестовой группе оказался больше, чем в контрольной.

• Если группы одинакового размера:
  Lift % = (Test Conversions − Control Conversions) / Control Conversions × 100%

• Если группы разного размера:
  Lift % = (CR_test − CR_control) / CR_control × 100%

Пример:

• В тесте и контроле по 10 000 пользователей: 130 покупок против 100 → лифт = (130 − 100) / 100 × 100% = +30 %.

• Если в тесте 10 000 пользователей и 130 покупок (CR = 1,3 %), а в контроле 8 000 пользователей и 80 покупок (CR = 1 %), то лифт = (1,3 % − 1 %) / 1 % = +30 %.

Важно: маленький лифт (например, +5 %) может оказаться статистически незначимым, если минимально детектируемый эффект (MDE) для данного теста выше. В таком случае нельзя уверенно сказать, что рост связан с рекламой.

MDE (Minimum Detectable Effect)

Это минимальный прирост, который можно статистически подтвердить при заданных размере выборки, длительности теста, мощности (обычно 80 %) и уровне значимости (обычно 5 %).
Если реальный эффект меньше MDE, то данные не позволяют отличить его от случайных колебаний.

Пример: если разница между группами всего 5 %, а MDE = 10 %, то тест не покажет значимого эффекта — выборка слишком маленькая или тест идёт слишком мало времени.

Incremental ROAS (iROAS)

Обычный ROAS (Return on Ad Spend) показывает, сколько рублей принёс каждый рубль рекламы.
iROAS — то же самое, только считается не по всем продажам, а только по дополнительным.

Формула:
iROAS = Incremental Revenue / Ad Spend

Пример: кампания стоила 100 000 ₽, принесла дополнительно 300 000 ₽ → iROAS = 3. То есть на каждый рубль рекламы бизнес получил 3 рубля «чистого» дохода.

Incremental CPA (стоимость инкрементальной конверсии)

CPA (Cost per Action) — это цена за одно целевое действие. Incremental CPA показывает, сколько реально стоила каждая дополнительная заявка.

Формула:
Incremental CPA = Ad Spend / Incremental Conversions

Пример: бюджет 100 000 ₽, прирост = 30 заявок → каждая дополнительная заявка обошлась в 3 333 ₽.

Важно: иногда метрики iROAS и Incremental CPA считают не только на основе выручки, но и на основе прибыли (например, incremental profit / spend). Это зависит от внутренних правил компании. Главное — сравнивать каналы и кампании по одной и той же базе расчёта.

Таким образом:

• Incremental Conversions и Lift % отвечают на вопрос, сколько дала реклама в абсолюте и в процентах.

• iROAS и Incremental CPA показывают экономическую эффективность именно прироста.

• MDE помогает понять, когда эффект маленький и статистически неотличим от случайности.