Как проверить MMM-модель перед распределением бюджета

Моделирование маркетингового микса помогает оценить, как рекламные каналы, сезонность, цены, акции и другие факторы связаны с продажами на горизонте недель и месяцев.

Но прежде чем делать какие-либо выводы, сначала нужно проверить данные и корректность работы модели.

MMM оценивает вклад каналов на агрегированных данных и помогает принимать стратегические решения о бюджете. Чем этот подход отличается от атрибуции и как оба метода работают вместе, разобрано в статье Как атрибуция дополняет моделирование маркетингового микса.

Что MMM может решить, а чего не может

MMM не работает на уровне отдельных пользователей, объявлений и визитов. Модель видит агрегированную динамику: например, продажи по неделям, расходы на каналы, сезонность, цену и акции.

Поэтому её используют для решений вроде «стоит ли увеличивать бюджет на видео», «где достигнуто насыщение», «какую долю медиамикса безопасно перенести в другой канал». Для оптимизации креативов и кампаний нужны атрибуция, данные рекламных кабинетов и продуктовая аналитика.

МММ, аплифт, инкрементальность: что измеряют и в чём отличия

Пример

Представим две одинаковые группы по 10 000 человек.

В контрольной группе рекламу не показывали, и за неделю купили 100 человек. В тестовой группе рекламу показывали, и купили 115 человек.

Инкрементальность показывает эффект в абсолютном выражении: реклама создала 15 дополнительных покупок.

Аплифт показывает тот же эффект в относительном выражении: конверсия выросла на 15% относительно контрольной группы. В процентных пунктах рост составил +0,15 п. п.: с 1% до 1,15%.

Если размер тестовой и контрольной групп различается, сравнивать число покупок нельзя. Нужно сначала посчитать конверсию или другой показатель на одинаковую единицу аудитории, а затем оценивать разницу.

MMM решает более глобальную задачу. На основании нескольких лет данных модель оценивает, какой вероятный дополнительный вклад в общие продажи могли дать Директ, VK, медийная реклама, сезонность, акции и другие факторы.

Инкрементальность – дополнительный результат, который создала реклама. Аплифт – величина этого результата в процентах. MMM – метод, который оценивает вероятный инкрементальный вклад крупных каналов по историческим данным.

С чего начинается проверка: данные

Качество выводов любого инструмента, будь то атрибуция или МММ, всегда зависит от того, какие данные попали в модель и как они были собраны.

Если в период роста продаж одновременно выросли бюджет, скидка и наличие товара, модель должна видеть все три изменения. Иначе она может приписать рекламному каналу эффект акции или восстановления остатков.

Перед запуском нужно проверить:

• Есть ли у KPI единое определение на всём периоде
• Зафиксированы ли изменения цен, промо, ассортимента и доступности товара
• Не менялись ли правила разметки каналов, цели в Метрике или статусы сделок в CRM

Если на любой из вопросов ответ отрицательный, сначала нужно исправить данные. Проверка модели не компенсирует пропуски во входной информации.

Сколько истории и детализации нужно

У MMM нет единого минимального объёма данных для любого бизнеса. На достаточность влияют число каналов, наличие регионального разреза, сезонность, длина цикла сделки и количество независимых изменений в расходах.

Как ориентир:

Как понять, что данных достаточно

• есть непрерывная история без крупных провалов
• расходы по каналам менялись независимо друг от друга
• продажи и выручка собраны по единым правилам
• известны периоды промо, смены цен и дефицита товара
• число каналов соответствует объёму данных

Как понять, что данных пока мало

• в распоряжении только несколько месяцев истории
• почти все каналы запускаются одновременно
• часть расходов известна только по медиаплану, а не по факту
• выручка в CRM регулярно корректируется задним числом
• в одной переменной смешаны несколько разных по роли каналов

Если исходные данные доступны по дням или неделям, для MMM лучше собрать их в недельный разрез. Если история есть только по месяцам, искусственно дробить её на недели нельзя. В этом случае модель строят на месячных данных, используют более длинную историю и не пытаются отдельно оценивать множество небольших каналов.

Проверка на отложенной выборке: что она показывает

Проверка на отложенной выборке отвечает на вопрос, сможет ли модель адекватно описать часть продаж, которых она не видела при обучении.

Представим, что у компании есть три года недельных данных по 20 регионам. Для проверки из расчёта временно убирают фактические продажи части наблюдений: например, продажи в Красноярске за несколько недель весны, в Новосибирске за отдельные недели лета и в Екатеринбурге за часть осени.

Расходы на рекламу, акции, цены и другие факторы для этих недель модель по-прежнему видит. Но реальные продажи в выбранных точках ей не показывают. После расчёта сравнивают, насколько её оценка совпала с фактом.

Например, модель оценила, что в выбранных регионах и неделях выручка должна составить 11,7 млн рублей. Фактическая выручка оказалась 12 млн. Разница небольшая. Если же модель прогнозирует 8 млн вместо 12 млн, она плохо описывает данные и на её выводы о бюджете нельзя полагаться.

Отложенные наблюдения лучше распределять по разным периодам и, если модель строится по регионам, по разным регионам. Так проверяется, работает ли модель не только в одном типе периода или на одной территории.

Для оценки результатов используют три метрики.

R² показывает, улавливает ли модель общую динамику продаж. Значение 1 означает идеальное совпадение; 0 – что модель не лучше простого прогноза по среднему; отрицательное значение – что она хуже такого прогноза.

Если R² = 0,8, модель в целом хорошо замечает, когда продажи растут, падают или достигают сезонного пика, и делает это гораздо лучше среднего прогноза. Но это не значит, что модель точна на 80% – R² не показывает размер ошибки ни в рублях, ни в процентах.

Метрика показывает ровно одно: насколько MMM уменьшила ошибку относительно прогноза «продажи в каждую неделю равны среднему значению за всю историю».

Например, фактическая выручка за три недели составила 100, 200 и 300 млн рублей. Простой прогноз каждый раз ставит 200 млн: он ошибается на 100 млн в первую неделю и на 100 млн в третью. MMM прогнозирует 140, 200 и 260 млн. Она хорошо улавливает общий рост продаж и намного лучше среднего прогноза, поэтому R² у неё будет высоким, около 0,8. Но в первую неделю она всё равно ошиблась на 40 млн рублей, или на 40%.

То есть высокий R² говорит: модель лучше простого прогноза объясняет, почему продажи в разные недели различаются. Но он не отвечает на вопрос, велика ли ошибка в рублях или процентах. Для этого дополнительно смотрят MAPE и wMAPE.

MAPE и wMAPE измеряют ошибку в процентах, но считают её по-разному.

MAPE берёт среднее двух процентных ошибок:

(2,5% + 25%) / 2 = 13,75%

Для MAPE обе недели равны по весу. Ошибка в небольшой неделе с выручкой 2 млн влияет на итог так же, как ошибка в неделе с выручкой 20 млн.

wMAPE сначала складывает ошибки в рублях, а затем делит их на общую фактическую выручку:

(500 тыс. ₽ + 500 тыс. ₽) / (20 млн ₽ + 2 млн ₽) × 100% = 4,5%

wMAPE показывает, какую долю от всего результата за период модель не смогла объяснить. Метрика обычно полезнее, когда решение связано с общим объёмом выручки и распределением маркетингового бюджета.

• MAPE отвечает на вопрос: Насколько модель в среднем ошибается в типичной неделе?

• wMAPE отвечает на вопрос: Какую долю от всей выручки за период составляет ошибка модели?

Ни одна из метрик сама по себе не подтверждает, что MMM правильно оценила вклад отдельных каналов. Они показывают только то, насколько правдоподобно модель описывает общий KPI.

У этих метрик нет универсального проходного значения. Ошибка в 10% может быть приемлемой для одной компании и слишком высокой для другой. Оценивать нужно вместе с ценой решения: насколько дорого бизнесу обойдётся неверный перенос бюджета.

Хорошая проверка на отложенной выборке показывает, что модель в целом не разваливается на новых данных. Но она не доказывает, что MMM может надёжно оценить отдельный инкрементальный эффект каждого канала.

Если Директ, VK и медийка всегда запускаются и меняют бюджеты одновременно, в исторических данных нет достаточного сигнала, чтобы отделить их влияние друг от друга. Модель может неплохо описывать общую выручку, но давать широкий и ненадёжный диапазон ROI по каждому из этих каналов.

В такой ситуации нужны периоды, когда бюджеты каналов менялись независимо друг от друга, или специально поставленный инкрементальный тест. Региональный разрез помогает только тогда, когда между регионами есть такие независимые различия.

Почему высокий R² не подтверждает ROI канала

Представим, что в высокий сезон компания одновременно увеличила бюджет на Директ, VK Ads и медийную рекламу. Продажи выросли.

Модель может хорошо повторить рост общей выручки и показать высокий R². При этом ей всё равно сложно понять, сколько продаж принесла медийка, сколько Директ, а сколько объясняется сезонностью и скидкой.

Особенно рискованны два сценария:

• два канала всегда растут и снижаются одновременно
• канал почти не менял расходы на протяжении всей истории

В первом случае эффект можно ошибочно перенести с одного канала на другой. Во втором у модели почти нет материала, чтобы понять, как продажи менялись при разных уровнях расходов.

Чтобы избежать искажений, надо заранее понять, были ли у каналов разные периоды работы: например, когда рос бюджет в Директе, а VK и медийка не менялись. Только тогда модель сможет оценить каждый канал отдельно.

Калибровка: как связать MMM с результатом инкрементального теста

Инкрементальный тест помогает проверить вывод модели внешним наблюдением.

Например, MMM оценила ROI медийного канала в 2,8. Затем компания провела geo-тест: в части сопоставимых регионов реклама шла, в других нет. Тест показал более скромный, но положительный эффект.

Это не означает, что число 2,8 нужно автоматически заменить на результат geo-теста. У теста и MMM могут отличаться период, география, бюджет, аудитория и определение KPI.

Но расхождение – повод проверить модель:

• не смешала ли она эффект медийки с сезонностью
• учла ли изменение цены или акции
• соответствует ли канал в MMM тому, что реально проверял тест
• не применяет ли модель результат короткого теста ко всему историческому периоду без оговорок

Результат теста нужен для проверки МММ. Разницу между распределением атрибуционного вклада и реальным приростом продаж разбирает статья «Атрибуция и инкрементальность: различия и применение».

Как читать неопределённость в результате

В MMM нельзя принимать решение только по одной цифре ROI.

Корректный результат выглядит как диапазон значений, в котором показатель может находиться с учётом данных и предположений модели.

Неопределённость не делает MMM бесполезной. Она показывает, насколько крупное решение можно принимать на основании текущих данных.

Если модель уверенно отделяет три крупных канала, но не может различить два небольших похожих источника, можно использовать её для первого решения и не использовать для второго.

Проверка adstock и насыщения

MMM обычно учитывает два эффекта, которые не видны в простом отчёте по расходам.

Adstock показывает, что реклама может продолжать влиять на спрос после окончания размещения. Например, видео или охватная кампания закончилась в пятницу, а часть спроса пришла в следующие недели.

Насыщение показывает, что при росте расходов каждая следующая сумма бюджета может давать всё меньший прирост результата.

Оба эффекта нужно проверять не только математически, но и по бизнес-логике.

Если модель показывает, что короткая промокампания влияет на продажи полгода, это повод перепроверить параметры. Если канал с небольшими расходами якобы достиг насыщения раньше крупного охватного размещения, нужно убедиться, что модель не компенсирует нехватку данных необычной формой кривой.

Сверяйте результат с историей кампаний:

• как быстро менялись продажи после роста бюджета
• сохранялся ли эффект после отключения канала
• были ли периоды с разными уровнями расходов
• не совпадали ли пики с акциями, праздниками или дефицитом товара

Можно ли собрать MMM на данных Яндекса, VK и CRM

Да. MMM не требует пользовательских идентификаторов и не зависит от конкретной зарубежной рекламной платформы. Ей нужны согласованные агрегированные данные.

Данные можно собирать через API, регулярные выгрузки или единое хранилище. Главное требование – одинаковый временной разрез и единый справочник каналов.

Автоматическая выгрузка не равна готовой MMM. После сбора данные нужно проверить на пропуски, дубли, изменение правил учёта и несопоставимые периоды.

Когда MMM лучше не запускать

Не стоит начинать с MMM, если:

• истории меньше года и нет регионального разреза
• все каналы всегда работают одновременно
• компания не может назвать единый KPI для модели
• часть продаж не попадает в CRM или регулярно меняется задним числом
• неизвестно, когда менялись цены, скидки, ассортимент и наличие товара
• от MMM ожидают ответ на уровне конкретного объявления или креатива
• бюджет планируют перераспределять резко, не оставляя возможности проверить решение на следующем периоде

В этих случаях сначала полезнее привести в порядок сквозную аналитику, собрать единый слой данных и провести несколько точечных инкрементальных тестов.

Что проверить перед переносом бюджета

Перед тем как менять медиамикс, проверьте:

• KPI в модели совпадает с показателем, по которому бизнес реально принимает решение
• расходы, выручка и внешние факторы собраны в одном временном разрезе
• в истории есть независимые изменения бюджетов по ключевым каналам
• результат проверен на отложенной выборке
• высокий R² не используется как единственное доказательство качества
• выводы модели сверены с доступными lift- или geo-тестами
• для каждого крупного канала есть диапазон неопределённости, а не одна цифра ROI
• форма adstock и насыщения не противоречит истории кампаний
• бюджет переносится поэтапно, с заранее определённой проверкой результата

Заключение

MMM – высокоуровневый подход к аналитике маркетинга. Он работает только при том условии, что бизнес понимает границы модели и использует её вместе с данными CRM, атрибуцией и экспериментами.

Если у вас уже есть история расходов и продаж, но решения о бюджете пока строятся на разрозненных отчётах, запишитесь на демо CyberBrain – мы всегда вам рады!