Ольга Карпова , редактор CyberBrain

Почему ИИ плох в маркетинговой аналитике и какие бывают исключения

За последние два года LLM показали впечатляющий прогресс в задачах, связанных с текстом и программированием. Разработчики используют ИИ для написания кода, поиска ошибок, генерации тестов и автоматизации рутинных операций. В этих областях эффект от внедрения легко заметить и измерить — писали об этом в предыдущих статьях:

На этом фоне возникает вопрос: почему ML-модели ещё не стали массовыми для таких задач, как рекламная аналитика и оптимизация рекламы? Ведь они приносили бы измеримый бизнес-эффект, помогая экономить бюджеты.

Чтобы понять, почему так происходит, важно разобрать саму природу рекламной аналитики.

Чем аналитика принципиально отличается от кода и текста

С какими задачи LLM справляется хорошо

LLM лучше всего работают в задачах, где существует формальный или полуформальный язык и понятные правила проверки результата. В программировании это очевидно. Код пишется по строгим синтаксическим правилам. У него есть интерпретатор или компилятор, есть тесты, есть инструменты, которые позволяют однозначно сказать, работает решение или нет. Даже если модель ошибается, ошибка проявляется сразу и однозначно.

С текстами ситуация похожая, хотя правила там менее формальные. Письмо, инструкция или статья считаются успешными, если они логично выстроены и решают поставленную задачу. В таких задачах результат оценивается не по критерию «истинно или ложно», а по соответствию ожиданиям и контексту.

Рекламная аналитика устроена иначе

Аналитик работает не с языком и не с правилами, а с наблюдаемыми эффектами. Он видит изменения в метриках и должен понять, какие управляемые причины могли к ним привести. При этом сами причины напрямую не наблюдаются.

Один и тот же сдвиг в показателях может быть вызван сезонностью, изменением аукциона, сменой аудитории, накопленным эффектом медийки, особенностями атрибуции или техническими проблемами в данных. Часто сразу несколькими факторами одновременно.

В отличие от кода, здесь нет инструмента, который позволяет автоматически проверить правильность вывода. Ошибка аналитики не проявляется как моментальный сбой. Она проявляется позже, через деньги и результаты бизнеса, и далеко не всегда её можно однозначно доказать.

Главная проблема: в аналитике нет обучающих примеров мышления

Может показаться, что ИИ в аналитике не хватает данных. На практике данных более чем достаточно: метрики, отчёты, дашборды, выгрузки есть почти у всех. Проблема в другом — почти нет примеров того, как эти данные правильно анализировать.

LLM обучаются на текстах, в которых зафиксировано не только решение, но и ход рассуждений: какие вопросы задавались, какие варианты рассматривались, по каким причинам одни гипотезы отбрасывались, а другие принимались. В программировании таких примеров много. В открытом доступе есть тонны строк кода, обсуждения ошибок, тесты и комментарии. По ним можно восстановить логику, которая привела к итоговому результату, чтобы его повторить.

В рекламной аналитике ситуация иная. Почти нет материалов, где объясняется сам процесс анализа. Почти всегда это отчёты и презентации, которые фиксируют результат: рост или падение показателей, итоговые цифры, верхнеуровневые выводы. Но в них отсутствует главное:

По каким правилам формируются гипотезы
Какие альтернативные объяснения считаются допустимыми
Какие проверки применяются к каждой гипотезе и в каком порядке
По каким критериям гипотезы отбрасываются или принимаются
Какие ограничения делают вывод недопустимым
В каких случаях корректным будет не делать вывод и остановить анализ

Для ИИ это критично. Когда модель видит только итоговые формулировки и ключевые слова (выгорание креатива, сезонность, рост конкуренции), она не понимает, в каких условиях эти объяснения допустимы, а в каких нет. У неё нет примеров, где показано, что сначала проверяется одно, потом другое, а при определённой конфигурации данных корректным будет вообще отказаться от интерпретации и запросить больше информации.

В результате одни и те же метрики допускают несколько возможных объяснений, но правил, по которым можно выбрать корректное, просто нет.

Важно подчеркнуть: это не ошибка ИИ и не недостаток конкретной модели. Это ограничение самой задачи. В рекламной аналитике невозможно однозначно восстановить причину изменений без заранее заданной методологии анализа. Если такой методологии нет в обучающих примерах, ИИ физически неоткуда её взять.

Почему в медийной рекламе проблема LLM проявляется сильнее всего

В медийной рекламе особенно сложно напрямую связать действия и результат из-за ряда особенностей.

Эффект насыщения аудитории

Как правило, в начале кампании охват растёт соразмерно бюджету. Но в какой-то момент частота показов продолжает расти, а вот ценность контактов начинает снижаться. Как искать точку насыщения и не переливать бюджет, подробно разбираем в материале про минимально эффективный бюджет медийных кампаний.

Отложенный эффект влияния медийной рекламы

Пользователь может увидеть рекламу сегодня, а вернуться к бренду через несколько дней или недель, причём через другой канал. Если сравнивать показатели до и после без учёта этой задержки, легко сделать неверные выводы: кампания может выглядеть неэффективной или её вклад будет приписан другим активностям. Такой период перед конверсией называется окном атрибуции. Как с ним работать, чтобы не отключать эффективные кампании раньше времени, рассказываем в этой статье.

Влияние на другие каналы

Наконец, медийная реклама влияет на другие каналы. Рост брендового спроса, изменение поведения пользователей в поиске или ретаргетинге — типичные следствия медийных кампаний. Если анализировать каналы изолированно, вклад медийки либо недооценивается, либо ошибочно приписывается нижним этапам воронки.

Что сделала команда CyberBrain

Все эти эффекты давно известны. Проблема в другом: в открытом доступе нет примеров того, как такие ситуации корректно анализировать шаг за шагом. Большинство материалов ограничиваются описанием результата и набором необоснованных рекомендаций.

Мы пошли от обратного и создали первый в СНГ гайд по оптимизации медийной рекламы. Подробно его логика разобрана в отдельной статье — в конце есть ссылка на бота, забирайте и пользуйтесь.

Как это связано с темой LLM

ИИ плохо работает в маркетинговой аналитике по одной причине: ему не на чем учиться. Наш фрейм оптимизации медийки — единственный в СНГ публичный воспроизводимый алгоритм с последовательными шагами. Пока такие алгоритмы не зафиксированы и не тиражированы, LLM физически не на чем учиться аналитике. Модели видят формулировки и выводы, но не видят процесса, по которому эти выводы получены.

А как тогда работает ML-оптимизатор CyberBrain?

Если вы знакомы с нашей платформой, у вас мог возникнуть вопрос: а как тогда работает оптимизатор бюджетов CyberBrain? Уточним: оптимизатор — это модуль, который работает на базе машинного обучения и занимается автоматической оптимизацией рекламных бюджетов.

Ключевой тезис статьи в том, что ИИ перестаёт адекватно работать в задачах, где ему приходится рассуждать и выбирать объяснение без формальных правил проверки. Оптимизатор CyberBrain работает по другой логике: он построен как формализованный контур оптимизации, который опирается на заранее рассчитанные данные сквозной аналитики и атрибуции.

В нашей системе заранее собрана полная сквозная аналитика от показа до продажи и рассчитана максимально точная data driven атрибуция, которая определяет вклад каждого канала и кампании в итоговый результат. Вся аналитическая часть, необходимая база для корректной работы оптимизатора, уже выполнена — дальше он работает с готовыми расчётами.

Как видите, при наличии должной базы задача оптимизации становится полностью формализуемой. Наш модуль работает с чётко заданными входными данными, целями и ограничениями. В этом смысле процесс оптимизации для него ближе к работе с кодом, чем к рассуждениям: система выполняет расчёт по заданным правилам и получает однозначный результат.

Вывод: при каких условиях LLM в аналитике всё-таки работает

LLM показывают высокую эффективность там, где задача формализуема и результат можно быстро проверить. Но в рекламной аналитике это встречается редко.

Сегодня ИИ полезен прежде всего как инструмент помощи аналитику. Именно так, например, работает наш ИИ Помощник — уникальный продукт для общения с вашими данными и быстрых ответов на вопросы по кампаниям. У него есть свои алгоритмы и логика, но, как и Оптимизатор, он работает на готовом фундаменте из других модулей платформы и данных клиента, по сути просто забирая нужную информацию и выводя её в виде текста, таблиц и графиков.

В итоге работа с LLM в аналитике всё равно должна сводиться к тому же принципу, что и в программировании: чем жёстче формализована задача и проверяем результат, тем надёжнее работает система. Поэтому сначала выстраивается аналитика: данные, метрики, методология, правила и ограничения. И только поверх этого слоя можно наслаивать другие модули — оптимизацию, автоматизацию и умных помощников.