Кейс CyberBrain: как мы добились ответов с точностью 98% для ИИ в аналитике

В прошлой статье мы разбирали общую проблему рынка: ИИ в аналитике может ошибаться, если отвечает без жёсткой опоры на данные и без понятного механизма проверки. Эта статья продолжает ту тему, но уже на нашем собственном примере. Здесь мы показываем, как эта задача решена в одном из наших продуктов — ИИ Помощнике CyberBrain.

Для нас это важный материал не только как для команды продукта, но и как для компании, которая работает с маркетинговой аналитикой на практике.

• На рынке много общих разговоров о том, что ИИ помогает анализировать данные, искать аномалии, строить выводы и ускорять работу.
• Но намного реже кто-то подробно объясняет, за счёт чего система даёт точный ответ и в каких задачах на этот ответ действительно можно опираться. Именно поэтому мы решили разобрать собственный подход открыто и по шагам.

Важный момент: речь идёт именно о вопросах по данным, где система обращается к данным клиента за фактическими ответами. Например, сколько было кликов за сентябрь, как изменилась конверсия, какой канал дал лучший результат, что происходило в выбранный период. В таких вопросах ИИ Помощник CyberBrain отвечает с точностью на уровне 98% и выше.

О чём эта статья

В этой статье мы разберём четыре вещи.

1. Покажем, как именно в CyberBrain устроен ответ ИИ по данным и почему это принципиально отличается от обычной текстовой генерации стандартных LLM-моделей.
2. Объясним, откуда берётся высокая точность и почему она достигается именно в вопросах по данным.
3. Отдельно выделим два класса задач: фактические ответы и гипотезы, и разберёмся, почему для фактических ответов точность всегда будет выше (при условии всей необходимой инфраструктуры).
4. Дадим практическую рамку: кому такой подход подходит, когда он действительно нужен и по каким признакам можно понять, что ИИ в аналитике устроен качественно.

Как устроен точный ответ ИИ в CyberBrain

На странице ИИ Помощника CyberBrain уже зафиксирован ключевой принцип: система понимает естественную речь, превращает запрос в код, работает с данными клиента и возвращает результат в виде текста, таблицы или графика. Именно эта логика лежит в основе точности.

Шаг 1. Запрос пользователя переводится в код

Это главный слой всей системы. Когда пользователь задаёт вопрос, ИИ не пытается сразу ответить словами. Он сначала интерпретирует запрос, определяет нужную метрику, период, фильтры и логику расчёта, а затем переводит всё это в код.

Допустим, пользователь спрашивает: «Покажи количество кликов за сентябрь». Для системы это не повод строить вероятностный ответ на основе похожих формулировок. Её задача — понять, что именно нужно получить из данных, собрать корректную вычислительную логику и достать точный агрегированный результат.

Это и есть первый слой защиты от галлюцинаций. Когда ответ строится через код и вычисление, а не через свободный текст, риск ошибки снижается уже на уровне самого принципа работы.

Шаг 2. Код проходит проверку

Одной генерации кода недостаточно. Даже если модель хорошо пишет код, это ещё не означает, что результат можно сразу показывать пользователю. Поэтому следующий слой — модуль проверки кода. Он нужен, чтобы контролировать корректность исполнения и отсекать ошибки до того, как ответ попадёт в интерфейс.

Для бизнес-аналитики качество ответов принципиально. Речь идёт о рабочем инструменте, на который люди опираются в принятии решений, в том числе при распределении бюджетов между кампаниями.

Шаг 3. Система получает агрегированный ответ из данных

После проверки система получает фактический результат, и пользователь видит уже конкретный агрегированный ответ, полученный из данных.

• Если вопрос был про клики, система возвращает число кликов.
• Если вопрос был про динамику конверсии, она возвращает расчёт по конверсии.
• Если вопрос был про сравнение каналов, она работает уже с этой аналитической задачей.

Иными словами, ответ появляется только в тот момент, когда система получила результат из данных.

Шаг 4. Результат оформляется для пользователя

Только после этого система оборачивает ответ в понятную форму. Помощник выдаёт персонализированный ответ в виде текста с необходимой инфографикой и возможностью скачать документ.

Для пользователя всё выглядит просто: он задаёт вопрос обычным, не техническим языком, и быстро получает информацию. Но внутри у ответа есть строгая вычислительная цепочка, которая и обеспечивает надёжность.

Что именно даёт точность ответов 98%

Если собрать эту механику в одну короткую формулу, она будет выглядеть так:

• сначала запрос переводится в код
• потом код проверяется
• потом система получает точный результат
• и только после этого показывает ответ пользователю

Высокая точность ответов складывается именно из комплексного подхода.

За счёт чего система работает стабильно

Высокая точность в аналитике держится на целой группе технических и продуктовых решений.

Скилы

Это специальные навыки, которые позволяют быстро адаптировать систему под логику клиента и закрепить в ней нужные сценарии — например, расчёт A/B-тестов. В таких случаях нейросеть не считает сама, а вызывает готовый инструмент и получает результат по заданной логике. Поэтому ответ получается точнее, а все пользователи внутри компании получают один и тот же результат.

Донастройка модели под конкретный класс задач

Следующий уровень — донастройка модели.

Это нужно для того, чтобы модель работала строго в логике аналитического инструмента. Разница здесь большая. Без этого модель может стараться быть полезной и разговорчивой. В нашем случае модель понимает, что от неё нужен точный и предсказуемый результат в маркетинговой аналитике.

Жёсткие ограничения и изолированная среда

Ещё один важный слой — ограничения.

Ограничения действуют на трёх уровнях: доступ, инфраструктура и функция.

• Первый уровень: доступ. Система не обращается за данными вовне к чужеродным источникам, а работает только с наборами клиента, которые безопасно хранятся в изолированном контуре Яндекс Облака.
• Второй уровень: инфраструктура. Бот работает в строго контролируемой среде. У него очень много блокирующих инструкций, которые предотвращают доступ к лишним данным: как в контуре клиента, так и за его пределами (см. пункт выше).
• Третий уровень: функция. По сути, ИИ каждый раз решает одну конкретную задачу — перевести запрос в код, получить результат и вернуть ответ пользователю.

Работа с кодом — один из ключевых факторов точности. Мы уже писали в блоге, что задачи, связанные с кодом и другими формальными системами, сейчас относятся к числу самых сильных для нейросетей: модели хорошо работают там, где нужно перевести запрос в формальную логику и получить проверяемый результат. Подробнее — в этой статье.

Именно жёсткие ограничения помогают держать высокую точность ответов на вопросы по данным.

Что именно считается ответом по данным

Здесь важно сразу зафиксировать границу.

Ответ по данным — это вопрос, на который можно получить проверяемый результат через расчёт, выборку или агрегацию.

Например:

• сколько было кликов
• как изменилась конверсия
• какой канал дал лучший результат
• сколько заявок пришло за период
• как изменились показатели неделя к неделе

Такие вопросы можно проверить по данным. У них есть конкретная вычислительная основа. Когда мы говорим о высокой точности, мы говорим не о любых разговорах с ИИ подряд, а о конкретном типе аналитических запросов, где возможен проверяемый ответ.

Почему гипотезы — это другой класс задач

Отдельно нужно сказать о вопросах другого типа.

Например:

• почему упала конверсия
• что стало главной причиной просадки
• какой фактор повлиял сильнее всего
• почему выросла стоимость привлечения

Такие вопросы уже не сводятся к одному вычислению.

Здесь на результат могут одновременно влиять качество трафика, сезонность, изменения в креативах, посадочные страницы, ставки, сегменты аудитории, конкуренция, распределение бюджета и другие параметры. В аналитике почти никогда не бывает одной простой причины, поэтому и точность ответа для гипотетического вопроса будет ниже, чем для фактического.

Почему Помощник CyberBrain — лучший ИИ для аналитики

Точность в аналитике появляется, когда все уровни системы работают согласованно. Стандартные модели вроде ChatGPT, Claude, Gemini и пр. не могут обеспечить такого многоуровневого подхода: в этом случае пользователи (например, сотрудники одной компании) каждый раз загружают разрозненные файлы и получают разные ответы.

В нашем случае ИИ — это надстройка над всей инфраструктурой маркетинга. Помощник дает точные ответы и строго обоснованные рекомендации, поскольку подключен к полным данным клиента.

Когда достаточно обычной LLM, а когда нужна отдельная система

Не каждому бизнесу нужен сложный ИИ-контур для работы с данными. Если задача простая, а данных немного, часто хватает обычной LLM-модели и базовой подготовки файлов. Например, когда нужно быстро суммаризировать документ, собрать первичные гипотезы или получить ответ по небольшому объёму данных.

Но если компания хочет получать точные ответы по данным на постоянной основе, требования меняются. Здесь уже важны не только возможности самой модели, но и то, как устроена система вокруг неё: как подготовлены данные, есть ли отдельный слой для работы с LLM, умеет ли система переводить запрос в код, вызывать готовые инструменты, проверять результат и работать в жёстко заданной логике.

Именно поэтому ИИ для бизнеса — это не один универсальный класс решений. Для простых сценариев может хватить базовой модели. Для аналитики, единых ответов на уровне команды и высокой точности нужна уже отдельная инженерная система.

Когда нужна отдельная система с выделенной инфраструктурой

Наш ИИ для аналитики данных нужен там, где у компании уже есть объёмные данные по медийной и перформанс-рекламе и потребность в регулярной оптимизации.

Кто пользуется Помощником CyberBrain:

• Маркетологи, которым нужно быстро получать ответы по метрикам без длинной цепочки ручных действий и очередей к аналитику.
• Аналитики, которым важно сократить рутину и отдать типовые вопросы системе, не теряя контроль качества и высвобождая время для оптимизации.
• Руководители, которым нужны быстрые и понятные ответы по показателям без громоздких таблиц.

Когда хватит более простого варианта

Более простого подхода хватает там, где задача сама по себе простая и данных немного.

• Если у компании два файла и нужно получить базовый ответ, отдельную инженерную систему для этого строить не нужно.
• Если данных становится больше, сначала их стоит правильно подготовить для работы с LLM. Когда запросы становятся сложнее, данных больше, а к точности выше требования, появляется уже другой уровень задачи: отдельные слои, подготовка данных для ИИ и инженерная логика работы системы, как это выстроено у нас.

ИИ для бизнеса: что выбрать для разных классов задач

• Обычный ИИ-чат без доступа к данным для быстрых ответов на вопросы — ChatGPT, Claude
• ИИ с доступом к документам и базе знаний — ChatGPT с загрузкой файлов, Claude с файлами и проектами
• Обычный инструмент визуализации данных — Power BI, Tableau
• Специализированный ИИ для аналитики, рекомендации по оптимизации, отчётов и презентаций — ИИ Помощник CyberBrain

Ответы на вопросы

Как получить от ИИ точные ответы по данным

Чтобы ИИ давал точные ответы по данным, недостаточно просто подключить сильную модель. Сначала нужно собрать и подготовить отдельный аналитический слой, с которым ИИ будет работать: уложить данные, задать логику расчётов, настроить нужные сценарии и только потом подключать модель. Если этого слоя нет, ИИ будет давать неправильные, потому что ему просто не на что опереться без данных для расчётов.

Почему ИИ ошибается в аналитике

ИИ ошибается в аналитике, когда отвечает без жёсткой опоры на данные, без проверки логики расчёта и без понятной границы между фактом и гипотезой.

Чем ИИ для аналитики отличается от обычного чат-бота

Обычный чат-бот работает как языковая модель: он формулирует ответ на основе текста, контекста и вероятностной логики. ИИ для аналитика должен уметь работать с данными, получать проверяемый результат и отвечать по заданным правилам, а не просто генерировать текст.

Чем ИИ Помощник CyberBrain отличается от обычной LLM-модели

ИИ Помощник CyberBrain работает не как общий чат. Для наибольшей точности ответа он переводит запрос в код, получает результат из данных клиента, использует скилы и системные настройки, работает в жёстко ограниченной среде и возвращает ответ по логике, заданной в системе.

Можно ли доверять ИИ в маркетинговой аналитике

Да, если для этого правильно выстроена инфраструктура: система работает с данными клиента, проверяет результат и не выходит за рамки своей функции. Без этого ИИ может быть полезен для гипотез и первичного разбора, но не для точных ответов по метрикам.

Как использовать ИИ для бизнеса, если данных много

Если данных много, одной LLM-модели обычно недостаточно. Нужны подготовка данных для ИИ, отдельные слои работы с ними, понятная логика вызова инструментов и инженерный контур, который делает ответы стабильными и воспроизводимыми для всей команды.

Когда хватает обычной LLM, а когда нужна отдельная система

Обычной LLM обычно хватает там, где задача простая и данных немного: пересказать документ, собрать гипотезы, ответить по двум файлам. Отдельная система нужна тогда, когда данных больше, вопросы сложнее, а ответ должен быть точным, единым для команды и пригодным для работы.