Три уровня инжиниринга вокруг ИИ: промпт, контекст и харнесс

Перед началом советуем изучить основной материал: Как повысить качество ответов ИИ: контекст, проверка, инструменты. Эта статья уже немного сложнее: она показывает, как устроен инженерный контур вокруг модели.

Что такое три уровня инжиниринга вокруг ИИ

Три уровня удобно представить как три концентрических круга вокруг модели.

Каждый следующий уровень включает предыдущий. Сначала команда учится ставить задачу. Потом учится давать модели нужный контекст. Потом выстраивает вокруг неё рабочую систему.

Что такое промпт-инжиниринг

Промпт-инжиниринг отвечает за формулировку задачи. На этом уровне команда управляет инструкцией, которую получает модель.

Сюда входят:

• цель задачи
• формат ответа
• ограничения
• критерий готовности
• просьба сначала составить план
• запрет на лишние действия
• явная проверка результата

Промпт-инжиниринг нужен всегда. Он помогает сократить число лишних ответов и делает результат понятнее. Но стоит помнить, что хороший запрос не заменяет документы, память проекта, инструменты и проверку.

Что такое контекст-инжиниринг

Контекст-инжиниринг отвечает за то, что модель видит в момент работы. Здесь важен уже не сам запрос, а состав среды вокруг него.

Сюда входят:

• документы
• база знаний
• история прошлых шагов
• примеры хорошего результата
• проектные правила
• выбранные файлы
• порядок, в котором подаются материалы

Именно на этом уровне становится заметна разница между обычным чатом и полноценным ИИ-инструментом внутри проекта. Если модель видит нужный рабочий контекст, она меньше додумывает и лучше выполняет задачу.

Что такое харнесс-инжиниринг

Харнесс-инжиниринг — это весь прикладной контур вокруг модели. Он включает промпт-инжиниринг, контекст-инжиниринг и добавляет всё, что делает модель частью рабочего процесса.

Харнесс-инжиниринг отвечает за такие вопросы:

• как задача проходит по шагам
• какие инструменты доступны модели
• что сохраняется между шагами
• как система реагирует на ошибки
• как проверяется результат
• где действуют ограничения и правила безопасности
• в какой момент задача считается завершённой

Если промпт задаёт инструкцию, а контекст даёт материалы, то харнесс организует всю работу целиком.

Что входит в харнесс-инжиниринг

Оркестрация шагов

• разобрать задачу
• собрать контекст
• выбрать нужный инструмент
• выполнить действие
• получить результат
• проверить результат
• перейти к следующему шагу или остановиться

Инструменты

• чтение файлов
• поиск по проекту
• работа с документами
• запуск команд
• проверка кода
• вызов внешних сервисов
• доступ к базе знаний
• сравнение версий

Память

• правила проекта
• промежуточные выводы
• договорённости по задаче
• повторяющиеся ограничения
• состояние длинной сессии

Управление контекстом

• что подгружать в задачу
• что убирать из истории
• какие фрагменты считать главными
• как не перегружать модель лишним шумом

Состояние задачи

• какой шаг уже выполнен
• что осталось сделать
• где был сбой
• можно ли продолжить работу с текущего места

Обработка ошибок

• повторить шаг
• остановить задачу
• запросить подтверждение
• передать ошибку человеку
• переключиться на другой сценарий

Проверка результата

• тесты
• линтер
• сверка с документами
• проверка формата
• чек-лист качества
• ревью человеком

Ограничения и безопасность

• какие файлы можно читать
• какие папки нельзя трогать
• какие команды запрещены
• где нужно подтверждение
• какие данные нельзя отправлять наружу

Чем харнесс-инжиниринг отличается от контекст-инжиниринга

Контекст-инжиниринг отвечает за состав материалов, которые видит модель. Харнесс-инжиниринг отвечает за всю систему вокруг модели.

Контекст-инжиниринг решает:

• какие документы показать
• какие файлы открыть
• какие примеры добавить
• что оставить в истории

Харнесс-инжиниринг решает:

• в каком порядке идти по шагам
• какие инструменты вызывать
• как хранить состояние
• как обрабатывать сбои
• как проверять результат
• как управлять доступами и рисками

Контекст – это часть харнесса. Харнесс – это более широкий уровень.

Когда команде нужен харнесс-инжиниринг

Харнесс-инжиниринг нужен, когда команда вместо решения новых задач и поиска точек роста из раза в раз выполняет зацикленные действия.

Главные признаки:

• люди постоянно повторяют модели одни и те же вводные
• ошибки повторяются по кругу
• ИИ работает с кодом, документами или внутренними данными
• растёт цена ошибки
• появилась потребность в проверке, памяти и контроле доступа

С чего начать движение к харнесс-инжинирингу

Шаг 1. Навести порядок в запросах

Нужно научиться стабильно задавать:

• цель
• контекст
• ограничения
• критерий готовности
• проверку результата

Шаг 2. Зафиксировать проектную память

Следующий шаг — зафиксировать повторяющиеся правила в файлах проекта:

• команды запуска
• ограничения
• правила по коду
• структура модулей
• требования к проверке

Шаг 3. Подключить документы и контекст

Нужно научиться давать модели:

• актуальные документы
• нужные фрагменты
• примеры хорошего результата
• рабочую историю задачи

Шаг 4. Добавить проверку

Минимальный цикл должен выглядеть так:

• модель делает шаг
• система проверяет результат
• команда видит, что получилось
• задача двигается дальше только после проверки

Шаг 5. Подключить инструменты и ограничения

После этого можно усиливать систему:

• инструментами
• памятью
• автоматическими правилами
• обработкой ошибок
• ограничениями доступа

Вывод

Промпт-инжиниринг улучшает инструкцию. Контекст-инжиниринг улучшает среду, которую видит модель. Харнесс-инжиниринг собирает всю рабочую систему вокруг модели.

Именно харнесс показывает новый уровень зрелости в работе с ИИ. Когда команда работает с кодом, документами, длинными и повторяющимися задачами.