Как менялась работа с ИИ: проверьте, не застряли ли вы в 2024-м

За последние годы работа с ИИ сильно изменилась. Сначала мы просто писали запрос, а модель выдавала какой-никакой ответ. Но потом в работу постепенно вошли контекст, многошаговые сценарии, инструменты, агенты, циклы проверки, память и контроль качества.

Вместе с этим изменилась и роль человека. Раньше он вёл модель за руку и расписывал каждый шаг. Сегодня он задаёт цель, собирает рабочую среду, подключает нужные данные и проверяет результат. Работа стала более комплексной, но и более полезной.

Хотите узнать, как повысить качество ответов ИИ? Написали для вас полезную статью про контекст, инструменты и проверку, где разобрали этот и многие другие вопросы.

Как развивалось взаимодействие человека с ИИ

1. Эпоха запросов

Пользователь открывал чат, писал запрос и получал ответ. Так появились промпты для ИИ и первые практики проектирования запросов.

На этом этапе мы научились задавать модели роль, формат ответа, ограничения и уровень детализации. Маркетологи увидели в ИИ возможность для генерации текстов, заголовков, идей и черновиков, а для аналитиков он быстро расшифровать метрики, собрать гипотезу и подготовить пояснение к отчёту.

Один запрос решал короткую задачу, но плохо держал длинную работу с несколькими условиями, файлами и источниками.

2. Эпоха контекста

Пользователи начали добавлять описание компании, словари терминов, примеры хороших ответов, исходные документы, список запретов и требования к формату ответа.

Мы узнали, что ИИ:

• точнее пишет, когда знает, для кого готовит ответ
• лучше рассуждает, когда видит ограничения
• меньше путается, когда опирается на документы

Контекст резко поднял качество ответа, но всё ещё не закрывал длинную задачу целиком.

3. Эпоха многошаговых сценариев

Длинные задачи привели к следующему этапу: команды начали делить работу на последовательные шаги.

Как выглядел обычный порядок действий для работы над статьёй или исследованием:

Понять задачу
О чём текст, для кого он, какой у него формат и что читатель должен понять.

Собрать источники
Поднять документы, статьи, исследования, выгрузки, цитаты и фактуру.

Подготовить план
Решить, в каком порядке вести читателя и какие блоки вообще нужны.

Проверить план
Посмотреть, нет ли повторов и логических несостыковок между блоками.

Написать черновик
Сделать из плана готовый текст.

Проверить факты и формулировки
Сверить цифры, цитаты, даты, выводы и убрать всё, что не подтверждено.

Отредактировать текст
Убрать воду, исправить стилистические ошибки и подготовить текст к публикации.

Глобальным изменением стало то, что пользователь перестал ждать идеальный ответ с первой попытки. Пошаговое выполнение задачи занимало больше времени, но так лучше сохранялся контекст и повышалось качество работы. На этом этапе выросли возможности ИИ для генерации контента, но модель всё ещё жила внутри текста и не имела прямого доступа к внешнему миру.

4. Эпоха инструментов

Ситуация изменилась, когда модель получила доступ к инструментам. Теперь она могла сама открыть файл, найти нужный фрагмент, запустить код, выполнить поиск, вызвать API, забрать данные извне и использовать их для следующего шага.

Модель научилась:

• читать документы
• искать в интернете
• работать с таблицами
• писать и запускать код
• вызывать API
• собирать данные из внешних источников
• готовить документы

С этого момента ИИ стал полноценным исполнителем.

5. Эпоха ИИ-агентов

После появления инструментов начался этап агентных систем. OpenAI описывает агентов как системы, которые выполняют задачи от имени пользователя с помощью модели, инструментов и ограничений.

В обычном диалоге модель выполняет те действия, которые вы запрашиваете, и ждёт следующего указания. ИИ-агент сам планирует последовательность шагов, использует доступные инструменты, проверяет промежуточный результат и продолжает работу до достижения цели.

Агент умеет:

• определить следующий шаг
• выбрать инструмент
• понять, чего не хватает для результата
• запросить недостающие данные
• вернуться к задаче после промежуточной проверки

Здесь человек переходит на следующую ступень управления ИИ. Он меньше двигает задачу руками и больше отвечает за цель, контроль и приоритеты.

На этом же этапе появились многоагентные системы: один агент ищет информацию, второй проверяет факты, третий оформляет результат, четвёртый оценивает качество.

6. Эпоха циклов работы

Этап инструментов дал модели самостоятельность: она могла сама выбрать следующий шаг, вызвать инструмент, получить данные и дойти до результата. Агенты упростили многоступенчатые задачи, когда для каждого шага просто создавался отдельный агент.

Эпоха циклов углубила работу агентов и моделей в целом. Бот начал несколько раз проходить по одной и той же задаче: получать промежуточный результат, проверять его, замечать слабые места, уточнять следующий шаг и только потом двигаться дальше.

Главное изменение этого этапа — рост глубины. Агент несколько раз проходил по задаче, постепенно улучшая результат. Давайте рассмотрим подробнее, что изменилось.

Циклы особенно пригодились в многоступенчатых задачах: код, исследования, отчёты, длинные тексты, сложные документы и всё, что требует проверки по ходу работы.

7. Эпоха рабочей среды

Anthropic пишет о рабочей среде агента как об отдельном слое вокруг модели. В англоязычных материалах для этого используют слова harness и scaffold – речь идёт о системе, которая помогает модели удерживать контекст задачи, помнить промежуточные шаги и соблюдать правила.

Этот этап перенёс внимание с модели на устройство всей системы.

В хорошую рабочую среду входят:

• память
• логирование шагов
• правила доступа
• ограничения на действия
• контрольные точки
• маршрутизация задач
• передача состояния между итерациями
• формат возврата результата
• обработка ошибок

Длинные задачи держатся на памяти, логах, правилах доступа, проверках и передаче состояния между шагами. Один сильный агент без этого слоя быстро теряет контекст, рано завершает задачу или ходит по кругу.

8. Эпоха системной работы с ИИ

Сейчас центр тяжести сместился от отдельного запроса к архитектуре всей системы. Команды смотрят на весь контур: какие данные доступны, какие роли есть в процессе, как устроены проверки качества, где проходит граница допустимых действий, как ИИ встраивается в ежедневную работу.

На этом уровне важны:

• роли внутри процесса
• качество и доступность данных
• правила работы модели
• проверки результата
• ограничения и права
• сценарии командной работы
• метрики качества
• способ передачи задач между людьми и ИИ

Ценность человека всё сильнее смещается в сторону постановки задач, проверки результата и устройства самого процесса.

Что меняется для человека

На каждом этапе менялась и роль человека, и вот чем мы занимались:

• сначала писали запрос и вручную поправлял ответ
• потом начали собирать для модели контекст
• затем стали проектировать многошаговый сценарий
• в итоге научились собирать рабочую среду вокруг агента

Сегодня наши обязанности сводятся к следующему:

• постановка цели
• выбор архитектуры
• определение правил доступа
• проверка логики
• оценка качества
• финальное решение

Как дальше будет развиваться ИИ

Уже сегодня рынок двигается в сторону систем, где:

• агент дольше держит контекст
• память становится устойчивее
• цикл работы выдерживает длинные задачи
• рабочая среда проще управляется
• проверки качества и ограничения встраиваются в процесс по умолчанию
• многоагентные системы становятся практичнее
• команды работают не с одним чатом, а с набором ролей и сценариев

Следующий шаг – ещё более эффективные системы, которые дольше работают без ручного контроля и массово сопровождают бизнес-процессы.

Вывод

Эволюция взаимодействия с ИИ прошла большой путь: запрос, контекст, многошаговый сценарий, инструменты, ИИ-агенты, цикл работы, память, проверки и рабочая среда вокруг модели. На каждом этапе модель брала на себя более сложные задачи, а человек поднимался выше по уровню управления. Теперь результат обеспечивает система, в которой модель, данные, инструменты, ограничения и проверки собраны в единый контур.