Как поручить задачу ИИ-ассистенту и проверить, что она выполнена

Представьте: вы попросили ассистента подготовить сводку и получили ответ «Готово». Но файл ещё нужно открыть. Возможно, в нём нет нужного вывода, расчёт охватывает другой период или ссылка ведёт на закрытый черновик. Пока вы знаете лишь то, что ассистент сообщил о завершении.

Полезно заранее определить, что будет означать «готово»: текст, отвечающий на вопросы читателя, расчёт по нужным строкам или сохранённое изменение в сервисе. Такое описание помогает поручить работу и принять её без догадок.

Начните с цели: кому и для чего нужен результат. Затем назовите то, что хотите получить. «Разберись с обращениями» оставляет открытыми формат, период и глубину анализа. «Подготовь сводку обращений за указанный период, чтобы выбрать темы для справочного раздела; верни таблицу с темами и количеством обращений» уже задаёт направление. Если нужен файл, укажите формат. Если нужно изменение в сервисе — назовите конкретную запись и её ожидаемое состояние.

Способ работы можно оставить ассистенту. Зато стоит пояснить смысл спорных слов: что считать обращением, какие темы объединять, как учитывать повторные сообщения. Заданию нужны детали, от которых зависит результат.

Передайте исходные материалы: доступный файл, текст или ссылку, которую ассистент может открыть своими инструментами. Уточните версию и нужный раздел. Если источники противоречат друг другу, обозначьте основной или поручите показать расхождения, чтобы старые и новые данные не смешались незаметно.

Для фактического материала отдельно определите работу с пробелами. Например: «Если сведений в исходнике нет, отметь, что их нужно уточнить. Существенные внешние утверждения проверь по первоисточникам и дай ссылки». В профиле рисков NIST AI 600-1, раздел 2.2, описана способность генеративного ИИ уверенно выдавать ошибочное содержание. Отсюда практический вывод: для существенного утверждения откройте первоисточник и сопоставьте его с текстом. Наличие ссылки само по себе не подтверждает сказанное. Источник: NIST, Generative Artificial Intelligence Profile — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

Укажите границы действий. Можно ли менять исходный документ, создавать копию, сохранять черновик, публиковать, отправлять сообщения? У подготовки текста и его отправки разные последствия, поэтому конечное действие должно быть названо явно. Если разрешение на публикацию уже дано и охватывает эту работу, повторять вопрос о нём для каждого шага не требуется. Если поручена только подготовка, готовый текст остаётся результатом подготовки.

Для действий в сервисах одновременно нужны подходящие инструменты, действующий доступ и разрешение на конкретный объём работы. Фраза в чате не подключает сервис и не выдаёт права учётной записи. В задание можно добавить правило: «Если нужное действие недоступно, подготовь доступную часть и сообщи, на чём остановился». По такому ответу будет понятно, что уже можно использовать и что ещё требует участия человека.

До начала работы договоритесь о признаках качества. В документации Anthropic критерии успеха предлагают делать конкретными, оцениваемыми, достижимыми и связанными с задачей. Это полезный ориентир и для повседневного поручения: выберите несколько условий, по которым сможете проверить именно нужный вам результат. Источник: Anthropic, Define success criteria and build evaluations — https://platform.claude.com/docs/en/test-and-evaluate/develop-tests

Часть условий легко измерить: формат файла, объём текста, период отчёта. Другие требуют чтения: объяснён ли следующий шаг, сохранено ли важное ограничение, подтверждён ли вывод данными. Слово «понятно» станет полезнее, если уточнить: «После чтения человек должен знать, где начать настройку и как проверить её завершение». Количество знаков помогает выдержать размер материала, но само по себе не говорит о его пользе.

При приёмке удобно различать четыре вещи. Наличие файла проверяют открытием переданного файла. Качество содержания — чтением и сопоставлением с заданием и источниками. Изменение в сервисе — повторным открытием нужной записи и проверкой сохранённых значений. Доступность публикации — переходом по итоговому адресу с теми правами, которые будут у её читателя. Успешная проверка одного свойства не отвечает на остальные вопросы.

Это различие есть и в инженерном материале Anthropic об оценке агентов: фактический итог определяется состоянием среды после работы; сообщение агента об успехе рассматривается отдельно. Для обычного пользователя средой может быть папка с файлами, таблица или страница сервиса. Проверять нужно тот объект, ради которого давалось поручение. Источник: Anthropic, Demystifying evals for AI agents — https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

Посмотрим, как этот подход работает в трёх учебных примерах. Все названия файлов, номера строк, количества и ограничения объёма ниже условны. Это придуманные ситуации, а не описание чьих-либо выполненных заказов или публикаций. Формулировки заданий и способы приёмки — редакционные рекомендации.

В первом примере нужен текст об обновлении учебного сервиса. Задание может выглядеть так: «По приложенной справке update-v3.txt напиши для новых пользователей объяснение функции экспорта. Верни файл export-guide.txt объёмом 1200–1600 знаков с пробелами. Расскажи, кому доступна функция, где её включить и как получить результат. Сохрани ограничения из справки. Если данных для одного из пунктов нет, сообщи об этом отдельно. Публикация в задачу не входит».

Допустим, в справке сказано: «Экспорт доступен только администратору». При приёмке откройте именно переданный export-guide.txt, прочитайте его и сопоставьте описание с этим условием. Текст может укладываться в объём и при этом ошибочно обещать экспорт каждому пользователю. Такой результат требует правки. Если же в справке не указан путь к настройке, честная отметка о пробеле позволит дополнить исходник. Выдуманный пункт меню создаст видимость завершённой инструкции.

Во втором примере нужно посчитать принятые заявки по каналам. В учебном файле четыре строки: строка 1 — сайт, принято, 12 заявок; строка 2 — почта, принято, 8; строка 3 — сайт, отменено, 5; строка 4 — почта, принято, 10. Задание: «В приложенной таблице посчитай количество заявок со статусом „принято“ по каждому каналу и общий итог. Верни отдельный файл с итогами, правилом отбора и указанием учтённых строк. Исходник сохрани без изменений».

Проверка начинается с исходных строк. В расчёт должны войти строки 1, 2 и 4; строка 3 исключается по статусу. Для сайта получится 12 заявок, для почты — 8 + 10 = 18, всего — 30. Если ассистент вернул 35, проверьте отбор: такая сумма получается при включении отменённых заявок. Если он вернул 30, всё равно полезно посмотреть, из каких строк сложилась сумма. Совпавшее итоговое число ещё не объясняет способ расчёта.

Для большой таблицы можно независимо пересчитать итог, проверить строки на границах периода и пустые значения. Выборочная проверка подтверждает только просмотренную часть. Чем значимее решение по отчёту, тем полнее должна быть его проверка.

В третьем примере владелец уже разрешил разместить подготовленную инструкцию в конкретном разделе своего сайта, а у ассистента есть инструмент публикации и нужный доступ. Задание: «Опубликуй согласованный файл guide-final.txt в разделе „Помощь“ указанного сайта. Сохрани заголовок и текст этой версии. Верни адрес страницы и сообщи, удалось ли открыть её без входа в редактор и сверить содержание». Указанный файл должен быть доступен ассистенту, а сайт — однозначно определён в контексте задания.

Приёмка включает два результата: запись опубликована в сервисе и нужный текст доступен читателю. Откройте итоговую ссылку без прав редактора, проверьте заголовок и содержание. Предпросмотр или страница с требованием входа не подтверждают публичную доступность. Материал для закрытой группы проверяют с правами её участника: важен доступ оговорённой аудитории.

Бывает, что после отправки команды публикации ответ сервиса не пришёл. Здесь полезно сначала проверить фактическое состояние: появилась ли нужная страница, какой текст в ней сохранён. Сбой связи сам по себе не показывает, успел ли сервис выполнить действие. Слепое повторение команды может создать дубль. Если исход установить не удалось, в отчёте следует прямо оставить его неизвестным.

Попросите короткий отчёт: что получено, где это открыть, что проверено и что осталось неподтверждённым. Самопроверка полезна, но просьба «перечитай свой ответ» не заменяет открытие исходной таблицы, первоисточника или фактической страницы. Если внешняя проверка недоступна, укажите это ограничение при приёмке.

Для следующего поручения можно заполнить такой шаблон:

Цель: кому и для чего нужен результат. Результат: что получить, в каком формате или в каком состоянии сервиса. Исходные материалы: файлы, ссылки, версия, период и основной источник. Границы: какие действия разрешены и что требует отдельного решения. Критерии готовности: несколько конкретных условий по содержанию и форме. Проверка: что открыть, с чем сопоставить и какие значения пересчитать. Если данных или доступа не хватает: что можно завершить и о чём сообщить. Итоговый ответ: готовый файл или ссылка, выполненные проверки и оставшиеся ограничения.

Для небольшой задачи объедините пункты в несколько предложений. Перед отправкой проверьте, сможете ли вы по заданию принять результат. После работы вернитесь к тем же условиям и назовите конкретное расхождение: «В инструкции пропущено ограничение по роли» или «В сумму вошли отменённые строки». Это задаёт понятную доработку, результат которой тоже можно проверить.