Как проверять ответы ИИ-агента: доказательства и повторяемость

Проверка ответа ИИ-агента начинается не с перечитывания отчёта, а со сверки результата с критериями. Надёжная приёмка отвечает на четыре вопроса: появился ли нужный артефакт, подтверждён ли он независимой проверкой, можно ли повторить результат и не вышел ли агент за разрешённые границы. Ниже дан протокол для файлов, исследований, таблиц и автоматизаций, где сообщения «готово» недостаточно.

Чем эта проверка отличается от контроля работы

Общий порядок постановки задачи разобран в статье о работе с ИИ-агентами. Здесь исходная ситуация уже определена: агент вернул ответ, и вам нужно принять или отклонить результат. Поэтому объект проверки не диалог, а итоговое состояние файла, системы или набора данных.

Сообщение агента описывает результат, но не доказывает его. Доказательство существует отдельно: файл, diff, тест, первоисточник или наблюдаемое состояние системы.

Запишите проверяемый контракт

Если критерии появляются после ответа, легко принять красивый, но бесполезный результат. Контракт связывает исходные данные, ожидаемый артефакт и способ проверки. Его должен суметь повторить другой человек без догадок.

• Исходные условия: версия файлов, дата данных, инструменты и ограничения.
• Ожидаемый результат: точный файл, таблица или другое наблюдаемое состояние.
• Утверждения: что обязано быть истинным после выполнения.
• Проверка: команда, запрос, выборка или ручной сценарий.
• Разрешённые действия: какие папки, сервисы и данные можно менять.
• Условия остановки: когда продолжать нельзя.

Правило выбора: берите самый прямой способ, который наблюдает сам результат. Для кода это тест и diff, для таблицы сверка строк и формул, для исследования первоисточники, для страницы публичный запрос. Скриншот отчёта слабее проверки живого состояния.

Постройте лестницу доказательств

1. Проверьте конечное состояние: файл существует, страница отвечает, запись появилась, расчёт верен.
2. Запустите независимую проверку: тест, валидатор, запрос или контрольную формулу.
3. Посмотрите изменения и журнал: затронуты только разрешённые объекты.
4. Откройте первоисточники для фактов, дат, правил и характеристик.
5. Сопоставьте отчёт агента с фактами. Несовпадение считайте ошибкой отчёта.

Исследование Anthropic об оценке ИИ-агентов разделяет задачу, прогон, способ оценки, журнал действий и итоговое состояние среды. Практический вывод: финальный текст агента является лишь частью свидетельств. Проверяющий должен видеть, что осталось после работы.

По теме: Работа с ИИ-агентами: задачи, контроль и проверка результата

Проверьте пять свойств результата

• Полнота: выполнены все обязательные пункты.
• Корректность: значения и выводы проходят независимую проверку.
• Происхождение: понятно, откуда взяты данные и когда они были актуальны.
• Безопасность: доступ не расширен, необратимых действий без разрешения нет.
• Повторяемость: новый прогон сохраняет обязательные свойства.

Не требуйте дословно одинаковых ответов. Важнее инварианты: формат, набор обязательных полей, отсутствие запрещённых действий и прохождение одной проверки. Формулировки могут различаться.

Безопасный пример

Агент должен собрать таблицу по десяти официальным страницам. Контракт задаёт десять URL, четыре столбца, дату проверки и запрет на публикацию. Проверьте число строк, столбцы и отсутствие дублей, затем вручную сверьте строки из начала, середины и конца с URL. Убедитесь, что агент не добавил сведений, которых нет в источниках.

1. Сохраните входные URL и время начала как снимок условий.
2. Проверьте схему таблицы валидатором или формулой.
3. Откройте контрольные источники и сравните значения.
4. Повторите задачу на копии данных и сравните обязательные поля.
5. Отклоните значение, если ссылка его не подтверждает.

Пример безопасен, потому что не меняет внешнюю систему. Для писем или публикации сначала используйте черновик либо тестовую среду. Инструменты можно подобрать по обзору ИИ-агентов.

Как проверить повторяемость

Один удачный прогон подтверждает один случай. Критичный сценарий выполните несколько раз на одинаковом снимке данных. Фиксируйте задачу, инструменты, разрешения, дату, внешние зависимости и итог проверки. Сравнивайте не стиль ответа, а инварианты.

Anthropic в руководстве по эффективным агентам рекомендует получать достоверное состояние среды через инструменты, сохранять контрольные точки и задавать условия остановки. Поэтому повторный прогон должен заново читать фактическое состояние, а не пересказ прошлого ответа.

• Все прогоны проходят проверку: результат принят для этих условий.
• Ответ меняется, но инварианты сохранены: зафиксируйте допустимую вариативность.
• Один прогон нарушает критерий: найдите причину или сузьте область применения.
• Источник меняется: сохраните снимок или повторите тест после стабилизации.

По теме: Claude Tools: как работают инструменты в API и что выбрать

Негативные и граничные случаи

Обычный пример не показывает поведение при нехватке данных. Добавьте случаи, где правильный результат это отказ, уточнение или остановка.

• Нет обязательного файла: агент называет недостающее, а не заполняет пробел догадкой.
• Первоисточники противоречат: агент показывает расхождение и не выбирает удобный факт.
• Сервис недоступен: результат помечается непроверенным.
• Операция пришла повторно: система не создаёт дубль.
• Нужен выход за разрешённую область: агент запрашивает разрешение.
• Результат частичный: статус «готово» не ставится.

Когда остановить приёмку

Условие остановки защищает от бесконечных исправлений и расширения задачи. Запишите его до повторных запусков. После срабатывания не повторяйте попытку без изменения условий.

• Нет независимого доказательства, а агент предлагает поверить отчёту.
• Исправление требует нового разрешения или необратимого действия.
• Одна ошибка повторяется без новой диагностической гипотезы.
• Источники расходятся, и нет владельца решения.
• Исчерпан заданный лимит попыток или времени.
• Нужна профильная медицинская, юридическая или иная экспертиза.

По теме: MCP сервер: что это простыми словами и как устроен в 2026

Диагностика сбоев

1. Артефакта нет. Запросите путь или идентификатор и проверьте объект независимо.
2. Артефакт устарел. Сверьте время изменения и версию входных данных.
3. Повторный прогон падает. Сравните инструменты, разрешения и внешнее состояние.
4. Ссылка не подтверждает вывод. Пометьте утверждение непроверенным.
5. Автоматическая и ручная проверки расходятся. Уточните критерий и повторите обе.

Идите от состояния к причине: подтвердите сбой, сравните входные условия, изолируйте одно различие и только потом меняйте задачу. Одновременная смена запроса, доступа и источников скроет причину.

Когда способ не подходит

Протокол не заменяет профессиональную экспертизу и не гарантирует будущее поведение после изменения данных. Для медицинских, юридических, финансовых и других высокорисковых решений автоматическая проверка лишь отсеивает явные ошибки, а решение принимает ответственный специалист.

Проверяемый чек-лист

• Условия и ожидаемый артефакт зафиксированы.
• Каждый критерий имеет способ проверки.
• Конечное состояние проверено напрямую.
• Факты подтверждены первоисточниками.
• Изменения не вышли за разрешённые границы.
• Повторный прогон выполнен или обоснованно пропущен.
• Проверены отсутствие данных, конфликт и недоступность сервиса.
• Условия остановки соблюдены, ограничения перечислены.

Частые вопросы

Можно ли принять убедительный ответ?

Нет, если ожидается проверяемый артефакт или факт. Убедительность не заменяет тест, источник или наблюдаемое состояние. Облегчённая проверка допустима для черновика без внешних действий.

Нужно ли повторять каждую задачу?

Нет. Повторы особенно полезны для автоматизации, критичного решения и сценария, где агент сам выбирает шаги. Разовую низкорисковую задачу можно принять по сильной прямой проверке.

Что делать без автоматической проверки?

Разбейте результат на полноту, соответствие источникам, формат и ограничения. Неподтверждённое ключевое утверждение пометьте явно и не используйте для необратимого действия.

Кто ставит итоговый статус?

Ответственный человек или система с утверждёнными критериями. Агент может собрать доказательства, но не должен сам расширять правила приёмки.