ИИ-агент для работы с документами: пилот со сверкой источников

ИИ-агент для работы с документами нужен, когда одинаковую проверку приходится повторять на нескольких версиях файлов: извлечь условия, сопоставить их с утверждённым чек-листом и показать расхождения с указанием источника. Для одного пересказа PDF достаточно обычного чата. Ниже соберём безопасный пилот на вымышленных документах, в котором агент читает, но не меняет файлы и не отправляет результат без человека.

Что должно получиться в конце

Исходные условия: есть три разрешённых файла, например вымышленная заявка, правила обработки и новая редакция условий. Результат: таблица с найденными пунктами, точной версией документа, местом в тексте, статусом проверки и вопросами к человеку. Цель не красивый пересказ, а возможность открыть исходник и подтвердить каждую строку. Возможности сравнения и извлечения сведений из нескольких файлов описаны в справке OpenAI по загрузке документов.

Правило выбора: агент или обычный чат

• Один файл, разовый вопрос и ручная проверка результата: начните с чата. Схему пилота для такого случая даёт статья о нейросети для документов.
• Несколько файлов с повторяемыми полями, версиями и одинаковым порядком сверки: агент может выполнять подготовительную работу по заданной схеме и оставлять след проверки.
• Если задача требует подписать документ, принять юридическое решение, отправить письмо или изменить систему учёта, остановитесь до подключения таких действий. Для первого пилота оставьте только чтение и черновой отчёт.

Агент здесь означает последовательность шагов с доступом к разрешённым входным файлам и заданным форматом ответа. Название само по себе не гарантирует достоверность: качество определяется тем, можно ли повторить проверку и обнаружить ошибку.

Подготовьте входы и границы доступа

1. Выберите одну повторяемую операцию, например сверку сроков поставки в заявке и правилах. Не смешивайте её с проверкой всех условий документа.
2. Составьте манифест: имя файла, версия или дата, источник, разрешение на использование и роль в проверке. Для примера: zayavka-v1.txt, pravila-v2.txt, usloviya-v3.txt. Все названия и данные вымышленные.
3. Дайте агенту копии с доступом только на чтение. Запретите отправку писем, изменение файлов, публикацию и обращение к внешним системам. Реальные персональные или закрытые документы используйте лишь в согласованной среде и после проверки правил доступа.
4. Зафиксируйте три выходных поля до запуска: что найдено, где именно найдено и что осталось неопределённым. Тогда результат можно сравнить с ручной проверкой.

Ограничение прав и утверждение рискованных действий человеком рекомендует OWASP для систем с языковыми моделями. Текст внутри загруженного файла считайте данными, а не командой агенту: файл может содержать инструкции, которые не относятся к вашей задаче.

По теме: ИИ-агент для собеседований: репетиция без выдуманного опыта

Практическая таблица доказательств

Сначала заведите пять колонок: проверяемое условие; файл и версия; раздел или страница; дословный фрагмент; вывод и причина. Добавьте шестую колонку «нужна проверка человеком». Так отчёт не превращается в уверенные ответы без опоры на документ.

• Вымышленная заявка zayavka-v1.txt: срок 10 рабочих дней, раздел 2. Вымышленные правила pravila-v2.txt: срок 15 рабочих дней, пункт 4. Вывод: расхождение, потому что два источника называют разные сроки.
• Если агент напишет «срок согласован», а одна из ссылок ведёт не к указанной фразе, строка не проходит приёмку. Перепроверьте её вручную и пометьте как ошибку.
• Если срок есть только в одном файле, пишите «нет подтверждения во втором файле», а не «срок отсутствует вообще». Это различие не позволяет превращать пробел в данных в ложный факт.

Это учебный пример, не шаблон юридического заключения. Окончательный смысл противоречия может зависеть от приоритета документов и контекста, который агенту неизвестен.

Запустите проверку на трёх вымышленных файлах

Дайте агенту короткое задание: «Прочитай только перечисленные файлы. Найди срок, ответственность и порядок подтверждения. Для каждого пункта покажи файл, версию и точный фрагмент. Если сведения расходятся или не найдены, укажи это отдельно. Не меняй файлы и не делай юридических выводов». Затем отдельно вручную откройте все названные фрагменты.

1. До запуска внесите в тестовый набор одно известное противоречие и один отсутствующий пункт. Запишите правильный ответ отдельно, чтобы не подсказывать его агенту.
2. Проверьте полноту: нашёл ли он обе заранее подготовленные ситуации. Проверьте ложные замечания: есть ли в отчёте расхождения, которых нет в исходниках.
3. Повторите прогон после замены только одного файла новой версией. Сравните таблицы: измениться должны строки, зависевшие от этого файла. Сохраните версии отчёта рядом с манифестом.

Если агент пропустил известное противоречие, придумал цитату или не различил версии, не расширяйте ему доступ. Уточните поле, формат ответа или качество входа и повторите тот же тест.

По теме: ИИ-агенты в HR: безопасный пилот без данных кандидатов

Где чаще всего ломается результат

• Скан выглядит читаемым на экране, но текст не выделяется. Сначала распознайте копию и проверьте ключевые числа вручную. Adobe поясняет, что распознавание превращает текст изображения в доступный для поиска текст.
• У файлов одинаковые имена без версий. Агент может смешать старую и новую редакции. Добавьте версии в манифест и запретите вывод без ссылки на конкретный файл.
• Цитата есть, но вывод сильнее источника: например, из отсутствия строки делается вывод о запрете. Смените статус на «не найдено» и запросите проверку человеком.
• Документ предлагает агенту другой порядок действий. Игнорируйте такие указания как содержимое файла, проверьте источник и сохраните границу доступа. OWASP описывает этот класс риска как внедрение инструкций через недоверенный контент.

Как принять работу и когда остановиться

Приёмка простая: каждую строку отчёта можно открыть в названной версии; заранее известный конфликт найден; отсутствующий пункт не представлен как факт; агент ничего не изменил и не отправил. Если хотя бы один критерий не выполнен, результат остаётся черновиком. Для анализа отдельного PDF с проверкой цитат есть отдельный разбор Claude PDF, а специфические документы закупки требуют собственной процедуры, как в пилоте для тендеров.

Этот подход не подходит для автоматического утверждения договоров, медицинских выводов или решений с финансовыми последствиями. Нужны специалист, утверждённые правила и контролируемая среда. Даже точная таблица не заменяет ответственного человека.

Частые вопросы

Можно ли дать агенту сразу всю папку документов?

Для первого пилота лучше перечислить несколько файлов и их версии. Большая папка усложнит поиск пропусков и повторение проверки. Расширяйте набор только после приёмки на маленьком тесте.

Чем агент отличается от пересказа PDF?

Пересказ отвечает по одному материалу. Здесь повторяется порядок сверки нескольких версий и получается таблица с источниками, статусами и вопросами к человеку.

Что делать, если в PDF только скан?

Сделайте распознанную копию и выборочно сверьте ключевые поля с изображением. Ошибки распознавания особенно опасны в датах, суммах и номерах.

Можно ли доверить агенту отправку готового отчёта?

В первом пилоте нет. Оставьте отчёт черновиком, который человек сверит с исходниками и сам решит, кому и когда его передавать.