ИИ-агент вышел из-под контроля: остановка и восстановление

Если ИИ-агент вышел из-под контроля, сначала остановите новые действия и перекройте затронутый доступ, затем проверьте последствия по самому сервису. Переписка с агентом не заменяет остановку. Ниже разобран уже запущенный помощник, который меняет файлы или работает через подключённые инструменты; для платежей, критичных систем и утечки данных нужен ответственный администратор.

Как отличить ошибочный ответ от нежелательного действия

Ошибочный текст и действие с внешним эффектом требуют разной реакции. Если агент только предложил неверный план, отклоните его и уточните задачу. Если уже создан объект, отправлено сообщение или изменён файл, прекращайте исполнение и проверяйте затронутую систему. Не называйте любое неожиданное поведение взломом: причиной может быть неверный адрес, повтор после сбоя или слишком широкое разрешение.

• Лишний ответ без вызова инструмента: сохраните пример, исправьте условия и перепроверьте черновик.
• Повторяющиеся вызовы без нужного результата: остановите запуск и источник автоматических повторов.
• Изменение вне оговорённой папки или сервиса: перекройте соответствующее право и составьте список затронутых объектов.
• Неизвестная сессия или новый доступ: передайте сведения администратору и рассматривайте отдельное нарушение безопасности.

Это диагностическая развилка, а не способ установить причину по одному сообщению. Возможность раскрыть действие описана в разборе интерфейса ИИ-агентов. Сейчас задача шире: ограничить последствия уже начавшейся операции.

Остановка считается подтверждённой, когда новые операции прекратились и в агенте, и в подключённом сервисе. Надпись в окне сама по себе этого не доказывает.

Что остановить в первую очередь

Прекратите текущий запуск и отключите именно его автоматические источники: расписание, повтор по ошибке, входящие события или очередь заданий. Если вы не управляете ими, сразу привлеките владельца интеграции. Не выключайте общую рабочую систему наугад: сначала установите, какой процесс продолжает создавать действия.

1. Нажмите штатную остановку в клиенте. Запишите идентификатор задачи, время и последнее известное действие.
2. Приостановите её расписание и обработчик повторов. Проверьте, нет ли второго экземпляра той же задачи.
3. Отмените ожидающие задания в подключённой системе, если она позволяет отмену. Уже принятые операции разберите отдельно.
4. Запретите затронутый инструмент или отзовите его доступ на стороне сервиса, если действия продолжаются либо их граница неизвестна.
5. Проверьте журналы обеих сторон за период после остановки. Новые записи об исполнении означают, что источник действий ещё не найден.

При явном продолжающемся ущербе перекрывайте доступ сразу, не откладывая это ради идеального журнала. Общий порядок ограничения инцидента и сохранения доказательств описан в плане реагирования CISA. Здесь он адаптирован к небольшой агентной интеграции, а не заменяет план вашей организации.

По теме: Инженер ИИ-агентов: навыки и проект для их проверки

Как перекрыть доступ без лишних последствий

Отключение инструмента в чате и отзыв ключа у поставщика решают разные задачи. Первое ограничивает выбранный клиент, второе лишает конкретную учётную запись средства доступа. Выберите минимальную границу, которая действительно останавливает нежелательные операции. Перед отзывом общего ключа выясните, какие ещё процессы его используют; при срочном инциденте предупредите их владельцев.

Для GitHub примером служит отзыв токена: после истечения или отзыва он больше не аутентифицирует Git и API, а восстановить его нельзя. Для следующего запуска понадобится новый токен. Это подтверждено документацией GitHub. В других сервисах сверяйтесь с их порядком отзыва, не переносите названия кнопок автоматически.

У отзыва тоже есть границы. GitHub отдельно предупреждает: отзыв доступа fine-grained токена к организации не отключает SSH-ключи, которые этим токеном были созданы. Поэтому при подозрении на создание новых способов доступа проверьте их отдельно; ограничение указано в справке организации. Смена пароля также не должна считаться доказательством отзыва всех интеграций.

Как собрать карточку последствий

Сохраните доступную историю запуска и журнал внешнего сервиса до очистки и перезапуска. Не копируйте в общий чат полные токены, письма клиентов и другие закрытые сведения. В карточке достаточно ссылок на защищённые записи, времени, идентификатора объекта и характера изменения. Наличие журналов помогает обнаруживать необычную активность; CISA рекомендует использовать журналирование рабочих систем.

• Объект: точное имя файла, номер записи или идентификатор отправки.
• До и после: подтверждённое состояние, а при отсутствии снимка честная отметка «неизвестно».
• Основание: событие инструмента, запись сервиса и фактический результат.
• Последствие: черновик, видимое изменение, отправка наружу или неподтверждённая попытка.
• Восстановление: допустимое действие, ответственный и способ проверить его итог.

Пример: агент трижды создал одинаковую заявку. Сначала проверьте номера и состояние всех заявок в самом сервисе. Оставьте одну после согласования владельца процесса, остальные отмените штатным способом, если это безопасно. Не запускайте ту же задачу для «исправления»: она может создать ещё одну запись. Если ошибка только в тексте черновика, восстановление значительно проще, но это устанавливается проверкой.

По теме: ИИ-агент в корпоративном контуре: доступ и проверка

Когда разрешать повторный запуск

Возобновляйте работу после устранения наблюдаемой причины и пробного прохода на копии данных. Хорошее объяснение агента не является доказательством исправления. Общее назначение контрольных сценариев раскрыто в плане тестирования ИИ-агентов; после инцидента проверяйте прежде всего тот путь, который дал нежелательный эффект.

1. Опишите триггер сбоя: неверный объект, недостаток данных, повтор или широкое право. Если причина неизвестна, оставьте опасное действие ручным.
2. Выдайте отдельный узкий доступ, исключите внешнюю отправку и работайте с копией. Не возвращайте общий ключ без необходимости.
3. Повторите исходный случай и прерывание на середине. Проверьте фактическое состояние объектов и отсутствие скрытого повторного запуска.
4. Для операции с внешним эффектом добавьте ручное подтверждение и правило распознавания уже выполненной задачи.
5. Назначьте человека, который разрешит возврат и проверит первый рабочий проход.

Правило допуска: известны источник повторов, охват изменений, действующие права и способ остановки. Если хотя бы одно неизвестно, возвращайте только чтение или подготовку черновика. Выбор обычной самостоятельности отдельно разобран в шкале автономности агентов.

Частые вопросы

Достаточно написать агенту «остановись»?

Нет, если уже выполняются фоновые задания или работает другая интеграция. Используйте штатную остановку и проверьте журнал внешней системы.

Можно ли отменить всё кнопкой остановки?

Не считайте остановку возвратом состояния. Уже изменённые объекты восстанавливаются отдельно; для отправленных сообщений полного возврата может не быть.

Нужно ли отзывать все ключи компании?

Масштаб выбирает ответственный по подтверждённому охвату. Начните с затронутого доступа; при неизвестном охвате или чужой сессии подключите администратора.

Когда нельзя разбирать ситуацию самостоятельно?

При затронутых платежах, критичных системах, закрытых данных или признаках чужого доступа. Ограничьте новые действия и передайте сохранённые сведения ответственной команде.