Как защищать ИИ-агентов: обзор российских систем безопасности

По данным TAdviser, к началу года почти половина российских компаний (46%) внедрили или тестируют автономных агентов. При этом корпоративные политики безопасности зачастую не успевают за скоростью внедрения технологий. На практике этот разрыв приводит к рекордному росту финансовых потерь — ежегодное исследование IBM и Ponemon Institute зафиксировало среднюю стоимость инцидента на уровне почти 5 миллионов долларов США.

Разберем, какие решения для защиты таких систем сегодня представлены на российском рынке, чем отличаются их подходы и как выбрать подходящую архитектуру под задачи компании.

Когда компания использует обычную языковую модель, основные риски связаны с самим взаимодействием: в LLM могут попасть конфиденциальные данные, в запрос — вредоносные инструкции, а компания может потерять контроль над тем, кто и как использует модели.

Поэтому первые системы защиты ИИ сосредоточились на контроле запросов и ответов: они анализируют промпты, ищут признаки prompt injection, предотвращают утечки и ведут аудит взаимодействий.

С ИИ-агентами этого уже недостаточно. Агент может самостоятельно выполнять последовательность действий, обращаться к API, базам данных, файловой системе и другим инструментам.

Поэтому важно контролировать: что агент отправляет в LLM, что получает в ответ и что он делает дальше. Например, к каким системам обращается, какие инструменты использует и не выходит ли за рамки поставленной задачи.
Именно здесь появляется следующий уровень безопасности — контроль действий и поведения ИИ-агента.

Системы безопасности ИИ работают на разных уровнях. При этом один продукт может совмещать несколько подходов.

Российский рынок систем безопасности для ИИ пока только формируется, поэтому решения заметно различаются по своему назначению. Одни сосредоточены на защите взаимодействия с языковыми моделями, другие помогают централизованно управлять доступом к LLM, третьи делают акцент на контроле действий самих агентов.

Для обзора мы рассмотрели пять решений: CyberAgentReview, INFERA AI. Firewall, Hivetrace, StarGuard AI и LiteLLM.

Решения, представленные на рынке, работают на разных уровнях контроля: от защиты взаимодействия с языковыми моделями до управления AI-инфраструктурой и мониторинга действий автономных агентов.

Для наглядности мы собрали ключевые возможности рассмотренных систем в одной таблице.

При выборе решения стоит начинать не со списка функций, а с собственной архитектуры и сценариев использования ИИ.

Система помогает контролировать доступ агента к инструментам и отслеживать его действия в процессе выполнения задачи. В сочетании с анализом поведения это позволяет оценивать не отдельный запрос, а контекст всей работы агента. Кроме того, имеется функционал для определения прямых подключений сотрудников к публичным LLM-моделям для борьбы с Shadow AI.

Такой подход особенно актуален для систем, в которых ИИ получает доступ к корпоративным ресурсам и может самостоятельно выполнять операции.

ИИ-агенты постепенно становятся самостоятельными участниками корпоративной инфраструктуры. Они получают доступы, используют инструменты, взаимодействуют с внутренними и внешними системами и могут выполнять действия без постоянного участия человека.

Поэтому меняется и подход к их безопасности.

Недостаточно только проверять промпты и блокировать опасные запросы. Необходимо понимать весь контекст работы агента: какую задачу он получил, к каким данным и инструментам обратился и что в итоге попытался сделать.

Российский рынок систем безопасности ИИ уже начинает отвечать на эту потребность. Однако единый стандарт пока только формируется, а продукты развиваются в разных направлениях.

Поэтому выбирать решение стоит не по принципу «какой AI Firewall лучше», а исходя из того, насколько самостоятельны ИИ-системы в конкретной компании.

Если ИИ только отвечает на вопросы сотрудников, одного набора защитных механизмов может быть достаточно. Но если агент получает доступ к API, базам данных, файловой системе или другим инструментам, возникает следующая задача — контролировать не только то, что он говорит, но и то, что он делает.

Именно здесь начинается следующий этап развития систем AI Security — переход от защиты взаимодействия с языковыми моделями к контролю поведения и действий ИИ-агентов.