Безопасность ИИ-агентов: невидимые риски и зрелый контроль агентного ИИ

Главная проблема в том, что классические подходы к ИБ создавались для традиционного софта и предсказуемых сценариев работы пользователей. Но агентный ИИ действует иначе: принимает промежуточные решения, взаимодействует с внешними сервисами, вызывает инструменты и может самостоятельно выполнять действия внутри инфраструктуры компании.

Из-за этого бизнесу приходится переосмысливать сам подход к защите ИИ-агентов и контролю AI-систем.

Российские компании всё активнее внедряют генеративный ИИ и агентные системы. Речь уже не только про чат-ботов: в корпоративной среде появляются AI-ассистенты разработчиков, внутренние сервисы автоматизации, HR- и support-агенты, инструменты аналитики и обработки документов.

На этом фоне растет и внимание к вопросам безопасности ИИ и контроля автономных систем. Причины вполне практические:

При этом рынок всё ещё находится в переходной стадии. Многие компании уже тестируют внедрение ИИ-агентов, но далеко не все выстроили полноценную стратегию AI Security. На практике внедрение часто опережает процессы контроля.

Главное отличие ИИ-агента от обычного чат-бота — способность действовать.
Агент не просто отвечает на вопросы. Он взаимодействует с инструментами, запускает сценарии, вызывает API, работает с кодом и корпоративными системами. Причём делает это динамически: на основе контекста, промежуточных решений и собственных подцелей.

Из-за этого появляются новые классы угроз:

Эти риски уже систематизированы в OWASP Top 10 for Agentic Applications — международном фреймворке по безопасности агентных приложений. И ключевой вывод там простой: традиционных средств защиты недостаточно, если система принимает решения автономно.

На практике проблема редко выглядит как «хакер взломал ИИ». Гораздо чаще агент сам становится посредником между инфраструктурой компании и внешним воздействием.

Типовые сценарии выглядят так:

Именно поэтому сегодня основной риск — не сама модель, а отсутствие наблюдаемости за действиями агента.

Для бизнеса это уже вопрос не только технологий, но и защиты данных при использовании ИИ, соответствия требованиям регуляторов и контроля Shadow AI внутри компании.

Рынок инструментов для мониторинга и контроля агентных ИИ пока только формируется. Если ещё недавно компании ограничивались логированием запросов к LLM, то теперь появляются отдельные решения для наблюдаемости и защиты агентных систем.

Условно можно выделить три направления:

Компании внедряют специализированные системы защиты ИИ-агентов и контроля действий LLM в корпоративной среде. Такие решения помогают увидеть, какие данные агент передает во внешние модели, какие инструменты вызывает и где возникают риски утечки или выхода за пределы разрешенных сценариев.

Традиционные системы кибербезопасности ИИ остаются важной частью инфраструктуры, но сами по себе они не проектировались для контроля автономных AI-агентов и защиты агентных систем.

SIEM, PAM, IAM или XDR хорошо работают с понятными сущностями: пользователями, серверами, приложениями, событиями доступа.

Но агентный ИИ действует иначе:

• самостоятельно принимает промежуточные решения;
• строит цепочки действий;
• работает через инструменты и API;
• меняет свое поведение в зависимости от контекста.

В результате ИБ-команда может видеть отдельные события, но не понимать логику происходящего.

Например: агент легитимно обращается к Git, затем к CRM, затем к внешнему API. Формально всё разрешено. Но в совокупности это может оказаться цепочкой подготовки к утечке данных.

Поэтому всё чаще компании приходят к многослойной модели защиты:

В корпоративной среде постепенно формируется отдельный класс решений для контроля агентных систем. Их задача — не просто собирать логи, а понимать контекст действий ИИ-агента.

Система мониторинга и защиты ИИ-агентов может работать как единый прокси-слой между агентом и внешними LLM-сервисами. В этом случае ИБ-команда получает возможность видеть:

Такой подход позволяет выявлять проблемы ещё до инцидента.

Например, в одном из сценариев мониторинг показал, что агент для исправления багов регулярно запрашивал финансовую документацию, хотя это не требовалось для его задачи. Причиной оказалась слишком широкая формулировка системного промпта.

В другом случае система обнаружила попытку установки npm-пакета с функциями удалённого выполнения команд и остановила действие до подтверждения пользователя.

На практике эффективная стратегия AI Security не заменяет существующий кибербез, а дополняет его.

Традиционные инструменты по-прежнему критически важны:

Но поверх этого появляется новый слой: контроль поведения автономных систем и наблюдаемость их действий в реальном времени.

Именно этот слой сегодня становится ключевым отличием между «у нас есть AI-агенты» и «у нас AI-агенты действительно под контролем».

Безопасность агентного ИИ уже выходит за рамки классического AppSec или Data Science.

Компании всё чаще ищут специалистов, которые одновременно понимают:

Таких специалистов пока мало — и это становится отдельным вызовом рынка.

Российские вузы уже начинают реагировать: профильные программы и курсы по AI Security появляются в ИТМО, МФТИ и ВШЭ. Но бизнесу уже сейчас приходится формировать экспертизу внутри команд.

Переход к агентным ИИ — это не просто внедрение еще одного цифрового инструмента. Это изменение самой модели взаимодействия с корпоративной инфраструктурой.

ИИ-агенты становятся новыми активными участниками процессов:

А значит — требуют отдельного уровня контроля.

Сейчас рынок находится в точке, где внедрение агентных систем идёт быстрее, чем зрелость механизмов их защиты. Именно поэтому уже сегодня компаниям важно выстраивать наблюдаемость, контроль поведения и прозрачность работы AI-агентов — до того, как первый инцидент превратится в проблему для ИБ, бизнеса и регуляторов.

В ближайшие годы безопасность ИИ станет таким же обязательным элементом корпоративной инфраструктуры, как когда-то стали DevSecOps, DLP и контроль привилегированного доступа. Компании, которые начнут выстраивать контроль ИИ-агентов уже сейчас, получат преимущество не только в безопасности, но и в скорости масштабирования AI-систем.

Если ваша команда уже тестирует или внедряет AI-агентов, хороший первый шаг — проверить, какие действия они реально выполняют внутри инфраструктуры и насколько эти действия сегодня вообще видны службе безопасности.