Теневой ИИ и ИИ-агенты: почему контроля промптов недостаточно для защиты корпоративных данных
Сотрудники используют публичные ИИ-сервисы с доступом к рабочим данным, а компании об этом не знают. Разбираем, почему традиционный контроль промптов не спасает и как перестроить защиту под эпоху ИИ-агентов.
Когда ИИ уже в сети, а служба ИБ об этом не знает
Теневой ИИ в компании — не угроза на горизонте, а текущая реальность корпоративных сетей. Сотрудники подключают Cursor к корпоративному репозиторию, отдают ChatGPT фрагменты клиентских баз для анализа, используют Copilot для работы с внутренними документами. Служба информационной безопасности при этом нередко убеждена, что никакого ИИ в инфраструктуре нет. Это расхождение и создаёт слепую зону.
Специалисты Infera Security фиксируют принципиально новый уровень проблемы: угрозу представляют не только промпты с конфиденциальными сведениями. Вместе с языковыми моделями в рабочую среду организации приходят ИИ-агенты — автономные системы, которые не просто отвечают на вопросы, но и совершают действия: читают файлы, вызывают API, обращаются к базам данных. И делают это от имени пользователя, используя его полномочия. Отслеживать лишь диалог человека с нейросетью — значит охватывать только малую долю происходящего.
LLM Firewall: что он закрывает и что упускает
Первая реакция компании на Shadow AI — установить LLM-файрвол: инструмент, который перехватывает и проверяет запросы к языковым моделям. Решение обоснованное, но закрывает лишь один из слоёв угроз — диалог пользователя с моделью. Что агент делает дальше, после того как модель поставила ему задачу, файрвол не охватывает.
Именно здесь возникают четыре класса опасных сценариев, которые не фиксируются в логах LLM-файрвола:
- Легитимные инструменты с вредоносными параметрами. Автоматизированная система обращается к разрешённому API или скрипту, передавая ему сведения, которые не должны покидать периметр.
- Эксфильтрация через авторизованные вызовы. Информация уходит не напрямую «наружу», а через цепочку разрешённых операций, каждая из которых по отдельности выглядит безопасной.
- Злоупотребление привилегиями агента. Система с широкими правами, выданными «для удобства», обращается к ресурсам, не нужным для её конкретной задачи.
- Отравление инструментов и дрейф поведения. Взломанный MCP-сервер или незаметное изменение конфигурации меняет поведение агента так, что ни пользователь, ни служба ИБ этого не замечают.
Вывод прямой: управление Shadow AI сегодня невозможно рассматривать отдельно от runtime-надзора за действиями ИИ-агентов. LLM Firewall — необходимый, но не достаточный инструмент.
ИИ-агент как привилегированный субъект: аналогия, которая меняет подход к защите
Центральный тезис Infera Security: ИИ-агент функционирует в IT-среде как субъект с делегированными полномочиями — по сути, как пользователь, а нередко как привилегированный пользователь. Он читает файлы, выполняет запросы, вызывает внешние сервисы в границах тех прав, что ему переданы.
Это переворачивает привычную логику защиты. Если в организации выстроено управление привилегированным доступом (PAM) — ведётся аудит действий администраторов, применяется принцип наименьших привилегий, критические операции требуют подтверждения — те же принципы необходимо распространить на автономные агентные системы. Пока этого нет, такой инструмент фактически становится привилегированной учётной записью без контроля, без ограничений по задачам и без истории совершённых операций.
Особую опасность представляет то, что подобные инструменты появляются в инфраструктуре стихийно, без регистрации и без политик. Разработчик подключает IDE-ассистента к корпоративному репозиторию. Аналитик интегрирует ИИ-инструмент с таблицами, содержащими сведения о клиентах. Формально — в рамках личных прав. Фактически — к внутренним ресурсам организации появился новый неучтённый субъект с доступом и без надзора.
Практический минимум: шесть мер контроля ИИ-агентов в корпоративной среде
Infera Security формулирует базовый набор мер, без которых контроль теневого ИИ в корпоративной сети остаётся неполным. Ни одну из них нельзя пропустить — они работают в связке.
1. Реестр моделей и агентов (AI-BOM)
Отправная точка — понять, что именно работает в IT-среде. AI-BOM (Bill of Materials для ИИ) — перечень всех языковых моделей, автономных систем и MCP-серверов, используемых в организации. Без такого реестра невозможно применить к ним политики безопасности, провести аудит или расследовать инцидент. Нет реестра — нет надзора.
2. Разделение контроля модели и контроля действий
Наблюдение за промптами и наблюдение за действиями автономной системы — это разные задачи, требующие разных инструментов. LLM-файрвол закрывает первую. Для второй нужен runtime-мониторинг: перехват вызовов инструментов до их исполнения, а не журналирование по факту совершённого.
3. Принцип наименьших привилегий — deny-by-default
Каждая автономная система получает ровно те полномочия, которые необходимы для её конкретной задачи, и ничего сверх. Политика deny-by-default: запрещено всё, что явно не разрешено. Это сокращает радиус возможного инцидента, если агент скомпрометирован или ведёт себя непредсказуемо.
4. Human-in-the-Loop для критических операций
Операции с высоким риском — удаление данных, передача информации во внешние системы, изменение конфигураций — не должны выполняться автономно без явного подтверждения человека. Это исключает целый класс инцидентов, когда агент действует «по логике», но против интересов организации.
5. Режим fail-closed
Если система надзора недоступна — агент прекращает работу, а не продолжает с полными правами в обход политик. Fail-closed критически важен: временная недоступность инструмента контроля не должна превращаться в окно для неконтролируемых операций.
6. Полный аудитный след
Для каждого действия агента сохраняется полная цепочка: рассуждение модели → вызов инструмента → результат. Это необходимо и для расследования инцидентов, и для выявления аномалий до того, как они перерастут в утечку.
| Мера | Что закрывает | Аналог в PAM/DLP |
|---|---|---|
| AI-BOM (реестр) | Неизвестные агенты в инфраструктуре | Учёт привилегированных учётных записей |
| Runtime-перехват | Опасные вызовы инструментов | Мониторинг действий администраторов |
| Наименьшие привилегии | Избыточный доступ к данным | Ролевое разграничение прав (RBAC) |
| Human-in-the-Loop | Автономные критические операции | Двойное подтверждение привилегированных команд |
| Fail-closed | Работа в обход политик при сбое | Блокировка сессии при разрыве контроля |
| Аудитный след | Отсутствие доказательной базы | Запись сессий и логирование (DLP, Staffcop) |
Единая политика доступа: от людей к ИИ-агентам
Описанные меры — не отдельная ИБ-практика специально для ИИ-проектов. Это расширение тех же принципов, которые уже должны работать для управления доступом людей: реестр субъектов, минимальные права, надзор за действиями, человеческое подтверждение критических операций, полный аудит.
Принципиальная разница — в скорости и масштабе. Системный администратор за рабочий день совершает десятки операций, ИИ-агент — тысячи. Это означает, что классического ручного аудита журналов недостаточно: нужны инструменты, способные анализировать поведение таких систем в реальном времени, строить поведенческие профили и сигнализировать об отклонениях автоматически.
Пока ИБ-команды выстраивают политики для ИИ-агентов, несанкционированные ИИ-инструменты продолжают распространяться: каждый новый продукт с ИИ-компонентой потенциально является неучтённым субъектом с доступом к внутренним ресурсам организации. Без соответствующей инфраструктуры контроля управлять этим невозможно.
Частые вопросы
Чем ИИ-агент отличается от обычного использования нейросети?
При обычном использовании человек вводит запрос и получает ответ — взаимодействие на уровне диалога. ИИ-агент идёт дальше: он самостоятельно вызывает инструменты, читает файлы, обращается к API и базам данных, может запускать другие агентные системы. Такой инструмент действует как субъект с полномочиями доступа к ресурсам IT-среды, а не просто отвечает на запросы.
Достаточно ли заблокировать ChatGPT и другие публичные ИИ-сервисы?
Блокировки снижают поверхность риска, но не решают проблему. ИИ-агенты могут работать внутри корпоративных инструментов — IDE, аналитических платформ, CRM-надстроек — не требуя выхода за периметр. Надзор за действиями агентных систем внутри сети критичнее, чем ограничения на внешнем периметре.
Что такое AI-BOM и с чего начать его составление?
AI-BOM (AI Bill of Materials) — реестр всех языковых моделей, агентов и MCP-серверов, работающих в инфраструктуре организации. Начать стоит с опроса разработчиков и аналитиков, аудита рабочих станций и анализа трафика на предмет обращений к ИИ-API. Без такого перечня любые политики безопасности применяются вслепую.
Как принцип наименьших привилегий работает для ИИ-агентов?
Агенту назначаются только те полномочия, которые необходимы для конкретной задачи. Система для составления отчётов не получает доступа к управлению пользователями или сетевым конфигурациям. Политика deny-by-default: всё, что явно не разрешено, запрещено. Это ограничивает ущерб от скомпрометированного или некорректно работающего агента.
Что такое fail-closed и чем он отличается от fail-open?
Fail-closed — агент прекращает работу, если система надзора недоступна. Fail-open — агент продолжает работать в обход регламентов при сбое наблюдения. В корпоративной среде fail-open недопустим: временная недоступность системы контроля не должна автоматически открывать окно для неограниченных действий с внутренними данными.
Итог: контролировать нужно действия, а не только запросы
Теневой ИИ в компании — это не вопрос корпоративной политики об использовании ChatGPT. Это вопрос управления доступом нового класса субъектов: ИИ-агентов, которые действуют автономно и оставляют след в корпоративных системах. Отслеживать только промпты — значит видеть лишь верхушку айсберга.
Практический ответ строится на тех же принципах, что и управление привилегированным доступом для людей: реестр субъектов, минимальные привилегии, перехват действий до исполнения, участие человека в критических операциях, полный аудитный след. Зрелая ИБ-программа уже включает эти элементы для администраторов — задача состоит в том, чтобы распространить их на ИИ-агентов.
Инструменты наблюдения за действиями и анализа поведения пользователей, такие как Staffcop Enterprise из состава решений Контур.Эгида, дают основу для этого расширения: фиксация обращений к данным, выявление аномальных паттернов, расследование инцидентов постфактум. Если базовый контроль привилегированного доступа в организации ещё не выстроен — это первый шаг, независимо от того, есть ли в IT-среде ИИ-агенты уже сейчас.
