Правила для AI-агента живут в базе данных
EDB предлагает девять контролей для агентов: доступ, маскирование, журнал сессий. Почему инструкции над моделью не работают и что делать бизнесу.
Новости · Новости
Все новости
Технический директор EDB Макс Романенко начал разбор про автономных агентов с простой инструкции: «Никогда не открывай дверь машины». Выполненная дословно, она оставит человека снаружи навсегда. Машина попала в аварию, начался пожар, кому-то нужно выйти, и правильное действие меняется на противоположное. Тот же тупик ждёт компании, которые вешают правила на модель в виде промпта и надеются, что агент их соблюдёт.
Почему надзор сверху не успевает
Привычный ответ на риск автономии такой: добавить агенту инструкций, политик и мониторинга уровнем выше модели. Эти механизмы нужны, но у них общий изъян. Проверка до действия работает, пока действие предсказуемо, а автономия как раз и означает, что следующий шаг предсказать трудно. Согласование перед каждым действием не совмещается с системой, которая отвечает за миллисекунды и сразу в нескольких сервисах.
Романенко предлагает перенести контроль туда, где агент реально работает с данными: в слой базы. Тогда правило перестаёт быть просьбой к модели и становится свойством самой системы. Запрет на класс данных сработает, только если база откажет в доступе в момент запроса. Требование к аудиту имеет смысл, когда организация может восстановить, что агент сделал, каких данных коснулся, от имени какого сотрудника и с каким результатом.
- Ограничить: роли и атрибуты проверяются при запросе, маскирование колонок идёт по тому же пути политик, у агента своя идентичность с заявленной целью сессии
- Показать и доказать: классификация данных задаёт правила, журнал сессии хранит агента, пользователя и цель, происхождение данных прослеживает результат до исходного запроса
- Объединить: единое управление политиками, шифрование при хранении и передаче, одинаковое исполнение в облаке, на своём железе и в изолированном контуре
Агент как отдельный пользователь системы
Самая содержательная часть фреймворка касается идентичности. Сейчас во многих компаниях агент действует под токеном сервиса или под учёткой сотрудника, который его запустил. Тогда в журнале остаётся человек, а не исполнитель. EDB предлагает считать агента самостоятельным субъектом доступа со своим именем и целью, объявленной при открытии сессии. Цель становится атрибутом, который движок политик оценивает так же, как роль или отдел.
«Объявленная цель и даёт разницу. Она становится атрибутом, который слой доступа уже понимает, и оценивается тем же путём политик, что роль и построчное ограничение. Механизм проверки не меняется. Меняется то, что цель агента попадает в оценку и в запись, которая доказывает случившееся потом», - говорит Приянка Джайн, вице-президент по продукту для управления данными и ИИ в EDB.
Практический эффект виден на споре «допустить или отклонить». Агент, которому цель сессии заявлена как «подготовить отчёт по продажам», не получит доступ к зарплатным записям, даже если у запустившего его сотрудника такой доступ есть. Правило проверяет не только кто, но и зачем.
Что это значит для бизнеса
Материал вышел как спонсируемый текст EDB, то есть описывает продуктовый взгляд вендора на управление данными. Читать его полезно как чеклист вопросов, а не как готовый рецепт. Главная мысль от этого не меняется: компания, которая даёт агенту право действовать, должна уметь остановить его на уровне инфраструктуры.
Порядок работ при внедрении искусственного интеллекта в процессы с доступом к внутренним данным:
- Выпишите, под какой учётной записью сейчас работает каждый агент. Если ответ «под учёткой администратора, который его настроил», начните с этого места.
- Разделите данные на три класса: открытые агенту, доступные только с явной целью сессии и закрытые всем автоматическим системам. Каталог и остатки обычно попадают в первый класс, история покупок и персональные данные во второй, зарплаты и договоры в третий.
- Добавьте в журнал три поля: какой агент, от чьего имени и с какой целью. Без них разбор инцидента упрётся в догадки.
- Проверьте, что правило живёт в базе, а не в инструкции модели. Тест простой: попросите агента сделать запрещённое действие. Если он отказался «понимая правило», защиты нет, есть совпадение.
Для компаний во Владивостоке и на Дальнем Востоке, где у многих производств и логистики база живёт на своём железе, этот вопрос встаёт раньше, чем у облачных сервисов. Локальный сервер с белым доступом для агента ничем не отличается от интернет-периметра: ограничивать нужно на уровне запросов, а не на уровне договорённостей.
Мы разбираем, где в ваших процессах агент получает право действовать, и собираем автоматизацию с помощью ии так, чтобы правила проверялись системами, а не памятью модели. Нейросети для бизнеса и внедрение искусственного интеллекта у нас начинаются с бесплатного аудита.
Бесплатный AI-аудит: смотрим, под какими правами работают автоматические системы, что они видят и как это доказать при разборе. Работаем во Владивостоке и по всему Дальнему Востоку.
🔍 Бесплатный аудит 🤖 Внедрение AI