Риск корпоративного ИИ - не агенты, а сложность между ними

Компании пускают в работу десятки AI-агентов, и каждый дёргает API, вызывает других агентов и залезает в системы, которые под машину-решателя вообще не писали. Настоящий риск не в том, что один агент сделает что-то лишнее, а в том, что сотня таких агентов цепляется друг за друга так, что целиком систему уже никто не видит.

Парадокс в том, что добавили второго агента - получили одно соединение. Добавили десятого - и соединений не десять, а десятки. Любой агент в любой момент может позвонить любому, и каждый вызов запускает следующий. Сложность растёт не от числа агентов, а от числа троп между ними. И никто специально не рисует этот граф.

Заявка в поддержку раньше трогала одну систему, теперь проходит через четырёх агентов, прежде чем до неё дотронется человек. Каждый такой переход - точка решения, которую никто не согласовывал.

Спросите команду безопасности, какие агенты имеют доступ к каким системам, - встретите тишину. Спросите, какой агент запустил действие три хопа назад, - снова тишина. Программы вязнут ровно там, где люди перестают понимать, что происходит.

Первый порыв - оформить всё как чек-лист. Одобри агента, залогируй агента, иди дальше. Так не работает. Чек-лист проверяет момент времени, а сложность живёт по всей цепочке. Цепочку не удержать стопкой разовых одобрений, как нельзя назвать диету успешной за один съеденный овощ.

Ломается всё сначала в правах. Кто-то строит агента для сводки по заявкам, выдаёт ему широкий доступ к API, потому что нормально ограничить - это ещё один спринт, и через полгода забывает о нём. К тому моменту у того же агента появляется путь в платёжную систему. Кто это подписал? Никто.

Дальше размывается владелец. Пять агентов трогают один процесс, что-то падает на четвёртом шаге, и вы ищете ответственного за звено, которое никому не назначали. Оргструктура дошла до «запусти агента», но так и не дошла до «назови человека, который за него отвечает».

Лечится это с идентичности. У каждого агента должна быть своя личность, а не тень чужих прав: имя в реестре, свои рамки полномочий и живой спонсор из людей, который отвечает за его действия. Это шаг необходимый. Но недостаточный.

Нужен надзор через всю цепочку, а не в каждом звене по отдельности. Надо видеть, что агент сделал, что он запустил ниже по потоку и где след обрывается, в реальном времени, а не в отчёте раз в квартал.

И контроль. Смотреть, что уже произошло, и останавливать - разные вещи. Панель, которая показывает, что агент нарушил рамки пять минут назад, - это мониторинг. Система, которая не даёт нарушению случиться, - это управление. Компаниям, которые всерьёз относятся к ответственности агентов, нужно и то и другое, а построено у большинства только первое.

Для бизнеса из Владивостока и всего Дальнего Востока отсюда живой вывод, как внедрить ИИ в бизнес без хаоса: закладывайте управление агентами с первого дня. Иначе десятки агентов размножатся быстрее, чем компания научится ими управлять.