Self-Harness: AI-агенты научились переписывать собственные правила и выросли на 60%

AI-агент умеет писать код, но не замечает, что зацикливается на одной ошибке и перебирает одно и то же по кругу. Человек-инженер видит это, но править харнес (обвязку агента) каждый раз вручную - дорого и медленно. Исследователи из Шанхайской лаборатории искусственного интеллекта предложили Self-Harness - фреймворк, в котором агент сам находит свои слабые места, генерирует исправления и проверяет их через регрессионные тесты. Прирост на отложенных задачах - от 33 до 60% в зависимости от модели.

Проблема современных AI-агентов не в модели, а в обвязке. Harness (или харнес) - это системный промпт, инструменты, память, правила верификации, логика оркестрации и процедуры восстановления после сбоев. Claude Code, Codex, SWE-agent, OpenHands - у каждого свой харнес, и именно он определяет, насколько эффективно модель решает реальные задачи.

По словам Ханфаня Чжана, ведущего автора Self-Harness, узкое место не в том, что люди медленные или неспособные. «Опытный инженер с глубокими знаниями предмета всё ещё может предложить лучшие изменения, чем LLM», - говорит Чжан. Проблема в том, что ручная инженерия харнеса опирается на интуицию и ad hoc-отладку, а не на систематический цикл обратной связи.

Три шага самоулучшения

Self-Harness работает в три этапа. Первый - weakness mining: агент запускает набор задач, собирает трейсы выполнения и классифицирует упавшие. Он ищет повторяющиеся паттерны ошибок. Второй - harness proposal: на основе найденных слабостей агент в роли «предлагатора» генерирует набор минимальных изменений харнеса, каждое - к конкретному механизму сбоя. Третий - proposal validation: система оценивает каждое изменение через регрессионные тесты. Правка принимается, если она улучшает результат и не ломает другие сценарии.

Визуализация для бизнеса: представьте AI-агента, который автоматически исправляет баги в вашем коде. Компания обновила стиль документации - и агент внезапно начал вытягивать не тот контекст и писать плохие патчи. Self-Harness превращает этот неочевидный сбой в решаемую задачу: трейсы падений показывают, где агент неправильно использует новый формат, предлагатор генерирует точное исправление, а оценщик проверяет, что оно не испортило старые сценарии.

«Трейсы падений показывают, где агент неправильно использует новый формат документации; предлагатор может сгенерировать точное исправление харнеса... а оценщик решает, улучшает ли правка упавшие случаи без регрессий»

Где Self-Harness применим, а где - нет

Self-Harness лучше всего работает в средах, где сбои можно измерить, а пробы и ошибки относительно безопасны. Идеальные кейсы: программирование, внутренняя автоматизация воркфлоу, пайплайны DevOps. Система использует строгие детерминированные верификаторы - без них риск продвинуть плохое обновление слишком высок.

Чжан предупреждает: не стоит автоматизировать харнес в высокорисковых или субъективных областях. «Самые явные красные флаги - домены, где оценка субъективна, отложена, недетерминирована или дорога в ошибке: медицинские решения, safety-critical инфраструктура, юридические заключения».

Что это значит для бизнеса

Self-Harness меняет роль инженера. Вместо того, чтобы вручную править промпты и тул-коллы, команды будут проектировать системы обратной связи, которые позволяют агентам улучшаться самостоятельно. Как говорит Чжан, «инженер становится не твикером промптов, а архитектором фидбека».

Для компаний во Владивостоке и на Дальнем Востоке, которые задумываются об автоматизации с помощью ИИ, это значит: будущее AI-агентов - не в ручной настройке, а в самообучающихся системах, которые адаптируются к изменениям без участия человека. Нейросети для бизнеса, которые умеют сами исправлять свои ошибки, - это не фантастика, а технология, которая уже работает на Terminal-Bench-2.0.

Внедрение искусственного интеллекта в бизнес-процессы становится проще, когда агенты не требуют постоянной ручной доводки. Self-Harness показывает, как это сделать: дать агенту зеркало, в котором он видит свои ошибки, и право их исправить.