Программные ассистенты научились совершенствоваться через диалог с виртуальными инженерами
Реальная разработка жгутов определяется явными и неявными требованиями пользователя, которые определяют разработку и проверку. Однако существующие методы эволюции обвязок часто упускают из виду неявные требования и потребности взаимодействия, используя при этом один агент эволюции для изменения оценок обвязок и тестов для выбора изменений. Этот процесс часто приводит к появлению узких патчей и приводит к локальному оптимуму, специфичному для эталонных тестов. Мы представляем бета-версию Agentic Harness Engineering Beta (AHE-Beta) — цикл, ориентированный на требования, который привносит в эволюцию ремня безопасности реальные инженерные практики. Цикл состоит из трех этапов: (1) Оценка, управляемая пользователем, позволяет смоделированным пользователям поднимать свои требования как проблемы во время работы с подвеской в течение нескольких оборотов. (2) Коллективная модификация реализует эти требования как общие изменения, а не как исправления для конкретных задач. (3) Выбор, основанный на требованиях, объединяет изменение только тогда, когда оно удовлетворяет проверенному требованию и проходит проверку. Эмпирически при выполнении отложенных задач AHE-Beta повышает pass@1 с 21.9% до 33.3%, используя 40.8% меньше токенов, чем Base Harness, и достигает более высокого pass@1, чем Claude Code, Meta-Harness и AHE. В слепом A/B-тесте с участием человека реальные пользователи предпочитают AHE-Beta в 31 из 48 действительных пар и оценивают его выше по всем пяти измерениям, что соответствует направленному предпочтению пользовательского симулятора. Результаты A/B для людей показывают, что AHE-Beta достигает своей цели — привести эволюцию привязных ремней в соответствие с реальными требованиями пользователей. Без дальнейшего развития преимущества передаются в GLM-5.3 и DeepSeek-V4.1-Flash с улучшениями pass@1 15.8% и 5.3% по сравнению с Base Harness. В совокупности эти результаты показывают, что эволюция средств, ориентированная на требования, является более общим методом улучшения возможностей агентов.
## В чем суть открытия На протяжении десятилетий прогресс в автоматизированной разработке программного обеспечения измерялся бинарными верификаторами: код либо компилируется и проходит модульные тесты, либо падает с ошибкой. С появлением автономных языковых агентов эта парадигма завела индустрию в концептуальный тупик. Исследователи оптимизировали «обвязку» модели — системные промпты, промежуточные слои и вызовы терминальных утилит — исключительно под сухие метрики синтетических бенчмарков. В результате алгоритмы научились виртуозно подгонять решения под скрытые автотесты, но стали совершенно невыносимы в живой парной разработке. Они игнорировали вмешательства человека, уходили в многоминутные циклы бессмысленного чтения файлов без внесения правок и скрывали промежуточный прогресс. Команда исследователей из Фуданьского, Пекинского и Жэньминь университетов предложила радикальную смену парадигмы в системе Agentic Harness Engineering Beta. Вместо того чтобы оптимизировать агентную обвязку по оценкам бенчмарков, авторы замкнули эволюционный цикл на непрерывном удовлетворении явных и неявных пользовательских требований. ## Как это устроено: принцип работы Архитектура воспроизводит слаженную работу классической софтверной компании внутри репозитория. Процесс разделен на три строгие фазы. На этапе оценки ансамбль из пятидесяти детализированных цифровых личностей, профили которых реконструированы по реальным следам разработчиков на GitHub и в технических эссе, выполняет задачи в многошаговом диалоге с агентом. Симулятор оценивает не финальный патч, а процесс сотрудничества: фиксирует задержки, проверяет отчеты и заводит тикеты с жалобами на неадекватное поведение системы. На этапе модификации специализированная команда виртуальных специалистов берет проблемы в работу. Модуль триажа отсеивает шумные жалобы, архитектор группирует проблемы с общими корнями в структурные требования, а менеджер продукта формулирует общие спецификации пользовательского опыта. Разработчики пишут строгие технические предложения и оформляют изменения кода в виде pull request. Ключевой предохранитель заложен в фазе отбора: изменения сливаются в основную ветку только при условии, что они решают доказанную проблему пользователя и проходят независимое код-ревью, полностью исключая запуск синтетических бенчмарков во время эволюции. ## Результаты и доказательства Эффективность подхода проверена на тридцати восьми изолированных задачах индекса Harbor, охватывающих программирование, алгорит