Скрытые сбои в ИИ-разработке: треть успешных тестов кодинг-агентов оказалась ложной
Агенты кодирования начинают разрабатывать инфраструктуру искусственного интеллекта производственного уровня, которая обучает и обслуживает большие модели, однако существующие тесты охватывают только одно ядро или задачи с одним графическим процессором и оцениваются с помощью тестов и подсказок, которые неправильно оценивают как правильные, так и неправильные исправления. Мы представляем InfraDev, тест из 36 задач, созданных на основе реальных запросов на включение в Megatron-LM, vLLM и verl, охватывающий разработку инфраструктуры для обучения, вывода и обучения с подкреплением. Каждая задача требует от агента повторной реализации реального изменения, которое охватывает множество файлов и должно корректно работать на многих графических процессорах. Чтобы оценить такие изменения, мы совместно синтезируем скрытые тесты, которые обеспечивают выполнение требований, которые исходные тесты оставляют непроверенными, и подсказку, в которой указывается каждый интерфейс, который вызывают зонды, но не раскрывается решение. Мы также разрабатываем общую среду выполнения, которая повторно использует зависимости и артефакты для разных задач, сокращая объем хранилища на 52-57% и время сборки на 13-14% на Megatron-LM и vLLM. Из шести передовых моделей лучше всего решает только 38.9% поставленных задач; зонды отклоняют 32% из представленных материалов, прошедших все официальные тесты, а с исходными описаниями запросов на включение в качестве подсказок ни одна модель не решает ни одной задачи. Анализ отказов показывает, что преобладают структурные ошибки и ошибки состояния, а собственные тесты агентов редко проверяют память, время или трафик. Превращение этих результатов в навык агента повышает скорость решения пограничной модели при выполнении задач Мегатрон-LM от 10.5%.
## В чем суть открытия Почему 32% агентов кодирования ИИ проходит официальные тесты, но при этом выходит из строя рабочий код, и как скрытые проверки могут исправить тесты? ## Как это устроено: принцип работы Мы представляем InfraDev, тест из 36 задач, созданных на основе реальных запросов на включение в Megatron-LM, vLLM и verl, охватывающий разработку инфраструктуры для обучения, вывода и обучения с подкреплением. Каждая задача требует от агента повторной реализации реального изменения, которое охватывает множество файлов и должно корректно работать на многих графических процессорах. ## Что это меняет на практике Обеспечивает надежное автоматизированное проектирование для крупномасштабных распределенных механизмов обучения и вывода, сокращая затраты на хранение среды на 52–57% и повышая успешность агентов при выполнении задач Megatron-LM с помощью 10.5% благодаря целевым навыкам отладки. ## Границы метода и риски Требуется дорогостоящее оборудование с несколькими графическими процессорами (до 200 графических часов на оценку модели), полагается на ручное экспертное PR-курирование, а пограничные агенты по-прежнему решают задачи в рамках 39%. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)