Строгий математический фильтр спасает автономный ИИ от иллюзии ложного саморазвития
Рекурсивное самосовершенствование открывает многообещающий путь к созданию агентов ИИ, которые совершенствуются на основе опыта, совершенствуя свои собственные возможности без переобучения лежащих в их основе моделей большого языка (LLM). Однако для обеспечения надежности этого процесса самосовершенствования требуется нечто большее, чем просто создание новых обновлений: агенты должны решить, какие изменения стоит сохранить. Жадный шлюз, который принимает обновления, основанные исключительно на более высоких показателях валидации, может ошибочно принять наблюдаемый прирост за реальный прогресс и привести к снижению производительности, тогда как чрезмерно консервативные статистические шлюзы могут отклонять полезные обновления и препятствовать повышению производительности. Мы представляем надежные рекурсивные обновления со статистическим тестированием (TRUST), структуру, которая адаптирует онлайн-процедуру проверки множественных гипотез для контроля скорости ложной эволюции в разных раундах, а LLM анализирует исторический контекст, чтобы помочь определить, сколько доказательств требуется для обновления действующего лица. При интерпретируемых предположениях мы доказываем, что TRUST ограничивает долю принимаемых обновлений, которые приводят к неприемлемой потере производительности. Далее мы получаем нижнюю границу конечного прироста производительности. В тестах HotpotQA, DROP и APPS с моделями DeepSeek-V4-Flash и Qwen-3.8-Flash TRUST снижает среднее соотношение принятых худших обновлений с 45.59% жадного шлюза до 2.78%, достигая при этом более высоких итоговых оценок, чем базовые показатели современных статистических шлюзов для рекурсивного самосовершенствования. Эти результаты показывают, что TRUST обеспечивает баланс между статистической надежностью и повышением производительности при рекурсивном самосовершенствовании.
## В чем суть открытия Как спортсмен, тестирующий новые привычки: сохранение каждой настройки, которая сработала однажды в удачный день, создает плохую форму. Строгий тренер одобряет только те изменения, которые неоднократно доказывают подлинное мастерство в сложных ситуациях. ## Как это устроено: принцип работы Структура TRUST рассматривает обновления средств связи как онлайн-последовательность проверок гипотезы не меньшей эффективности с использованием последовательных e-значений. Оценщик LLM анализирует исторический контекст, чтобы динамически распределять бюджет ошибок между многообещающими кандидатами. Коррекция перекрытия снижает раздувание оценок, вызванное повторной оценкой кандидатов в одном и том же конечном пуле задач. ## Что это меняет на практике Позволяет корпоративным автономным агентам, помощникам по программированию и автоматизированным конвейерам рабочих процессов постоянно самостоятельно оптимизировать подсказки и инструменты в рабочей среде без риска тихого регресса или катастрофического снижения производительности. ## Границы метода и риски Требует эмпирической настройки бета-параметра коррекции перекрытия, полагается на оценщика LLM, который иногда может неправильно оценить потенциал кандидата, а границы могут быть консервативными, когда размеры проверочной выборки строго ограничены. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Joint F1 (HotpotQA), Token F1 (DROP), Test Case Pass Rate (APPS), Mean Gain (pp), FER0 (%), TER (%), MDD (pp) - **Размер выборки / валидация:** N = 200 validation examples (subsampled up to 40 per round), 300 held-out test examples per benchmark across 30 rounds and 5 seeds - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)