Стандартизация журналов выполнения ИИ сокращает количество сбоев при воспроизведении, сохраняя при этом критически важные исследовательские знания
Воспроизведение экспериментов по машинному обучению требует реконструкции процедур на основе информации, разбросанной по документам, выпущенному коду и вспомогательным артефактам. Таким образом, для агентов кодирования успех воспроизведения может зависеть от их способности заполнить недостающие детали, а не только от выпущенных артефактов. Мы задаемся вопросом, улучшает ли сохранение восстановленных процедур и решений последующее независимое воспроизведение. Мы определяем стандартизированный дизайн артефакта, включающий уточненную кодовую базу, настройку среды, средства запуска экспериментов и руководство по воспроизведению, а также представляем ReproBridge, рабочий процесс агента для создания этих усовершенствованных воспроизводимых артефактов. ReproBridge-Bench предоставляет 1029 задач из 387 экспериментов в 36 статьях, привязанных к пяти проверенным человеком контрольным оценкам для каждого задания. Агенты выполняют задачи в новых сеансах с необработанным кодом или уточненными артефактами; отдельный Аудитор проверяет доказательства исполнения. В четырех оцененных моделях усовершенствованные артефакты повышают средний успех воспроизведения с 76.4% до 92.6% и сокращают расходы на последующие API в среднем на 19.7%. Разброс показателей успеха между моделями сужается с 21,6 до 3,9 процентных пункта, при этом все четыре модели достигают средних показателей успеха выше 90%. Удаление любого компонента снижает успех исследования абляции, при этом наибольшие потери возникают из-за удаления кода и среды. Эти результаты показывают, что сохранение знаний о выполнении помогает даже моделям с меньшим успехом необработанного кода воспроизводить эксперименты более надежно и с меньшими затратами на API.
## В чем суть открытия ReproBridge — это рабочий процесс, который превращает исходный код научной статьи в стандартизированные, пуленепробиваемые пакеты выполнения, позволяя моделям ИИ надежно воспроизводить исследования машинного обучения за небольшую часть затрат. ## Как это устроено: принцип работы ReproBridge использует многоагентную систему, разделенную на этапы «Указать», «Выполнить» и «Сохранить», для сбора неявных знаний о настройке, исправлений зависимостей и вариантов конфигурации. Независимый рецензент проверяет журналы выполнения, прежде чем упаковать все в артефакт из четырех частей, включающий усовершенствованный код, заблокированные среды, средства запуска экспериментов и структурированные руководства. Последующие ИИ-воспроизводители запускают эти стандартизированные артефакты вместо того, чтобы угадывать недостающие шаги из необработанных репозиториев. ## Что это меняет на практике В течение 1–3 лет рабочие процессы лабораторий искусственного интеллекта и платформы экспертной оценки смогут автоматически генерировать уточненные воспроизводимые артефакты перед подачей статьи, что избавляет исследователей от нескольких дней ручной настройки и обеспечивает возможность независимой проверки опубликованных заявлений об отмывании денег. ## Границы метода и риски Создание каждого артефакта обходится примерно в 140 долларов США за использование API и требует выполнения больших вычислительных ресурсов, в то время как артефакты могут по-прежнему увековечивать основные противоречия бумажного кода или хрупкие границы аппаратного времени. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Reproduction Success Rate (%), Downstream API Cost (USD), Token Spending Reduction (%), Cross-Model Success Spread (pp) - **Размер выборки / валидация:** N = 1,029 verified tasks across 387 experiments from 36 ICML Spotlight papers (evaluated across 4 AI models) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)