Synthetic World раскрывает, как автономные экспериментальные агенты ИИ могут исправлять неисправности, совершенно неверно интерпретируя причины
Экспериментальный агент может добиться успеха по неверным причинам. Однако оценки часто фокусируются на результате, а не на экспериментах, доказательствах и выводах, которые его привели. Мы представляем LUCA, настраиваемый синтетический мир для оценки этого процесса на основе полностью известной истины. Агенты изучают неизвестные системы регулирования посредством запланированных экспериментов, затем прогнозируют невидимые вмешательства, диагностируют скрытые неисправности и пытаются спасти ситуацию. Эта установка позволяет нам оценивать выбор эксперимента, прогнозирование, диагностику и вмешательство отдельно. В семи передовых программах LLM и трех базовых показателях эти возможности резко различаются. Агенты часто спасают неисправные системы, одновременно диагностируя неверную неисправность; Диагностика 7x различается в зависимости от модели, а прогноз различается только 1.4x. Модели также используют удивительно разные экспериментальные стратегии, и более глубокие исследования не всегда приводят к повышению производительности. В одном режиме сбоя агенты часто проводят эксперимент, необходимый для различения конкурирующих причин, но все равно не могут использовать полученные доказательства. LUCA превращает эти скрытые неудачи в измеримое поведение, обеспечивая контролируемую среду для изучения того, где экспериментальные агенты добиваются успеха, а где терпят неудачу. Код: https://github.com/RelationRx/luca.
## В чем суть открытия LUCA — это синтетический тест, который оценивает агентов ИИ при выборе эксперимента, прогнозировании, диагностике и вмешательстве. Доказывающие агенты часто преуспевают в решении проблем, несмотря на то, что используют совершенно ложные причинно-следственные модели. ## Как это устроено: принцип работы LUCA моделирует синтетические организмы с помощью нелинейных сетей генной регуляции с изобретенным словарем, что позволяет точно оценить причинно-следственные связи. Агенты исследуют системы в рамках строгого бюджета экспериментов, а затем должны прогнозировать невидимые возмущения, диагностировать скрытые неисправности и предлагать корректирующие вмешательства. Конструкция «обязательства перед тестированием» не позволяет агентам догадываться об основных причинах путем устранения ошибок методом проб и ошибок. ## Что это меняет на практике Выявляет критические «слепые пятна» в научных помощниках искусственного интеллекта, гарантируя, что будущие инструменты автоматического открытия будут оцениваться на основе истинного причинно-следственного понимания, а не поверхностного успеха, что жизненно важно для безопасного развертывания в области открытия и разработки лекарств. ## Границы метода и риски LUCA использует стационарную динамику с фиксированной точкой, которая исключает временные колебания или мультистабильные системы, работает в односессионных установках без долговременной итеративной памяти и полагается на изобретенные словари, которые исключают априорные данные из реальной области. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Prediction accuracy, Diagnosis score, Rescue fraction, Composite score, Gene coverage %, Budget utilization % - **Размер выборки / валидация:** N = 1,200 agent-organism evaluation sessions across 10 models (7 LLMs + 3 baselines) and network sizes up to N=1,280 genes - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)