BEAKER: экспертный бенчмарк для мультимодальных агентов в самоуправляемых химических лабораториях
Самоуправляемые химические лаборатории (SDCL) требуют от агентов способности воспринимать физическую сцену, сопоставлять состояния реагентов и выполнять манипуляции манипулятором. Бенчмарк BEAKER всесторонне тестирует ведущие мультимодальные модели (GPT-4o, Claude 3.5, Gemini 1.5 Pro) и демонстрирует фундаментальный разрыв между химическими знаниями моделей и их пространственной моторикой.
## В чем суть открытия Если модели ИИ могут легко резюмировать сложные статьи по химии, почему они полностью замирают, когда их просят повернуть простой клапан в реальной лаборатории? ## Как это устроено: принцип работы Хотя мультимодальные модели большого языка (MLLM) все чаще рассматриваются как воплощенный мозг таких систем, существующие лабораторные тесты в основном сосредоточены на безопасности, обнаружении аномалий или общем научном понимании, оставляя их воплощенные возможности, ориентированные на выполнение, недостаточно изученными. Чтобы восполнить этот пробел, мы представляем BEAKER, эталон для оценки воплощенной действенности, знаний, экспериментирования и рассуждения в SDCL. ## Что это меняет на практике Результаты показывают, что современные модели могут следовать грубым экспериментальным процедурам в видео, но все еще с трудом определяют действия в работоспособных областях и возможных траекториях, распознают детальное лабораторное оборудование, состояния и нормы безопасности, а также упорядочивают шаги в процедурах средней продолжительности. Таким образом, BEAKER выявляет явный разрыв между грубым процедурным пониманием и точным, основанным на действиях восприятием, необходимым для лабораторного выполнения, обеспечивая диагностический ориентир для будущих MLLM в SDCL. ## Границы метода и риски Метод требует дальнейшей экспериментальной апробации в расширенных распределениях данных и стресс-тестирования граничных условий. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)