Как передача прямого управления роботом генеративному ИИ обнулила ошибки традиционных манипуляторов
Недавняя работа по манипулированию роботами была сосредоточена на политике специалистов, обученных на демонстрациях. Мы показываем, что универсальные модели ИИ могут контролировать манипуляторов более надежно, чем специализированные стратегии, такие как модели видения-языка-действия (VLA) и модели мирового действия (WAM). Мы систематически анализируем политику агентских манипуляций (AMP), в которой универсальная модель ИИ напрямую командует манипулятором, адаптируя его действия по мере развития задачи. Мы представляем AMP1, эталонный ремень безопасности, который работает без изменений при манипуляциях одной рукой, бимануально и с помощью мобильных устройств. AMP1 достигает самых современных результатов в тестах RoboLab-120 и CaP-Gym без каких-либо демонстраций или обучения для конкретных задач. На RoboLab-120 уровень успеха AMP1 при нулевом запуске составляет 85,6% по сравнению с 49,2% и 42,9% для ведущих политик VLA и WAM. Агент успешно прошел 104 из 108 реальных испытаний, охватывающих двенадцать задач и три экземпляра робота, что снижает количество отказов на 20x и 15x по сравнению с сильными базовыми показателями VLA и WAM. Базовая обвязка не дает навыков хватания, толкания или размещения; агент разрабатывает свои собственные стратегии, такие как поиск скрытых объектов, использование объектов в качестве инструментов и калибровка своих камер. Благодаря добавлению хранилища постоянной памяти агент также может учиться на собственном опыте: расширенная система с представлением памяти, которая переносится между эпизодами, снижает частоту сбоев при выполнении задач двуручного манипулирования RoboDojo с помощью 4.6x по сравнению с развертыванием с нулевым выстрелом. Наш анализ показывает, что AMP являются существенно более общими и надежными, чем политики специализированных манипуляций, обеспечивая многообещающую основу для манипулирования роботами.
## В чем суть открытия Вместо того, чтобы запоминать точные движения для каждой задачи, робот использует общий искусственный мозг, который наблюдает за комнатой, пишет мгновенные сценарии управления Python и адаптируется на лету, когда возникают неожиданные физические проблемы. ## Как это устроено: принцип работы Платформа AMP1 помещает передовую универсальную модель ИИ непосредственно в цикл управления роботом через постоянный интерпретатор Python. Модель получает мультимодальные визуальные, глубинные и проприоцептивные входные данные, генерирует исполняемые траектории движения с синхронизированными путевыми точками и динамически проверяет выходные данные выполнения для исправления сбоев в режиме реального времени. При наличии модуля постоянной памяти система сохраняет успешные процедуры кода и пространственные стратегии в разных эпизодах, не требуя обновления веса. ## Что это меняет на практике Обеспечивает нулевое развертывание роботов общего назначения в неструктурированных домашних, промышленных и клинических условиях без сбора тысяч демонстраций роботов для конкретной предметной области. ## Границы метода и риски Задержка вывода приводит к тому, что робот останавливается в ожидании ходов рассуждений модели, что ограничивает производительность в динамических средах с движущимися целями; управление движением остается уязвимым к физическим столкновениям, когда базовые приближения геометрии терпят неудачу. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** RoboLab-120 zero-shot success rate (85.6% vs 49.2% VLA), Real-world trial success rate (96.3% vs 27.8% VLA), LIBERO-PRO success rate (95.2%), robosuite success rate (100.0%), RoboDojo bimanual success rate (84.1% few-shot) - **Размер выборки / валидация:** N = 3600 RoboLab-120 simulation episodes, 3000 LIBERO-PRO episodes, 700 robosuite episodes, 108 real-world physical robot trials - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)