PhysWord: словарь физических глаголов научил роботов уверенно манипулировать скользкими деталями
Мультимодальное рассуждение обеспечивает базовые модели роботов прогнозным контекстом, необходимым для надежного генерирования действий. Однако рассуждения, основанные на языке, улавливают семантику задачи, но с трудом выражают детальную физическую динамику, в то время как латентное рассуждение моделирует эволюцию будущего состояния, но предлагает ограниченную структуру для организации этой динамики в многократно используемые примитивы рассуждения. Чтобы устранить этот пробел, мы представляем PhysWord, базовую модель «рассуждение перед действием», основанную на физических словах, в которой атомарные глаголы действия используются в качестве общих семантических якорей для непрерывного представления физической динамики. В частности, PhysWord предсказывает предстоящие слова атомарного действия и напрямую согласовывает их контекстуальные скрытые состояния со скрытыми целями, полученными на основе соответствующих будущих наблюдений. Опираясь на эти примитивы, мы конструируем временно структурированное пространство PhysWord с визуальными и дополнительными тактильными вариантами каждого слова действия. Авторегрессионное прогнозирование физических слов на будущих временных шагах фиксирует переходы между этапами выполнения, обеспечивая структурированный мультимодальный контекст для генерации действий. PhysWord достигает самых современных показателей успеха 90,3% при использовании зрительно-тактильного UniVTAC и 99,6% при использовании LIBERO-Long на основе зрения, а также превосходит конкурирующие методы при решении реальных задач с использованием бимануальных захватов и ловких рук. Дальнейшие оценки показывают, что наша структурированная система скрытых рассуждений обобщает невидимые сценарии и позволяет манипулировать в долгосрочной перспективе.
## В чем суть открытия Почему модели роботизированных оснований испытывают трудности с динамическим контактом и как привязка непрерывной физической динамики к глаголам действия? ## Как это устроено: принцип работы Однако рассуждения, основанные на языке, улавливают семантику задачи, но с трудом выражают детальную физическую динамику, в то время как латентное рассуждение моделирует эволюцию будущего состояния, но предлагает ограниченную структуру для организации этой динамики в многократно используемые примитивы рассуждения. Чтобы устранить этот пробел, мы представляем PhysWord, базовую модель «рассуждение перед действием», основанную на физических словах, в которой атомарные глаголы действия используются в качестве общих семантических якорей для непрерывного представления физической динамики. ## Что это меняет на практике Обеспечивает надежную автоматизацию в промышленных условиях с большим количеством контактов, таких как экспресс-упаковка, завинчивание и тонкая сборка электроники, снижая количество отказов и устраняя необходимость в дорогостоящих высокочастотных датчиках силы. ## Границы метода и риски Текущий словарь действий не поддерживает передвижение всего тела (например, подъем по лестнице), требует оптимизации вывода с ускорением графического процессора для достижения частоты 10,6 Гц и может испытывать сбои в захвате, если смыкание пальцев неполное. ## Результаты и доказательства - **Комплексный скор значимости:** 8.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)