Роботы-универсалы теряют память, когда элементы выполняются в середине задачи
Руководствуясь способностью человека интегрировать опыт языка, восприятия и действия, мы представляем UniWALM, единую модель мира-действия-языка, которая изучает видео, действие и язык в едином общем представлении, где каждая модальность является одновременно обуславливающим сигналом и целью контроля. Мы спрашиваем: может ли совместное создание языка обогатить это общее представление, улучшив манипулирование и поддерживая поведение, зависящее от памяти? В отличие от предыдущих подходов, которые прикрепляют модель рассуждения или языка видения к основе видео-действий и запускают их как отдельные этапы, UniWALM объединяет все три модальности внутри единой магистрали, состоящей из смеси преобразователей, чьи головки диффузии по модальности синхронно совместно шумоподавляют, декодируя подзадачу и текстовую память на том же этапе, что и действие, без отдельного этапа планирования; сгенерированный язык повторно используется на следующем этапе, замыкая цикл языка как памяти без внешнего планировщика или банка памяти. Чтобы обеспечить надежность потока действий в рамках этой более сложной цели, мы дополнительно вводим согласование потока с коррекцией (FMC), цель обучения, которая учит восстановлению после нарушенных траекторий действий без затрат времени на вывод. UniWALM постоянно улучшается по сравнению с базовыми показателями той же магистрали (например, FastWAM) при композиционном выборе и размещении (MolmoSpaces) и в зависимом от памяти подмножестве RMBench, где он достигает 34.5% без какого-либо предварительно обученного языка или модели рассуждения и превосходит настройку Mem-0, оснащенную ключевыми кадрами (28.5%), используя только один опорный кадр. В реальной задаче «Найти элемент» создание текстовой памяти увеличивает успех с 11.1% до 61.1%, в то время как самые современные VLA остаются на уровне или ниже шанса (<=33.3%).
## В чем суть открытия Почему роботы-универсалы теряют память, когда элементы выполняются в середине задачи, и как синхронное распространение языка может решить эту проблему без? ## Как это устроено: принцип работы Мы спрашиваем: может ли совместное создание языка обогатить это общее представление, улучшив манипулирование и поддерживая поведение, зависящее от памяти? В отличие от предыдущих подходов, которые прикрепляют модель рассуждения или языка видения к основе видео-действий и запускают их как отдельные этапы, UniWALM объединяет все три модальности внутри единой магистрали, состоящей из смеси преобразователей, чьи головки диффузии по модальности синхронно совместно шумоподавляют, декодируя подзадачу и текстовую память на том же этапе, что и действие, без отдельного этапа планирования; сгенерированный язык повторно используется на следующем этапе, замыкая цикл языка как памяти без внешнего планировщика или банка памяти. ## Что это меняет на практике Позволяет двуручным промышленным роботам выполнять многоэтапное производство и сортировку в условиях окклюзии без внешних серверов планирования на языке видения, повышая успешность выполнения реальных задач по запоминанию от 11.1% до 61.1%. ## Границы метода и риски Задержка вывода достигает 123 мс на фрагмент действия, временные задержки в сигналах завершения задачи могут привести к одноэтапным отклонениям при выполнении, а сложная геометрия объектов остается сложной задачей. ## Результаты и доказательства - **Комплексный скор значимости:** 8.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование