Чужой опыт учит неподготовленные манипуляторы выживать в незнакомой реальности без переобучения
Предварительное обучение больших параметрических моделей «Видение-Язык-Действие» (VLA) на больших демонстрационных наборах данных недавно дало многообещающие результаты для манипуляций общего назначения. Тем не менее, эти модели по-прежнему не справляются даже с небольшими изменениями предметной области относительно обучающих данных, такими как изменения точки обзора камеры, фона, идентичности объекта или морфологии робота. Вдохновленные успехом технологии расширенного поиска (RAG) в языковых моделях, мы стремимся использовать поиск для повышения производительности VLA. В частности, мы стремимся использовать извлечение из несовпадающих с доменом «живых» демонстрационных наборов данных, таких как DROID, для управления поведением VLA в новом целевом домене. Для достижения этой цели мы представляем RAGu, который решает специфические проблемы робототехники для RAG: (1) Он включает простую геометрическую калибровку для преобразования демонстраций источника в целевую настройку и уменьшения междоменных различий. (2) Он использует стратегию поиска от грубого к точному, которая выбирает из большого пула предварительно измененных кандидатов траекторию, наиболее совместимую с базовым VLA. (3) Он направляет процедуру вывода согласования потоков VLA, а не пытается переобучить базовую модель или расширить ее ограниченное контекстное окно. Мы оцениваем RAGu в реальном мире, симуляции, переносе из сима в реальность и манипулировании гуманоидами между воплощениями. Мы обнаружили, что он повышает реальные показатели успеха VLA с 20% до 80% и превосходит ближайшие базовые показатели в симуляторе. Сайт проекта: raguvla.github.io.
## В чем суть открытия Себе, что вы даете шеф-повару-любителю мысленный толчок во время приготовления пищи, используя ритм танцора: рецепт остается нетронутым, но нежное физическое управление плавно ведет его руки по незнакомой планировке кухни. ## Как это устроено: принцип работы RAGu извлекает трехмерные декартовы траектории конечного эффектора из непроверенных демонстрационных библиотек и деформирует их в кадры целевой камеры, используя семантические соответствия ограничивающих рамок. Во время вывода он использует динамическое искажение времени для исключения кандидатов и выбирает путь, минимизирующий норму градиента руководства политики. Эта траектория затем действует как внешнее энергетическое поле, управляющее действием согласования потока, устраняя шум без точной настройки весов. ## Что это меняет на практике Позволяет фабрикам и автоматизированным домам мгновенно развертывать готовые роботизированные манипуляторы на новых рабочих станциях, получая указания по траектории из общедоступных банков данных, устраняя необходимость в дорогостоящем дистанционном управлении для конкретных задач. ## Границы метода и риски Триангуляция не выполняется, когда серьезные визуальные перекрытия нарушают обнаружение ограничивающей рамки, производительность падает, если в исходных базах данных отсутствуют соответствующие типы кинематических задач, а ошибки демо-анализа приводят к сбоям в деформации 22%. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Task success rate (%), EE SPARC smoothness, path length (m), execution speed (cm/s), wall-clock latency (s/episode) - **Размер выборки / валидация:** N = 10 real-world rollouts per task across 5 tasks (50 total); 25 rollouts per task across 9 RoboLab simulation tasks; 25 rollouts per task across 5 RoboCasa humanoid tasks; 900 warping trials - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)