Повторное использование моделируемой физической памяти снижает требования к визуальной демонстрации многопальцевого управления роботом
Обучение ловкому манипулированию с помощью ограниченных визуальных демонстраций является сложной задачей, поскольку политика должна приобретать как перцептивную основу, так и точный контроль, в то время как обучение с подкреплением (RL) в симуляции может приобрести богатые контрольные модели поведения за счет крупномасштабного взаимодействия с конфиденциальной информацией. Мы представляем \textbf{Latent RL Prior}, двухэтапную структуру, которая повторно использует эти знания управления для эффективного визуального обучения политике обработки данных. Во время привилегированного предварительного обучения мы преобразуем крупномасштабные развертывания RL в декодер действий, согласующий поток, обусловленный проприоцепцией и скрытым контекстом задачи. Во время визуальной адаптации мы замораживаем декодер и изучаем визуальный интерфейс, который сопоставляет изображения с их скрытым контекстом, используя только контроль действий, без привилегированных меток или скрытых целей. В дальнейшем один и тот же декодер можно использовать для разных рук, изучая скоординированные визуальные контексты для бимануальных манипуляций. В трех смоделированных задачах наш метод превосходит полнопараметрическую точную настройку $π_{0.5}$ и GR00T N1.7 в режиме малого объема данных; при подъеме дверей и двуручной сборке он превосходит базовые показатели полных данных с использованием $10\times$ и $5\times$ с меньшим количеством демонстраций соответственно. Дальнейший анализ показывает, что прямое преобразование визуального в скрытое улучшает эффективность адаптации и стабильность обучения по сравнению с маршрутизацией визуальных прогнозов через предварительно обученный кодировщик состояний. Устойчивость к невидимым изменениям массы и большая линейная доступность информации о контактной силе в представлениях декодера еще раз свидетельствуют о сохранении знаний об управлении, полученных с помощью RL. Сайт проекта: https://yixiaowang7.github.io/latent-rl-prior-page/.
## В чем суть открытия Роботам обычно нужны тысячи видеозаписей, чтобы освоить сложные практические задачи. Скрытый RL Prior позволяет роботам повторно использовать виртуальную физическую практику, осваивая сложные ловкие движения с в 10 раз меньшим количеством визуальных демонстраций. ## Как это устроено: принцип работы Во-первых, моделирование предварительно обучает декодер действий по согласованию потоков, используя привилегированные физические данные, такие как точные положения и силы. Во время визуальной адаптации декодер действий замораживается, а кодировщик изображения отображает кадры камеры непосредственно в токены контекста. Этот контроль, основанный только на действиях, позволяет передавать двигательные навыки низкого уровня в однорукие и многорукие установки без необходимости использования привилегированных меток. ## Что это меняет на практике Значительно сокращает объем дорогостоящих визуальных демонстрационных данных, необходимых для обучения ловких рук промышленной сборке, работе со складскими дверями и совместной работе нескольких роботов. ## Границы метода и риски Оценивается исключительно при моделировании с использованием идентичного ручного роботизированного оборудования; опирается на крупномасштабное предварительное обучение привилегированного RL и может наследовать режимы неудач учителей. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Success Rate (%) at strict (0.015m) and relaxed (0.05m) keypoint thresholds, door lifting rate, bimanual insertion depth, contact force probe RMSE (N) - **Размер выборки / валидация:** N = 100k RL rollouts; 4,000 alignment demos; 500 door lift demos; 5,000 bimanual demos; 256 rollout evaluations across 3-5 seeds - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)