Как видеозаписи обыденных действий человека учат манипуляторы выживать в хаосе незнакомых комнат
Мировые модели действий совместно прогнозируют видео и действия, обусловленные языком. Существующие исследования сосредоточены в первую очередь на архитектуре и механизмах обучения, обычно рассматривая согласование языка и видео, полученное посредством предварительной видеообучения, как устоявшуюся основу. Однако введение обучения действиям может ухудшить это согласование. Принципиальные рекомендации по разработке данных и надзора для поддержания согласованности языка и видео во время обучения действиям остаются ограниченными. Чтобы исследовать это, мы создаем пул из примерно 47 000 часов общих видеороликов, эгоцентрических видеороликов, демонстраций UMI и демонстраций роботов. Основываясь на этом, мы систематически изучаем, как контроль языка-видео, контроль языка-видео-действия и совместное использование этих двух форм влияют на производительность WAM. В частности, мы исследуем, как качество языковых аннотаций влияет на предварительно обученные возможности языкового видео и как контроль действий с помощью UMI и демонстраций роботов расширяет эти возможности на моделирование языкового видео-действия. Чтобы лучше масштабировать модель, мы дополнительно проводим детальные исследования рецепта совместного обучения и архитектуры модели. При фиксированном бюджете на обучение сочетание эгоцентрических видеороликов и демонстраций UMI улучшает обобщение контроля. Архитектура модели влияет на то, насколько эффективно используется этот опыт, а масштабирование предварительного обучения в соответствии с выбранной конфигурацией приносит дополнительные выгоды. Полученный рецепт, прошедший обучение только на демонстрациях RoboTwin Clean, обеспечивает показатели успеха 88.10% и 61.56% в простых (от чистки к чистке) и жестких (очистка к случайным) условиях соответственно. Наша модель достигает 40.00% SR в трех реальных задачах по сравнению с 23.33% для самых сильных базовых показателей, что указывает на лучшее обобщение в невидимых условиях. Мы публикуем тщательно отобранные данные, обучающий код и веса модели.
## В чем суть открытия Обучение вождению, просто просматривая видео с видеорегистратора, делает вас беспомощным за рулем, но добавление ручных движений рулевого управления соединяет визуальное воображение с физическими рефлексами. ## Как это устроено: принцип работы Платформа объединяет предварительно обученный преобразователь диффузии видео с ветвью диффузии действий, использующей общее однонаправленное замаскированное внимание, гарантируя, что латентные видео информируют о двигательных действиях без градиентов действий, искажающих визуальные априорные данные. В обучении применяется сопоставление двойного потока в течение 47 000 часов общих, эгоцентрических и захватывающих демонстраций, согласованных с плотными описаниями подзадач и освещения. ## Что это меняет на практике Позволяет роботизированным системам применять нулевой снимок к совершенно невидимым домашним и промышленным средам, таким как загроможденные прилавки и новые скатерти, сокращая затраты на физический сбор данных телеоперации за счет подключения к видеопотокам мобильного UMI, собираемым потребителями. ## Границы метода и риски Работает с ограниченным разделением временной истории, что исключает многоступенчатое иерархическое рассуждение или долгосрочную память, борется со сложными манипуляциями с инструментами, требующими точной силовой обратной связи, и требует значительных вычислительных ресурсов (размер глобального пакета 512 в распределенных кластерах). ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** RoboTwin 2.0 Success Rate (Easy C2C / Hard C2R), Real-World Flexiv Rizon Success Rate (SR) and Partial Success Rate (PSR) - **Размер выборки / валидация:** N = 47,016.7 video hours (4,407,996 episodes across 4 data sources); 50 RoboTwin simulation tasks (100 episodes/task); 3 real-world bimanual robot tasks (30 trials/task across 10 fixed layouts) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)