Экологичный трубопровод сокращает разрыв между воплощением человека и робота для выполнения сложных задач всего тела
Сенсорные человеческие демонстрации предлагают масштабируемые данные для мобильных манипуляций, но различия в вариантах реализации усложняют изучение политики. Мы представляем Pixel-UMI, конвейер для изучения экологических политик всего тела на основе человеческих данных. Впервые мы представляем перенацеливание с учетом окружающей среды (EAR), которое сочетает в себе реконструированную геометрию сцены с продемонстрированными траекториями головы и захвата для определения положения робота и создания суставных и базовых целей с учетом столкновений. Назначение действий с калибровкой по задержке преобразует эти траектории в действия. Однако кинематические различия могут привести к остаточным ошибкам позы, создавая несоответствие точек зрения между демонстрациями человека и наблюдениями роботов. Поэтому мы вводим маскирование с учетом ошибок перенацеливания (REAM), которое использует эти ошибки во время обучения, чтобы уменьшить зависимость от несовпадающих представлений при развертывании. Наконец, поскольку предполагаемые действия не могут полностью отразить взаимодействие с множеством контактов, мы собираем корректировки, вносимые человеком в соответствии с политикой, через DAgger для повышения производительности. Мы оцениваем Pixel-UMI при выполнении пяти сложных задач, включая манипулирование шарнирно-сочлененными объектами, манипулирование деформируемыми объектами, достижение ограниченного пространства, предотвращение столкновений всего тела и бимануальную координацию с богатым контактом, достигая среднего прогресса в выполнении задач 87.0%. Видеорезультаты доступны по адресу https://pixel-robot.com/pixel-umi.
## В чем суть открытия Pixel-UMI позволяет мобильным роботам обучаться сложным домашним делам на основе демонстраций виртуальной реальности человека, реконструируя трехмерную среду, компенсируя физические различия в теле и исправляя ошибки контакта. ## Как это устроено: принцип работы Платформа реконструирует метрическую геометрию 3D-сцены с помощью камер глубины, установленных на голове, чтобы переориентировать движения человека на траектории суставов без столкновений. Затем он маскирует визуальные наблюдения во время обучения, когда кинематические несоответствия между человеком и роботом вызывают смещение точек обзора. Наконец, человеческие корректировки, предусмотренные политикой, позволяют точно настроить взаимодействие с большим количеством контактов, например складные коробки. ## Что это меняет на практике Ускоряет развертывание домашних гуманоидов общего назначения, позволяя неспециалистам обучать сложным мобильным манипуляционным задачам с использованием носимого оборудования виртуальной реальности без транспортировки тяжелого роботизированного оборудования. ## Границы метода и риски Опирается на реконструкцию глубины с помощью одной камеры, которая оставляет закрытые поверхности неполными и не может сделать вывод о контактных силах непосредственно на основе демонстрации движения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Task progress (%) across 5 real-world mobile manipulation tasks - **Размер выборки / валидация:** N = 1,150 human demonstrations and 240 robot DAgger correction rollouts - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)