Взгляд сквозь время: как манипуляторы научились повторять сложные движения по обычному видео
Видео манипулирования роботами обеспечивает богатое визуальное восприятие, однако восстановление действий робота и аннотаций о состоянии захвата на основе наблюдений RGB по-прежнему остается сложной задачей. Используя независимую от варианта исполнения позу центральной точки инструмента (TCP) в качестве пространства действий, мы представляем TCP4D, унифицированную модель, в которой общее представление 4D-сцены одновременно отслеживает наблюдаемое движение TCP и генерирует будущие траектории TCP. Учитывая монокулярное видео и первоначальные 2D-запросы TCP, трекер напрямую восстанавливает метрические позы TCP в состояниях SE(3) и захвата, а также геометрию сцены и параметры камеры. Генератор выбирает локальные объекты из одного и того же 4D-представления вдоль восстановленных треков TCP, затем объединяет их с наблюдениями роботов и языковыми инструкциями для прогнозирования будущих состояний TCP. Наш новый конвейер расширения между вариантами преобразования преобразует существующие RGB-видео в демонстрации альтернативных вариантов реализации путем перенацеливания восстановленного движения и синтеза соответствующих наблюдений без записи состояний исходного робота. Эксперименты показывают, что трекер достигает абсолютных ошибок траектории 7,60 и 16,07 мм на DROID и RoboLab и адаптируется к новому варианту всего за десять демонстраций. Генератор достигает среднего успеха 69.19% на RoboTwin и превосходит устоявшиеся политические модели при решении двух реальных задач, а совместное обучение на источнике и расширенные демонстрации улучшают успех целевого робота с помощью 41.5% по сравнению с обучением только с расширенными возможностями.
## В чем суть открытия Десятилетиями прогресс в робототехнике сдерживался фундаментальным парадоксом восприятия: чтобы робот повторил увиденное действие, инженерам требовалось знать точные углы поворота каждого шарнира или полагаться на громоздкие лидары и стереокамеры. Огромные массивы видеозаписей в сети оставались бесполезными для прямого управления, поскольку монокулярная камера фиксирует лишь двумерную проекцию мира без явной глубины. Даже прогрессивные трекеры точек терпели крах: рабочий орган робота оперирует виртуальной точкой в пространстве между губками манипулятора. Эта точка буквально висит в воздухе, часто проецируясь на случайный фон, а стандартные оптические алгоритмы цепляются исключительно за видимые пиксели физических поверхностей. Команда исследователей предложила элегантный выход из тупика, разработав архитектуру TCP4D. Она объединяет сквозное пространственно-временное отслеживание центра инструмента и генерацию управляющих траекторий в единую четырехмерную систему координат. Вместо разрозненных этапов калибровки и аппроксимации система напрямую считывает шестимерную позу манипулятора и состояние захвата из обычной цветной видеозаписи, превращая плоский видеоряд в готовые команды действия. ## Как это устроено: принцип работы Архитектура функционирует как симбиоз зоркого стереоскопического картографа и кинематического навигатора. Первый компонент, трекер, преобразует последовательность плоских кадров в непрерывное 4D-представление сцены. Нейросеть DINOv2 кодирует визуальные патчи, связывая их через чередование пространственного и временного внимания с прогнозированием лучевых карт глубины. Для поиска рабочей точки инструмента используются разреженные визуальные запросы. Модель извлекает контекст вокруг проекции схвата и вычисляет его положение и непрерывную шестимерную ориентацию в трехмерном пространстве даже тогда, когда сама точка физически ни к чему не привязана. Второй компонент — генератор на базе диффузионного трансформера с сопоставлением потоков. Получив извлеченную траекторию движения и текстовую инструкцию, декодированную языковой моделью, трансформер генерирует сглаженную последовательность будущих пространственных поз. Поскольку траектория зафиксирована в универсальных координатах рабочего пространства, любой манипулятор через механизм обратной кинематики рассчитывает углы собственных шарниров, независимо от количества звеньев и моторов. ## Результаты и доказательства Экспериментальная проверка проводилась на масштабн