Роботов научили понимать геометрию пространства и предугадывать физические последствия своих действий
Модели мировых действий совместно предсказывают будущие наблюдения и действия, однако визуальные представления, ориентированные на реконструкцию, явно не подчеркивают пространственные отношения и изменения состояния объекта, необходимые для манипулирования. Мы представляем Phoenix, который изучает представления структуры сцены для моделирования мировых действий. В частности, Phoenix Encoder обогащает общую визуальную семантику DINOv3 за счет двойной обработки геометрических и пространственно-временных семантических знаний с помощью двух учителей. Затем CS-VAE каузально объединяет и сжимает функции Phoenix Encoder в генеративные скрытые функции, сохраняя при этом информацию о сцене и пространственную компоновку. Наконец, Феникс совместно предсказывает эти скрытые явления, скрытые дополнительные внешние проявления и действия роботов, связывая эволюцию сцены с генерацией действий. Чтобы изучить эффективность данных перед обучением, мы обрабатываем около 39 000 часов эгоцентрических данных и данных манипулирования роботами для обучения представлению и используем подмножество демонстраций роботов для предварительного обучения WAM. После пост-обучения для конкретных тестов Phoenix достигает самых современных показателей производительности в тестах моделирования и реальных роботов, охватывающих одноручные, бимануальные и ловкие манипуляции. Он демонстрирует высокую устойчивость к возмущениям, достигая показателей успеха 94.8% на LIBERO-Plus и 72.4% на RoboTwin 2.0 C2R, а также высокой производительности межвариантного переноса и реальных манипуляций на Bench2Dex и RoboDojo-RealWorld соответственно. Анализ масштаба перед обучением показывает больший прирост производительности от масштабирования данных, чем базовый показатель только для видео VAE, что указывает на более сильные преимущества масштабирования и более эффективное использование данных. Более того, Phoenix сохраняет высокие показатели успеха при адаптации с ограниченными последующими демонстрациями, демонстрируя сильную адаптацию за несколько выстрелов. Наш код, данные предварительного обучения и модели доступны на странице проекта, чтобы помочь сообществу воспроизвести наши результаты.
## В чем суть открытия Десятилетиями робототехника сталкивалась с парадоксом хрупкости: искусственные агенты, обученные на тысячах часов демонстраций, безупречно выполняли задачу в лабораторных условиях, но мгновенно терпели фиаско, стоило сместиться лучу солнца или измениться скатерти на столе. Фундаментальный тупик прежних моделей действия в физическом мире (World-Action Models) крылся в природе их зрительного восприятия. Опираясь на автоэнкодеры, оптимизированные под восстановление плоских RGB-пикселей, нейросети запоминали поверхностные текстуры вместо трехмерной топологии сцены. Модель отлично воспроизводила картинку, но оставалась слепой к пространственной структуре, расстояниям до препятствий и геометрии соприкосновений. Исследовательская группа представила архитектуру Phoenix, сменившую саму парадигму моделирования мира. Вместо поверхностного сжатия видеокадров система конструирует явные пространственно-структурные представления сцены, превращая прогноз будущего в физически обоснованный расчет взаимодействия манипулятора с трехмерной средой. ## Как это устроено: принцип работы В основе механизма лежит каскадная дистилляция знаний от двух специализированных «учителей» в единый энкодер сцены. Первый учитель передает фундаментальные геометрические свойства — метрическую глубину и взаимное расположение поверхностей. Второй передает пространственно-временную семантику движения и эволюции объектов. В результате энкодер формирует карту признаков, где каждый участок кадра наделен информацией о трехмерных координатах и динамике. Далее причинно-следственный вариационный автоэнкодер (CS-VAE) выполняет временное сжатие: последовательность из девяти кадров сворачивается в три компактных латентных шага, строго сохраняя пространственную сетку патчей. В финале вступает в действие ансамбль диффузионных трансформеров, обученный методом сопоставления потоков (flow matching). Один поток прогнозирует эволюцию зрительного пространства (объединяя структурные латенты с латентами внешнего вида), а второй генерирует чанки моторных команд. Связывает их асимметричное внимание: генератор действий видит пространственный прогноз будущего, но видеопоток изолирован от шума команд, предотвращая распад физической картины мира. ## Результаты и доказательства Масштабное исследование охватило свыше 39 300 часов предварительно отфильтрованных видеозаписей манипуляций человека и роботов. На бенчмарке LIBERO-Plus, проверяющем устойчивость к семи типам возмущений (смена угла камеры,