Собственное тело манипулятора и геометрия сцены спасли зрение умных роботов от пространственного паралича
Точная настройка модели «видение-язык-действие» (VLA) на нескольких десятках демонстраций — это стандартный способ применить к роботу политику манипулирования, однако результирующая политика молчаливо предполагает, что камера и база робота остаются именно там, где они были во время сбора данных: ударный штатив или база, пересостыкованная на расстоянии нескольких сантиметров, заставляют его тянуться не в то место. Мы показываем, что оба сбоя — это одно явление, изменение внешней связи между камерой и базой, которую запомнила политика, и что робот несет в себе все необходимое, чтобы это исправить. Мы представляем WACO, глобальную структуру канонизации для моделей VLA: рука, размещенная с помощью прямой кинематики под измеренными углами суставов, служит метрической целью калибровки, а статическая сцена служит мировой привязкой, которая отличает движущуюся камеру от движущегося робота. Из одного кадра RGB-D WACO оценивает оба смещения без дополнительных истинных внешних данных или дополнительных данных, канонизирует изображение в соответствии с точкой обзора калибровки, а состояние, действие и начальную позу — в базовом кадре калибровки, а также настраивает немодифицированную политику с учетом артефактов своего собственного оценщика. Мы также представляем LIBERO-PoseShift, первый эталон RGB VLA с градуированным сдвигом камеры, базовым и составным смещением. В LIBERO-PoseShift, треке камеры LIBERO-Plus и четырех реальных задачах на роботе UR5e WACO последовательно превосходит стандартный рецепт с несколькими кадрами и предшествующие методы, устойчивые к точке зрения, увеличивая успех смещения на 13,2 балла в моделировании и на 36,7 балла в реальном роботе, восстанавливая 90% разрыва моделирования до истинного оракула и 87% разрыв между реальными роботами и создание нового уровня техники среди методов, которые не используют искаженные обучающие данные и не проводят калибровку во время испытаний. Страница проекта: https://peacelwh.github.io/WACO/.
## В чем суть открытия На протяжении десятилетий робототехника опиралась на строгие геометрические уравнения, но волна мультимодального глубокого обучения предложила соблазнительный компромисс. Вместо ручного описания траекторий современные модели «зрение-язык-действие» обучаются на нескольких десятках демонстраций движений оператора. На чистом стенде система работает блестяще, однако эта видимая универсальность таит в себе скрытую хрупкость. В процессе подражания нейросеть не выводит фундаментальные законы физического мира, а буквально заучивает жесткую пространственную связь между пикселями внешней камеры и моторами суставов. Эта зависимость оборачивается катастрофой в реальном производственном цикле. Достаточно случайно задеть штатив с камерой, сдвинув объектив на пару сантиметров, или пристыковать мобильную платформу с легким перекосом, как манипулятор начинает промахиваться мимо цели, пытаясь схватить пустоту. Классические попытки обучить устойчивость грубой силой требуют генерации десятков тысяч синтетических изображений или громоздких калибровочных таблиц перед каждым запуском. Исследователи доказали, что корень сбоев лежит в едином нарушении внешних параметров, а все необходимые геометрические ключи для мгновенной компенсации робот уже несет в своей конструкции. ## Как это устроено: принцип работы Созданная архитектура WACO восстанавливает исходную систему координат без вмешательства во внутренние веса базовой нейросети. В основе решения лежит концепция двух якорей. Первым выступает само тело манипулятора: зная точные углы в шарнирах через внутренние датчики, прямая кинематика однозначно определяет положение звеньев в пространстве. Сравнивая расчетное трехмерное облако точек руки с глубиной сенсора через алгоритм сопоставления поверхностей, система находит относительное положение камеры. Однако одна лишь рука не способна ответить на вопрос, что именно сместилось: повернулась ли внешняя камера или само основание манипулятора отъехало от стола. Здесь вступает в силу второй якорь — неподвижный интерьер рабочего стола. Алгоритм сопоставляет ключевые визуальные ориентиры фона с эталонным пустым снимком рабочей зоны, сделанным при первоначальной настройке. Объединение двух источников информации математически распутывает совместное смещение. Полученные поправки направляются в раздельные каналы: изображение деформируется по карте глубины обратно в канонический ракурс обучения, а координаты действий зеркально пересчитываются под текущую базу робота. #