Параллельное пространственное декодирование сокращает задержку планирования робота и повышает точность
Модели для физических задач ИИ, таких как робототехника и автономное вождение, не обязательно должны рассуждать исключительно на языке. Они могут использовать визуальные планы — точки, ограничивающие рамки и траектории — для представления пространственных целей и прогнозирования движения. Однако авторегрессионные модели языка видения генерируют эти планы по одному токену координат за раз, что делает более точные прогнозы все более дорогостоящими. Мы представляем VFlash — метод быстрого и точного визуального планирования с помощью примитивного декодирования Flash. VFlash использует известную структуру визуальных примитивов для совместного прогнозирования их координат, используя облегченный редактор, который генерирует весь примитив за один прямой проход. Макет адаптируется к типу, размерности и длине примитива, поддерживая компактные блоки и длинные траектории переменной длины. Важно отметить, что пространственная точность не требует воспроизведения точной последовательности токенов авторегрессионной модели. Таким образом, VFlash обучается на аннотированных примитивах и напрямую принимает структурно обоснованные прогнозы без согласования целевого токена. В ходе оцениваемых задач по траектории 2D и 3D робота VFlash последовательно снижает ошибки прогнозирования по сравнению с авторегрессионным декодированием. Предварительные однократные измерения показывают, что 25x генерирует примерно более быстрое создание трехмерного прогноза движения точек. Модель мировых действий, основанная на планах VFlash, обеспечивает средний успех 70.2% в четырех наборах задач MolmoSpaces по сравнению с 62.6% для базового уровня.
## В чем суть открытия Роботы обычно определяют пути движения, предсказывая координаты по одному крошечному жетону за раз, что приводит к огромным задержкам. VFlash прогнозирует полные визуальные формы и траектории движения за один шаг, делая планы от 5x до 25x быстрее и точнее. ## Как это устроено: принцип работы VFlash сочетает в себе замороженную основу языка видения с легким беспричинным диффузионным редактором. Как только вызов инструмента объявляет примитивную схему, VFlash выравнивает токены по геометрическим границам и генерирует всю последовательность координат за один двунаправленный прямой проход. Структурно допустимые пространственные примитивы принимаются напрямую, без необходимости согласования каждого токена с вероятностями целевой модели. ## Что это меняет на практике Обеспечивает высокочастотное пространственное планирование в реальном времени для автономного вождения и роботизированных манипуляций на периферийном оборудовании с низким энергопотреблением, таком как Jetson Thor. Сокращая задержку визуального декодирования с помощью 80%, физические агенты могут обновлять сложные трехмерные планы траектории за миллисекунды во время выполнения реальных задач. ## Границы метода и риски Прямое принятие примитивов обходит проверку распределения, что приводит к падению точности сверхстрогих показателей, таких как блок F1 при IoU 0,95, если только оно не сочетается с резервными механизмами. Производительность также по-прежнему ограничивается соответствием структурного форматирования черновых моделей неограниченному тексту. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 3D trajectory ADE/FDE/SR@5/SR@10, 2D trajectory DFD/HD/RMSE, Bounding box F1@IoU/BPS, Point Motion ADE/FDE, Manipulation Success Rate (%), Driving PDMS/RFS - **Размер выборки / валидация:** N = Evaluated across 12.7M training windows, 3,915 MolmoSpaces episodes, 12,146 NAVSIM scenes, and 4,952 COCO images on Jetson Thor, DGX Spark, and H100 GPUs. - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)