Двухэтапная фильтрация токенов снижает нагрузку на зрение робота и одновременно повышает надежность распределения
Модели Vision-Language-Action (VLA) обеспечивают сквозное управление роботом, но логические выводы становятся все более дорогостоящими. Каждое решение обрабатывает сотни визуальных токенов, часто через несколько камер, что приводит к значительным вычислениям, в то же время позволяя нерелевантному фоновому контенту отвлекать прогнозирование действий при сдвиге распределения. Мы утверждаем, что эти проблемы возникают из-за двух взаимодополняющих форм избыточности: многие визуальные токены пространственно нерелевантны, а внимание к остальным токенам часто распределяется неправильно. Основываясь на этом наблюдении, мы предлагаем T3R, систему двухэтапной очистки токенов без обучения. На первом этапе обрезка токенов на основе сегментации удаляет ненужные визуальные пятна, чтобы сократить вычисления и устранить отвлекающий контекст. На втором этапе смещение внимания, управляемое значимостью, перераспределяет внимание на критически важные для действия визуальные области и языковые инструкции внутри сохраненных токенов. В совокупности сокращение дает более чистый набор кандидатов, в то время как смещение внимания еще больше подчеркивает наиболее важные для принятия решения доказательства, обеспечивая лучшую границу точности и эффективности, чем любой из этапов по отдельности. В LIBERO-Spatial T3R удаляет 85% визуальных токенов камеры сцены, при этом по существу соответствуя необрезанному показателю успеха, и повышает успех до 7 процентных пунктов при возмущениях размещения объектов вне распределения. Сравнение времени приписывает 7,8 мс на вызов вывода приложению обрезки и смещения внимания. По мере увеличения входного разрешения профилирование LLM-forward показывает ускорение 3.3x по сравнению с необрезанным базовым уровнем. Оценки LIBERO, SIMPLER и RoboTwin с тремя магистральными сетями VLA показывают наибольшие преимущества в точности и эффективности в настройках нескольких камер. Эти результаты демонстрируют, что уточнение токенов без обучения — это практический подход к эффективному и надежному выводу VLA.
## В чем суть открытия Роботы обрабатывают тяжелые изображения с камер, замедляя их. Устраняя фоновый шум и выделяя ключевые объекты без переобучения, роботы действуют быстрее и лучше справляются с визуальными отвлекающими факторами. ## Как это устроено: принцип работы T3R сокращает количество визуальных токенов до 85% перед входом в декодер, используя POS-взвешенное сходство текста и изображения и сегментацию EfficientTAM, сохраняя при этом исходные позиционные вложения. Затем он использует интегрированные градиенты, чтобы сместить внимание среднего уровня к важным языковым токенам и сохранить патчи во время генерации действий. ## Что это меняет на практике Обеспечивает управление многокамерным роботом в режиме реального времени на периферийном оборудовании, сохраняя эффективность вычислений при увеличении разрешения изображения. ## Границы метода и риски Проблемы, когда целевые и целевые объекты перекрываются, не справляются с многоэтапными задачами, требующими смещения пространственного внимания, и дают ограниченные преимущества в установках с одной камерой. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Task Success Rate (%), Inference Latency (ms), LLM-Forward Speedup (x), Token Pruning Reduction (%) - **Размер выборки / валидация:** N = LIBERO (40 tasks, 400+ episodes), SIMPLER (15 tasks, 285 episodes), RoboTwin (5 tasks, 60 episodes) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)