Почему мультимодальные нейросети теряют зрение при управлении роботами в реальном пространстве
Когда робот должен смотреть на чашку, а когда на портафильтр? Тесты пространственного рассуждения оценивают, может ли модель описать сцену, но для манипулирования требуется нечто более конкретное: способность получить конкретное свидетельство, которое делает текущую команду исполняемой. Представление, информативное для одной задачи, может оказаться бесполезным для другой даже на той же рабочей станции. Мы представляем Seeing What Matters, эталон для действенной пространственной веры, обусловленной выполнением задач, в моделируемых настольных манипуляциях. По трем доменам — кофейная рабочая станция, ящик/шкаф и микроволновая печь/бытовая техника — тест обеспечивает 860 замороженных случаев оценки; расширение методов, бюджетов и повторений вывода дает более 115 000 эпизодов оценки по двум протоколам: применимость с обратной связью и функциональное обобщение вне распределения одного и того же объекта. В каждом случае набор возможных представлений RGB сочетается с командой манипуляции, общими навыками сценариев и скрытыми постусловиями, поэтому эталонный тест напрямую измеряет, получает ли политика выбора представления те наблюдения, которые действительно нужны ее команде. Мы также предоставляем диагностический эталонный конвейер, который поддерживает пространственно-функциональное состояние убеждений и ранжирует мнения по отсутствующим доказательствам. При основных настройках бюджета этот конвейер достигает успеха в замкнутом цикле 98.8% и функциональном OOD 98.9%; удаление функциональных компонентов или компонентов, связывающих команды, снижает производительность почти до нуля. Семь моделей языка видения, оцененных в одних и тех же случаях, достигают только 26-43%. Замена метаданных покрытия эталонного конвейера замороженными оценками, полученными на основе RGB, сохраняет успех 98.5%/98.9%; перетасовка визуальных оценок сворачивает их до 15%/11%, подтверждая, что результат зависит от содержимого изображения. Эти пробелы предполагают, что пространственная уверенность в манипуляциях должна оцениваться не по полноте сцены, а по тому, получены ли доказательства, требуемые нынешним командованием.
## В чем суть открытия Себе, что вы смотрите на кухонную стойку: чтобы приготовить кофе, вы смотрите на ручку чашки; Чтобы убрать разлив, вы смотрите на поверхность стойки. Осмотреть всю кухню бесполезно, если вы не увеличите масштаб именно того места, которое требуется для выполнения вашей задачи. ## Как это устроено: принцип работы В тесте команды задач сочетаются с возможными видами камеры, общими навыками роботов и скрытыми физическими результатами. Прозрачный эталонный конвейер отслеживает недостающие функциональные доказательства в реестре предположений и ранжирует ракурсы камеры по релевантности задачи. ## Что это меняет на практике Переводит дизайн машинного зрения робота с пассивного моделирования сцены на активное зондирование с учетом задач, позволяя манипуляторам выбирать точные ракурсы камеры, необходимые для физического выполнения, экономя при этом вычисления. ## Границы метода и риски Оценивалось в смоделированных средах MuJoCo с предварительно визуализированными кандидатами RGB-кадров, а не на реальном физическом оборудовании; Селектор ссылок опирается на метаданные номинального покрытия или контролируемые визуальные головки. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Closed-loop postcondition success (%), Functional-OOD postcondition success (%), Target-cue rate (%), Wrong-command cue rate (%) - **Размер выборки / валидация:** N = 860 evaluation cases (500 coffee, 180 drawer, 180 microwave), >115,000 evaluator episodes, 7 VLMs across 1,500 strict-clean test cases - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)