Двухэтапный метод подсказок учит роботизированные системы искусственного интеллекта обнаруживать сбои выполнения без дополнительного обучения
Модели языка видения (VLM) обещают возможность нулевой оценки прогресса выполнения задач при обучении роботов, однако существующие структуры часто страдают от предвзятости подтверждения, галлюцинируя прогресс в неудачных выполнениях из-за неявных предположений об успехе или относительного временного ранжирования. Наивные подсказки передовых моделей превращаются в бинарный детектор успеха, который не способен уловить нюансы, нелинейный прогресс и неудачи. Хотя подходы после обучения могут смягчить это за счет явного обучения, они требуют дорогостоящих реальных данных о робототехнике и требуют интенсивного вычислительного постобучения для каждой отдельной базовой модели. Чтобы устранить эти ограничения, мы вводим D&A (описать и оценить): наш подход отделяет оценку прогресса от объективного, основанного на задаче текстового описания динамики сцены, за которым следует этап оценки с использованием явных критериев. Вынуждая VLM синтезировать явное текстовое определение абсолютного успеха перед оценкой, система привязывает оценки к внешнему, глобальному критерию, а не к внутренней временной шкале видео. Эмпирические результаты показывают, что наш метод калибрует нулевые оценки и смягчает предвзятость подтверждения, предоставляя детальные, частичные показатели прогресса, которые точно наказывают неудачные выполнения, правильно интерполируя успешные запуски. Будучи исключительно основанным на подсказках, D&A обобщает задачи, варианты реализации и тесты, сопоставляя или превосходя модели вознаграждения после обучения, а его оценки вознаграждения обеспечивают эффективное последующее обучение с подкреплением.
## В чем суть открытия Роботы, использующие модели на языке видения, часто полагают, что они добились успеха, даже если они потерпели неудачу. В этой статье выставление оценок разделено на два этапа: сначала объективное описание сцены, затем оценка прогресса по строгим критериям и фиксация оценки прогресса. ## Как это устроено: принцип работы Структура D&A разделяет оценку прогресса видео на этап объективного текстового описания, за которым следует этап оценки на основе рубрик. Вместо того, чтобы полагаться на относительные рейтинги рамок или неявные предположения об успехе, модель синтезирует явное определение абсолютного успеха перед присвоением оценки. Это привязывает оценку к внешнему глобальному критерию, эффективно устраняя предвзятость подтверждения и точно наказывая неудачные выполнения. ## Что это меняет на практике Обеспечивает обучение с нулевым подкреплением и автоматическое моделирование вознаграждения для управления роботами в различных аппаратных средствах и средах без необходимости использования дорогостоящих наборов робототехнических данных, аннотируемых человеком, или точной настройки модели. ## Границы метода и риски Требуются передовые модели языка видения, способные к плотному текстовому рассуждению, увеличивается задержка вывода из-за многоэтапной фазы описания и остается зависимость от оперативного качества проектирования для определения рубрик. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Zero-shot task progress correlation, success penalty calibration, downstream RL sample efficiency - **Размер выборки / валидация:** N = Multiple robotic embodiments, video execution benchmarks, and RL tasks