Роботы, использующие зрение, язык и действия, неожиданно выходят из строя
«Видение-Язык-Действие» (VLA) могут выполнять различные задачи манипуляции непосредственно на основе визуальных наблюдений и инструкций на естественном языке, но они по-прежнему подвержены ошибкам и непредсказуемым сбоям. Развертывание этих политик без постоянного контроля со стороны человека потребует надежных мониторов во время выполнения, которые обнаруживают, когда политика отклоняется от курса. Существующие мониторы используют внешние базовые модели, такие как модели языка видения (VLM), для контроля политики, что значительно усложняет и требует вычислительных затрат для мониторинга во время выполнения. В этой работе мы исследуем альтернативный подход: \textit{могут ли собственные внутренние активации VLA предоставить информацию, необходимую для мониторинга его выполнения?} Наш метод обучает линейные зонды активации политик на основе демонстраций для оценки прогресса, а затем помечает выполнения, которые отклоняются от ожидаемого прогресса. В экспериментах с VLA $π_{0.5}$ с открытым исходным кодом, а также в моделируемых и реальных задачах манипулирования этот подход конкурирует или превосходит мониторы на основе VLM в обнаружении сбоев задач, а также в методах, которые требуют данных об ошибках для обучения. Эти результаты позволяют предположить, что простые исследования внутреннего устройства VLA можно использовать для разработки надежных мониторов времени выполнения, открывая путь к созданию политик, которые могут действовать надежно и контролировать их выполнение без внешних базовых моделей.
## В чем суть открытия Почему роботы, использующие зрение, язык и действия, неожиданно выходят из строя и может ли простое линейное исследование внутренних активаций обнаружить? ## Как это устроено: принцип работы Развертывание этих политик без постоянного контроля со стороны человека потребует надежных мониторов во время выполнения, которые обнаруживают, когда политика отклоняется от курса. Существующие мониторы используют внешние базовые модели, такие как модели языка видения (VLM), для контроля политики, что значительно усложняет и требует вычислительных затрат для мониторинга во время выполнения. ## Что это меняет на практике Обеспечивает сверхлегкий мониторинг безопасности в режиме реального времени для роботов-манипуляторов в промышленной упаковке и сборке без необходимости использования энергоемких внешних моделей фундамента или ручной маркировки неисправностей. ## Границы метода и риски Справляется с задачами с визуально незаметными или стохастическими сбоями, такими как рассыпание мелких бобов, и в настоящее время оценивается в основном на архитектуре VLA π0.5. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)