Калиброванные скрытые датчики прогнозируют сбои робота еще до того, как они произойдут, обеспечивая управление
Модели «Видение-Язык-Действие» (VLA) обеспечивают встроенный интеллект общего назначения, но их производительность становится нестабильной при смене распределения, когда непредвиденные сбои могут повредить оборудование или подвергнуть опасности людей. Поэтому для развертывания VLA в реальных системах требуется монитор времени выполнения, который будет своевременным, калиброванным и информативным, но при этом достаточно эффективным для работы на периферии. Существующие методы не отвечают этим требованиям. Мы представляем VLA-Tug, легкий зонд над скрытыми уровнями магистральной сети VLA, который улучшает раннее обнаружение сбоев и ограничивает частоту пропущенных обнаружений и ложных тревог с минимальными накладными расходами на логические выводы. Мы показываем, что контроль на участке траектории перед сбоем увеличивает раннее обнаружение отказов при соответствующих показателях ложноположительных результатов вплоть до 30% по сравнению с самым сильным изученным базовым уровнем. При переходе к невидимым задачам пределы количества пропущенных обнаружений и ложных срабатываний остаются действительными при выполнении до 86% по сравнению с максимумом 21% для базовых показателей. В отличие от существующих методов, VLA-Tug прогнозирует режим отказа, чтобы обеспечить корректирующие действия, повышая точность топ-3 для невидимых задач до 44% по сравнению с большинством базовых показателей. VLA-Tug обеспечивает мониторинг в режиме реального времени, при этом своевременный и информативный зонд поддерживает легкое рулевое управление, что повышает успешность выполнения задач. Мы публикуем набор данных из 3180 аннотированных эпизодов манипуляций для поддержки будущей работы по обнаружению скрытых сбоев в VLA по адресу https://vla-tug.github.io.
## В чем суть открытия Роботы, использующие модели «зрение-язык-действие», часто ломаются в новых условиях. Контролируя внутренние нейронные закономерности до возникновения ошибок, легкий зонд сигнализирует о неизбежных сбоях и определяет тип ошибки, чтобы инициировать исправления в режиме реального времени. ## Как это устроено: принцип работы VLA-TUG извлекает мультимодальные представления из скрытых магистральных уровней политики робота и передает их в облегченный кодер последовательностей LSTM. Три специализированных головки выводят оценку риска в режиме реального времени, прогнозируют конкретную категорию отказов по десяти семантическим классам и согласовывают состояния с концепциями действий. Калибровка «Обучай, затем проверяй» затем определяет пороговые значения оценки риска, чтобы обеспечить совместные статистические границы как для пропущенных обнаружений, так и для ложных тревог. ## Что это меняет на практике Позволяет фабрикам и домам безопасно развертывать автономный физический искусственный интеллект, позволяя мониторам в реальном времени заранее обнаруживать надвигающиеся сбои и запускать целенаправленное корректирующее управление или передачу управления человеком без остановки операций без необходимости. ## Границы метода и риски Статистические гарантии основаны на предположениях об обменности, которые ухудшаются при экстремальных сдвигах в домене, выбор встраивания исходной магистрали требует более глубокого систематического анализа, а последующие вмешательства в управление в настоящее время основаны на разработанных вручную эвристиках. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** AUROCearly (up to 40% FPR), FPR, TPRearly, Top-1 and Top-3 Failure Mode Accuracy, GPU/CPU Latency (ms) - **Размер выборки / валидация:** N = 3,180 annotated manipulation episodes (~289k policy-step embeddings) across 228 simulation tasks and 8 real-robot tasks - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)