NVIDIA объединяет агентов искусственного интеллекта и физические ограничения, чтобы победить хаос домашних роботов
Манипулирование мобильными роботами в открытом мире требует действий в физической среде, имея лишь частичную информацию. В то время как последние агенты модели большого языка видения (LVLM) демонстрируют сильные способности к рассуждению в открытом мире, существующие архитектуры, которые полагаются на прямой вызов инструментов, борются с геометрической неопределенностью и, таким образом, ограничены полностью наблюдаемыми настольными средами. Напротив, системы планирования задач и движений (TAMP) могут решать долгосрочные задачи при частичной наблюдаемости, но требуют высоких вычислительных затрат и требуют закрытых миров. Мы предлагаем \textbf{TAMPAgent}, структуру агентного планирования, которая объединяет рассуждения LVLM с удовлетворением структурированных ограничений систем TAMP. Мы наделяем агента LVLM моделью планирования в пространстве убеждений, работающей через расширяемый API инструментов восприятия, планирования и контроля. Агент формулирует частичный план задач, состоящий из параметризованных действий наблюдения и выполнения, который впоследствии выполняется с использованием классических алгоритмов поиска. После извлечения геометрических ограничений плана агент использует свой инструментальный API для привязки допустимых значений параметров, удовлетворения требований осуществимости и создания исполняемого плана движения. После выполнения агент постоянно обновляет свою историю убеждений и повторяет этот замкнутый процесс, чередуя действия наблюдения и манипуляции. Оцененный при выполнении сложных задач домашнего мобильного манипулирования на платформах Rainbow Y1 и Unitree G1, TAMPAgent значительно превосходит базовые агентские базовые показатели прямого вызова инструментов, демонстрируя, что интеграция удовлетворения ограничений TAMP в циклы агентного планирования имеет важное значение для неструктурированных, частично наблюдаемых сред.
## В чем суть открытия TAMPAgent сочетает в себе рассуждения на языке искусственного интеллекта с средствами проверки физических ограничений, позволяя роботам перемещаться по невидимым, загроможденным домам и надежно манипулировать объектами. ## Как это устроено: принцип работы Робот использует модель языка видения, чтобы предлагать планы высокого уровня и основанные на гипотезах убеждения на естественном языке. Классические алгоритмы планирования затем превращают их в графики геометрических ограничений, которые специализированные инструменты проверяют перед выполнением любого двигателя. Непрерывное перепланирование по замкнутому циклу обновляет состояние убеждений робота по мере его взаимодействия с окружающей средой. ## Что это меняет на практике Ускоряет внедрение роботов-помощников общего назначения в домах, больницах и логистических центрах в течение 1–3 лет, обеспечивая геометрическую проверку и физическую безопасность действий в открытом мире. ## Границы метода и риски Гарантии выполнения строго зависят от базовых инструментов видения и движения; некалиброванные вероятности языка могут привести к тайм-аутам поиска; Примитивы с фиксированными действиями не позволяют самостоятельно изобретать новые маневры. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Absolute Success Rate (%), Partial Success Rate (%), Uncached Token Consumption per minute - **Размер выборки / валидация:** N = 20 episodes per task across 13 simulation tasks on RBY1, 5 episodes across 6 tasks on G1 humanoid, plus real-world hardware trials - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)