Разделение пространственных целей и моторного контроля устраняет ошибки планирования автономных роботов
Планирование с использованием мировых моделей позволяет адаптировать воплощенных агентов во время испытаний, предлагая превосходное обобщение по сравнению с прямым изучением политики. Однако выполнение долгосрочных задач по-прежнему затруднено накопившимися ошибками и сложностью поиска. Существующие иерархические методы часто используют жесткие макродействия или скрытые навыки, что приводит к хрупким представлениям и ограниченному детальному контролю. Мы представляем ID-WM (неявные динамические модели мира), иерархическую модель мира, которая отделяет достижимость пространства состояний от локального управления. Наша структура использует модель высокого уровня для выборки возможных переходов через многообразие состояний и модель мира низкого уровня в качестве решателя обратной динамики, чтобы обосновать эти переходы в точных действиях. Это позволяет планировщику определять достижимые подцели, не ограничиваясь деталями выполнения низкого уровня. Отдавая приоритет локальной физической осуществимости над глобальными моделями поведения, ID-WM синтезирует новые долгосрочные планы из коротких сегментов, выходя за рамки конкретных поведенческих режимов, наблюдаемых во время обучения. Мы продемонстрировали его эффективность в трех пакетах навигации и манипулирования, добившись улучшения 38.5% по сравнению с современными планировщиками на основе политик и диффузии. Важно отметить, что за счет использования этой иерархической структуры для уменьшения ошибок компаундирования наш подход обеспечивает прирост производительности 135% по сравнению с одноуровневой моделью мира MPC, особенно в сложных, невидимых конфигурациях для долгосрочных задач. Видео можно посмотреть на https://id-wm.github.io.
## В чем суть открытия Роботы обычно не справляются с длительными задачами, потому что крошечные ошибки накапливаются в хаос. В этом исследовании планирование разделено на два этапа: генератор высокого уровня, который выбирает достижимые контрольные точки, и решатель низкого уровня, который выполняет физические шаги. ## Как это устроено: принцип работы Высокоуровневая модель условной диффузии отображает изотропный гауссов шум на возможные соседние подцели в многообразии состояний, рассматривая скрытый шум как неявные действия. Детерминированная низкоуровневая модель мира преобразователя затем действует как решатель обратной динамики, генерируя точные управляющие воздействия между последовательными подцелями. Оптимизируя шум вместо сложных пространств навыков, планировщик находит достижимые цели, не попадая в ловушку невозможных переходов движения. ## Что это меняет на практике Позволяет автономным мобильным манипуляторам и складским роботам выполнять долгосрочное планирование и навигацию с нуля при выполнении многокомнатных или многоэтапных задач без необходимости использования функций вознаграждения для конкретных задач или дорогостоящего переобучения. ## Границы метода и риски Поиск во время вывода в скрытом пространстве диффузии требует больших вычислительных ресурсов во время тестирования, что приводит к более медленному выполнению по сравнению с реактивными политиками, а сложность планирования по-прежнему масштабируется с размерностью пространства состояний. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** PushT Random Goal SR: 77% (100% augmented), Medium Maze SR: 99%, Wall SR: 100%, Vision-PushT (d=75) SR: 50% - **Размер выборки / валидация:** N = 50 initial-goal state pairs across 3 environment suites (Wall, PushT, Maze) and 4 maze layouts over 3 random seeds - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)