Как научить андроида предугадывать движения человека и отвечать на объятия без задержки
Гуманоидных роботов обычно обучают как одиночных агентов, что делает их неспособными физически координировать свои действия с людьми-партнерами, которые естественным образом предвидят и приспосабливаются друг к другу. Чтобы восполнить этот пробел, мы представляем Social Humanoid, иерархическую систему, которая генерирует и выполняет социально реагирующее движение всего тела на Unitree G1 с 29 степенями свободы, обусловленное движением партнера-человека. Его политика высокого уровня выполняет гибкое моделирование последовательностей движений человека и гуманоида посредством общего токенизированного представления, генерируя реактивное движение гуманоида и предвидя движение партнера, когда он закрыт, в то время как контроллер отслеживания всего тела низкого уровня выполняет сгенерированное движение на роботе. Для обучения системы мы вводим двухэтапную процедуру адаптивного перенацеливания, которая перенаправляет одного партнера по взаимодействию на робота, одновременно изменяя другого партнера, чтобы сохранить динамику контакта, достижимость и относительный масштаб тела. Мы применяем эту процедуру к пяти наборам данных захвата движения, чтобы получить новый эталон взаимодействия человека и гуманоида (HHI), равный 260 часам взаимодействия человека и гуманоида. Наши результаты показывают, что Social Humanoid обеспечивает скоординированное, ориентированное на человека поведение при различных типах взаимодействия в симуляции и реальном мире. Страница проекта: https://von31.github.io/social-humanoid/
## В чем суть открытия Себе, что вы танцуете с партнером, который говорит на другом языке: вместо того, чтобы точно совпадать по размеру шагов, вы оба переводите движения в общий ритм-код, позволяя роботу предвидеть ваше «дай пять» или обнять, не спотыкаясь о разнице в росте. ## Как это устроено: принцип работы Социальный гуманоид устраняет физический разрыв между человеком и роботом посредством двухэтапного конвейера. Во-первых, процесс адаптивного перенацеливания превращает наборы данных захвата движения человека в человеко-гуманоидное взаимодействие, сохраняя при этом геометрию контакта. Затем общая кодовая книга VQ-VAE преобразует движения человека и робота в общий словарь, позволяя преобразователю диффузионного воздействия прогнозировать и выполнять плавные реакции. ## Что это меняет на практике Обеспечивает физическое сотрудничество человека и робота в режиме реального времени и гибкое социальное присутствие — например, помощь по уходу за пожилыми людьми, совместный промышленный подъем и интуитивно понятную домашнюю робототехнику — без необходимости использования специального оборудования для телеуправления или ручного создания правил взаимодействия. ## Границы метода и риски Не хватает артикуляции пальцев и рук, мимики и соответствия силовой обратной связи, что означает, что физический контакт отслеживается кинематически, а не регулируется силой, а социальные сигналы, такие как зрительный контакт, остаются отсутствуют. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** W-MPJPE (m), MPJVE (m/s), Ewrist (cm), Foot Skating, Interpenetration, Sim & Real Success Rate (%) - **Размер выборки / валидация:** N = 260 hours across 5 datasets; 30 real-world trials across 6 interactive scenario types - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)