Apple обнаружила конвейер синтетического моделирования, который исключает телеоперацию для универсальных роботов-гуманоидов
Роботы-гуманоиды способны автоматизировать широкий спектр физических задач. Однако прогресс в направлении универсальной автономии гуманоидов по-прежнему сдерживается узким местом в данных: сопоставление пикселей и языка свободной формы с совместными командами низкого уровня требует парного контроля, а массива таких данных не существует в достаточно большом масштабе. Некоторые подходы полагаются на телеоперацию человека и носимые устройства захвата, которым требуется не менее часа человеческого времени для получения часа данных. Мы представляем HALO, гуманоидную автономную систему, работающую на конвейере, который синтезирует данные о зрении, языке и движении в тысячах процедурно сгенерированных домов. Корпус масштабируется за счет вычислений, а не человеческого труда. HALO приобретает набор физических навыков, в том числе сидение на стульях, навигацию по названным объектам, проход боком через полуоткрытые двери, приседание и ползание под столами, а также толкание ящиков. Он координирует эти навыки для решения сложных, долгосрочных задач. Не видя реального дома во время обучения, HALO переносит нулевой выстрел в физический мир, достигая показателя успеха 91% в 360 испытаниях в шести не нанесенных на карту реальных средах. Код и видео см. на https://apple-aiml-research.github.io/ml-halo/.
## В чем суть открытия HALO полностью обучает роботов-гуманоидов внутри синтетических цифровых домов, позволяя им выполнять сложную физическую работу, например, сидеть, ползать и толкать коробки в незнакомых реальных домах без данных телеоперации человека. ## Как это устроено: принцип работы Модель визуального языка высокого уровня разбивает команды естественного языка на подзадачи, а генератор движений среднего уровня создает 5-секундные планы движений всего тела на основе видео с камеры. Затем низкоуровневый трекер движения с частотой 50 Гц использует встроенные датчики глубины и обучение с подкреплением для стабильного выполнения движений суставов. ## Что это меняет на практике Открывает масштабируемое развертывание гуманоидов для домашней и коммерческой помощи в течение 1–3 лет за счет устранения дорогостоящего человеческого труда телеоператоров и предварительного сканирования окружающей среды. ## Границы метода и риски Новые физические задачи по-прежнему требуют ручного создания подсказок и ключевых кадров, в политиках отсутствует тактильная обратная связь, а долгосрочная цепочка навыков терпит неудачу, когда целевые объекты выходят из поля зрения камеры. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 91% single-task success rate (360 trials across 6 unseen real environments), 70% multi-task real-world success rate - **Размер выборки / валидация:** N = 360 real-world physical trials, 6,000 simulated trials across 1,000 procedurally generated homes - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)