Обучение в симуляции открывает искусственному интеллекту прямое управление физическими роботами
Агенты, использующие роботов (RUA), стали многообещающим подходом к управлению роботами общего назначения. Однако высокие характеристики до сих пор были достигнуты только передовыми запатентованными моделями, такими как GPT-6 Astra и Claude Fable 5.2, тогда как модели с открытым весом остаются существенно менее функциональными. Мы показываем, что модель рассуждения 27B с открытым весом можно обучить использованию реальных роботов с помощью обучения с подкреплением, полностью в симуляции и без демонстраций. Подобно агенту, использующему компьютер (CUA), модель наблюдает за окружающей средой, рассуждает в цепочке мыслей и генерирует следующую позу конечного исполнительного органа без каких-либо средств защиты. Мы создаем механизм постобучения для агентской робототехники (PEAR) и используем его для обучения модели на моделируемых задачах роботов в масштабе с помощью обучения с подкреплением при использовании роботов (RURL), отражая то, как передовые модели приобретают использование компьютера. Мы обнаружили, что навыки, приобретенные в ходе моделирования, выходят далеко за рамки задач обучения: они переносятся на невидимого робота, в реальный мир и на новые инструкции. После обучения моделированию на LIBERO и RoboDojo модель успешно прошла 60% наших испытаний на реальном двуруком роботе, тогда как базовая модель не преуспела ни в одном из них. Обучение на LIBERO повышает уровень успеха с 1.6% до 74.4%, приближаясь к GPT-6 Astra и GPT-6.1 Sol при максимальном усилии рассуждения. По сравнению с $π_{0.5}$, моделью «видение-язык-действие», настроенной на демонстрациях, наша модель существенно более устойчива к изменениям в самой задаче. В LIBERO-Pro $π_{0.5}$ успешно справляется только с 0.75% эпизодов, когда ему назначена новая задача в знакомой сцене, тогда как наша модель успешно справляется с 57.4%. Наконец, модель сохраняет свои общие возможности без заметного ухудшения по девяти критериям рассуждения, кодирования и видения. Эти результаты подчеркивают, что обучение с подкреплением с использованием роботов является многообещающим компонентом пост-обучения базовой модели.
## В чем суть открытия Если модель видения никогда не прикасалась к реальной машине и не видела демонстрацию на людях, как чистая симуляция методом проб и ошибок позволяет ей управлять физическими роботизированными руками? ## Как это устроено: принцип работы Вместо того, чтобы имитировать человеческие демонстрации или полагаться на созданные вручную эвристические планировщики, система моделирует роботизированное управление как диалоговую очередность, когда сеть рассуждений получает визуальные кадры, обдумывает расширенную цепочку мыслей и напрямую генерирует позы конечного исполнительного органа с шестью степенями свободы. Эти пространственные позы выполняются с помощью внешней обратной кинематики и стандартных контроллеров моторов, что позволяет модели приобретать переносимую физическую ловкость с нулевым выстрелом посредством асинхронного группового обучения с подкреплением с использованием редких двоичных вознаграждений за завершение. ## Что это меняет на практике Устраняет миллионы долларов и человеко-часов, затрачиваемых на сбор хрупких наборов данных телеоперации для воплощенного ИИ, позволяя лабораториям промышленной робототехники полностью внедрять ловкие политики манипулирования внутри синтетических мультифизических механизмов моделирования. ## Границы метода и риски Задержка вывода высока, поскольку для каждого шага движения требуются цепочки рассуждений из нескольких тысяч токенов (~ 4,3 секунды на ход на GB300 при xhigh усилиях), контекст ограничивает утомляемость при выполнении долгосрочных задач, а производительность в значительной степени зависит от подробных быстрых описаний геометрии робота, а не от изученного планирования траектории действия. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Показатель успешности выполнения задач (%), LIBERO (74.4%), LIBERO-Pro (62.1%), RoboLab-120 (37.3%), реальный захват/выравнивание YAM с двумя рычагами (60.0%) - **Размер выборки / валидация:** N = 2,000 LIBERO episodes, 10,030 LIBERO-Plus episodes, 8,000 LIBERO-Pro episodes, 1,200 RoboLab-120 episodes, 540 RoboDojo episodes, and 30 physical dual-arm robot trials - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)