Обучение с подкреплением решает проблему точности роботизированной руки, достигая субмиллиметрового кинематического управления
Обратная кинематика (IK) преобразует команды позы конечного исполнительного органа в совместное движение, и многие политики «зрение-язык-действие» (VLA) полагаются на нее для воздействия на данную руку и передачи между вариантами реализации. Точная ИК остается трудоемкой: избыточность и сингулярности усложняют обратное отображение, выполнение зависит от контроллеров, настраиваемых вручную, а сбор обучающих данных на физических роботах обходится дорого. Мы представляем PolicyIK, политику обучения с подкреплением, обусловленную целью, для высокоточного ИК. Он обновляет привязки положения суставов на основе обратной связи по позе и наблюдает за накопленными привязками относительно измеренных суставов, чтобы сохранить смещение, необходимое контроллеру положения в состоянии покоя. Двухмасштабные ошибки позы с зависящим от ошибки коэффициентом усиления разрешают неточности в миллиметрах, сохраняя при этом большие движения. Награды за прогресс и проживание учат его как достигать толерантности, так и оставаться в ее пределах. При моделировании единственная попытка обученной политики PPO удерживает средние ошибки за последнюю секунду в пределах 1 мм и 0,2° для 93.5% отложенных задач, а протокол развертывания повышает успех до 98.9%. При обучении непосредственно на физической руке с обучающимся RL, не относящимся к политике, PolicyIK достигает более высоких результатов в охвате и удержании, чем все четыре классических контроллера ИК при тех же бюджетах времени. При моделировании выбора и размещения PolicyIK выполняет команды конечного исполнительного элемента политики $π_{0.5}$ VLA с успехом 95.7%. Эти результаты показывают, что обучение с подкреплением может обеспечить высокоточную обратную кинематику для манипуляторов роботов. Код доступен по адресу https://github.com/Tinaliu0123/PolicyIK.
## В чем суть открытия PolicyIK использует целевое обучение с подкреплением, чтобы управлять манипуляторами роботов в целевых точках с точностью до субмиллиметра и точностью вращения до долей градуса, превосходя по производительности настраиваемые вручную классические решатели на физическом оборудовании. ## Как это устроено: принцип работы PolicyIK накапливает приращения действий по совместному заданию, одновременно возвращая смещения команд, поэтому робот сохраняет силы покоя под действием силы тяжести. Ошибки позы поступают через двухмасштабные каналы с зависящим от ошибки усилением действий для регулировки разрешения вблизи целей. Система вознаграждений сочетает отслеживание прогресса с постоянным вознаграждением за задержку, чтобы обеспечить устойчивое удержание на расстоянии менее миллиметра. ## Что это меняет на практике Обеспечивает развертывание различных вариантов реализации по принципу «нулевой выстрел» или «подключи и работай» для универсальных политик манипулирования «видение-язык-действие» (VLA), устраняя необходимость в настраиваемых вручную численных решателях и повышая успешность выполнения задач реального робота при точной сборке и перемещении. ## Границы метода и риски Требуются специализированные протоколы обучения аппаратного обеспечения (FlashSAC, обратный учебный план, выборка, близкая к цели), чтобы избежать чрезмерного износа при реальных испытаниях, и полагается на точную обратную связь от энкодера сустава для расчетов внутреннего кинематического состояния. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 93.5% single-attempt strict success (1 mm / 0.2°), 98.9% with deployment protocol, 71.7% physical arm 5s holding success, 95.7% VLA pick-and-place success - **Размер выборки / валидация:** N = 4,120 simulated test tasks, 60 physical robot tasks on OpenArm, 120 physical robot tasks on xArm7 - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)