Как научить манипулятор игнорировать помехи и не потерять точность движений
Роботы, которые учатся на демонстрациях, должны экстраполировать свою политику, несмотря на возмущения состояния, такие как шум датчиков, изменение сцены и ошибки суммирования. Одним из подходов к обеспечению этой устойчивости является регуляризация. Предыдущие регуляризаторы рассматривали каждый штат отдельно и ограничивали чувствительность политики к любым возмущениям в этом штате. Напротив, мы исследуем, как результаты политики смещаются, когда в разных состояниях действуют одни и те же возмущения. Наше понимание состоит в том, что локально робот должен реагировать на возмущения состояния последовательным образом: например, если изменение нерелевантного положения объекта не влияет на политику в одном состоянии, то же самое изменение не должно смещать выходные данные политики в соседнем состоянии. Применяя это понимание, мы разрабатываем регуляризацию внутреннего продукта (InneR). Мы показываем, что внутренний продукт в пространстве действий вызывает внутренний продукт в пространстве состояний посредством якобиана политики (информация Фишера для стохастической политики), и что нулевое пространство этого внутреннего продукта определяет, какие возмущения состояний оказывают эффект первого порядка на политику. Кластеризуя состояния, внутренние продукты которых выровнены, усредняя внутренние продукты внутри каждого кластера и минимизируя наименьшие собственные значения этого среднего, InneR формирует изученную политику так, чтобы соседние состояния делили общее нулевое пространство. InneR обеспечивает последовательную реакцию на возмущения, не ограничивая выразительность политики, и может быть добавлен к существующим конвейерам имитационного обучения для детерминистических или стохастических политик. В смоделированных экспериментах InneR делает изученные политики более устойчивыми к нерелевантным измерениям состояния и переходам между обучающим и тестовым распределениями, тогда как штрафы за норму часто работают хуже, чем клонирование поведения. На реальном роботе-манипуляторе, выполняющем три задачи манипуляции, InneR повышает средний показатель успеха политики распространения с 18% до 57% без дополнительных данных.
## В чем суть открытия Себе, что вы едете под проливным дождем: вместо того, чтобы закрывать глаза, чтобы не отвлекаться, вы учитесь не обращать внимания на капли дождя на стекле, сохраняя при этом взгляд сосредоточенным на дороге. ## Как это устроено: принцип работы Стандартные регуляторы снижают чувствительность политики в изолированных штатах, притупляя масштабы действий, имеющих отношение к решению задач. InneR извлекает метрику действия обратно через якобиан политики, чтобы получить внутренний продукт в пространстве состояний или информационную матрицу Фишера для стохастических политик. Он группирует состояния по хордальному расстоянию Грассмана в их пространствах строк и штрафует только конечные собственные значения каждой усредненной по кластеру матрицы, фиксируя общее нулевое пространство, отвергающее возмущения, среди соседних состояний. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Task success rate (%), final state error, selectivity ratio, shared null space ratio, Jacobian Frobenius norm - **Размер выборки / валидация:** N = 1,000 simulated test starts, 250 drone landing test cases across 10 random seeds, and 60-80 physical robot manipulation trials per task - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Позволяет роботам и дронам выполнять сложные задачи по манипулированию и приземлению в условиях беспорядка, дрожания камеры и смены распределения без проведения дорогостоящих корректирующих демонстраций. ## Границы метода и риски Вводит накладные расходы на обучение от 5x до 6.5x из-за обратного распространения ошибки второго порядка и собственного разложения, и в настоящее время работает с сегментированными векторами состояния, а не с прямыми входными пикселями.