Роботы-исследователи: асимметричная дистилляция сократила шаги исследования среды в 100 раз
Последовательное принятие решений в условиях частичной наблюдаемости затруднено, поскольку агенты должны исследовать, чтобы вывести скрытую, важную для задачи информацию, прежде чем действовать эффективно. Обучение такому поведению по сбору информации tabula rasa с помощью онлайн-обучения с подкреплением неэффективно с точки зрения выборки, тогда как офлайн-имитация усредняет действия эксперта по скрытым состояниям и не позволяет изучить исследование. В этой работе мы предлагаем ASTEROID, простую и эффективную систему обучения под руководством преподавателя, которая позволяет обучаться исследованиям во время тестирования. Хотя привилегированному эксперту никогда не нужно проводить исследования, мы показываем, что студент, обученный истории, может научиться делать это, обучаясь в контексте политики: студент сначала собирает контекст политики в условиях частичной наблюдаемости, а привилегированный эксперт дает метки действий, обусловленные этим контекстом. Определив экспертные действия, непосредственно обусловленные историей применения учащимся политики, учащийся учится систематически решать проблему частичной наблюдаемости, т. е. осуществлять поиск в условиях неопределенности и использовать его, как только обнаруживается скрытое состояние. Это обеспечивает эффективное исследование во время тестирования (аналогично байесовской апостериорной выборке) без непрактичных затрат на обучение с подкреплением. В широком диапазоне из одиннадцати различных сред, включая тесты дискретной разведки, роботизированные манипуляции, навигацию и среды Procgen, ASTEROID достигает ~2x более высокой отдачи при фиксированных бюджетах на разведку, использует ~100x меньше взаимодействий, чем базовые уровни RL, и превосходит пограничные модели при разведке. Наконец, наш метод переносит политику, обученную в моделировании, в манипулирование роботами в реальном мире, лишенное видения, демонстрируя эффективность исследования и увеличивая успех +40% по сравнению со стандартной дистилляцией. В целом, он обеспечивает простую, но удивительно эффективную основу для обучения эффективному исследованию во время тестирования.
## В чем суть открытия Как слепые роботы могут исследовать сложные производственные цеха, не проделывая при этом миллионы шагов RL методом проб и ошибок, и почему копирование? ## Как это устроено: принцип работы Обучение такому поведению по сбору информации tabula rasa с помощью онлайн-обучения с подкреплением неэффективно с точки зрения выборки, тогда как офлайн-имитация усредняет действия эксперта по скрытым состояниям и не позволяет изучить исследование. В этой работе мы предлагаем ASTEROID, простую и эффективную систему обучения под руководством преподавателя, которая позволяет обучаться исследованиям во время тестирования. ## Что это меняет на практике Обеспечивает адаптацию в режиме реального времени автономной сборки, лишенной зрения, тактильного комплектования склада и поисково-спасательной робототехники, снижая требования к взаимодействию при обучении с помощью 100x и повышая эффективность выполнения реальных задач с помощью 40%. ## Границы метода и риски Требуется доступ к привилегированному учителю-оракулу во время обучения моделированию и зависит от скрытых состояний, остающихся в рамках экспертной поддержки; производительность ухудшается при экстремальных сдвигах целей за пределы распределения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)