Как научить цифровые копии машин реагировать на маневры беспилотников по законам реального мира
Мировые модели (WM) генерируют сценарии вождения, выходящие за рамки записанных журналов, что позволяет обучать и оценивать системы автономного вождения в невидимых взаимодействиях. Однако существующие WM с трудом обеспечивают как поведенческий реализм, так и визуальную точность, поскольку они упускают из виду взаимосвязь между взаимодействием транспортных средств и визуальными наблюдениями эго. Мы предлагаем интерактивный WM замкнутого цикла, который сочетает в себе моделирование поведения и визуальный рендеринг. Во-первых, политики фонового транспортного средства (BV), полученные путем имитации обучения, настраиваются с помощью многоагентного обучения с подкреплением в замкнутом цикле против сквозного планировщика эго, который реагирует на визуализированные изображения, так что их поведение при взаимодействии соответствует поведению в реальных журналах. Во-вторых, точки зрения, выявленные в результате этих взаимодействий, определяют по-Гауссову диагностику каждого трехмерного гауссова транспортного средства, что ослабляет зависящие от вида цвета на недостаточно наблюдаемых гауссианах и заполняет никогда не наблюдаемые поверхности сгенерированными гауссианами, сохраняя при этом наблюдаемый внешний вид. В-третьих, сигнальные огни визуализируются в соответствии с намерениями транспортных средств при вождении с помощью редактора, который изучает состояния световых сигналов, не наблюдаемые для транспортного средства, посредством контрфактической точной настройки с помощью классификатора состояний освещения. В сценариях с замкнутым контуром с длинным хвостом наш метод уменьшает отклонение от поведения реального взаимодействия на 85% и улучшает PSNR нового вида транспортного средства на 2,0 дБ по сравнению с современным WM. Показано значение световой сигнализации BV в WM, поскольку визуализированные сигнальные огни, передающие намерения вождения BV, косвенно влияют на поведение вождения эго в четверти сценариев.
## В чем суть открытия Обучение автономных беспилотников долгое время сдерживалось фундаментальным парадоксом записанных данных. Дорожные логи фиксируют гигантские объемы реальных поездок, но представляют собой застывшую хронику: в них запечатлен единственный исход событий. В таких записях практически отсутствуют критические инциденты — резкие подрезания, внезапные торможения или рискованные обгоны. Попытки смоделировать интерактивную среду упирались в жесткий разрыв между графикой и поведением. В классических симуляторах окружение либо двигалось по заранее нарисованным рельсам, либо фоновые автомобили реагировали исключительно на математические координаты, игнорируя то, что видит бортовая камера беспилотника. Когда беспилотник принимает решение на основе сгенерированной картинки, любые визуальные дефекты заставляют его тормозить или маневрировать не так, как на настоящей трассе. Окружающие машины, не готовые к подобным реакциям, моментально скатывались в неестественное поведение, нарушая законы дорожного потока. Новое исследование преодолевает этот тупик, создавая замкнутый интерактивный мир, где визуальный рендеринг и моделирование реакций связаны непрерывной обратной связью. ## Как это устроено: принцип работы Архитектура решает три ключевые проблемы раздельного моделирования. Первая — потеря визуального качества при маневрах. Когда соседняя машина перестраивается, сенсоры видят ее борт, отсутствовавший в исходной записи. Прежние системы заменяли весь автомобиль синтетической 3D-моделью, стирая реальные детали. Новый подход проводит точечную диагностику: выявляются только слепые зоны, куда аккуратно переносятся недостающие элементы из библиотеки трехмерных гауссианов, сохраняя подлинную текстуру видимых поверхностей. Вторая проблема — световая коммуникация. В реальном движении стоп-сигналы и поворотники предупреждают об опасности за доли секунды до смещения корпуса. Предыдущие модели «запекали» фары в статичную текстуру. Здесь стоп-сигналы привязаны к трехмерному каркасу кузова: одношаговая диффузия зажигает огни в зависимости от запланированного ускорения и направления маневра с частотой один герц еще до начала видимого поворота, не искажая геометрию автомобиля. Третий компонент — обучение взаимодействию через зрительную обратную связь. Ансамбль экспертов траекторий сначала обучается на реальных стилях вождения, а затем донастраивается алгоритмом многоагентного обучения с подкреплением прямо внутри замкнутого симулятора, подгоняя распределение резк