Сертифицированный геометрический решатель сокращает количество ошибок и ускоряет динамическую четырехмерную реконструкцию видео
Точная 4D-реконструкция остается сложной задачей: совместная оценка движения камеры, геометрии сцены и нежесткой деформации влечет за собой весьма невыпуклую оптимизацию, что затрудняет гарантию глобальной оптимальности. Мы представляем XM4D, основу для точной и эффективной 4D-реконструкции, основанную на сертифицированной глобальной оптимальной геометрической оптимизации. Отделяя оценку движения камеры от нежесткой деформации, мы формулируем оба этапа как структурированные квадратичные программы с квадратичными ограничениями (QCQP), которые допускают релаксации полуопределенного программирования (SDP) и проверяемые сертификаты глобальной оптимальности. Для оценки движения камеры мы переносим статические треки точек в 3D, используя базовые модели прогнозирования глубины, и формулируем задачу настройки масштабированного пакета, которая совместно оценивает позы камеры, масштабы глубины и статические ориентиры. Аналитически исключая перемещения и ориентиры, мы сводим задачу к QCQP по масштабированным вращениям. Для нежесткой реконструкции мы представляем динамическое движение с помощью встроенного графа деформации (EDG) и показываем, что его цели отслеживания, жесткости и временной регуляризации аналогичным образом сводятся к QCQP только с вращением. Обе задачи допускают релаксацию SDP, которую мы эффективно решаем с помощью решателя Бюрера-Монтейро с графическим ускорением, основанного на римановой оптимизации. Восстановленная геометрия дополнительно инициализирует динамическое гауссовское разбрызгивание для фотометрического уточнения. Обширные эксперименты по семи тестам демонстрируют точную оценку движения камеры как в статических, так и в динамических сценах, эффективную оптимизацию, масштабируемую до тысяч кадров, и современное качество рендеринга нового вида.
## В чем суть открытия Реконструкция движущихся 3D-объектов с течением времени из одного видео обычно приводит к математическим ошибкам. Этот метод гарантирует нахождение наилучшего трехмерного динамического движения путем преобразования сложной физики в решаемые задачи геометрической оптимизации. ## Как это устроено: принцип работы Он разделяет реконструкцию видео на статическую оценку камеры и динамическую деформацию объекта, превращая обе задачи в задачи квадратичной оптимизации, связанные только с вращением. Эти невыпуклые задачи сводятся к выпуклым полуопределенным программам, решаемым на графических процессорах посредством римановой оптимизации с математическими сертификатами глобальной оптимальности. Полученная геометрия затем передает динамическое гауссово пятно для рендеринга. ## Что это меняет на практике Обеспечивает быстрое и надежное создание интерактивных 3D-цифровых двойников и моделей шарнирных объектов на основе повседневных телефонных видеороликов для робототехники, телеоперации гуманоидов и иммерсивной дополненной реальности в течение 1–3 лет. ## Границы метода и риски В значительной степени полагается на точную, предварительно вычисленную монокулярную глубину и 2D-треки точек, подвергается квадратичному масштабированию памяти графического процессора с учетом количества видеокадров и требует предварительно фиксированных структур графа деформации. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** ATE-T, RPE-T, RPE-R, mPSNR, mSSIM, mLPIPS, Chamfer Distance - **Размер выборки / валидация:** N = 7 benchmarks across 62+ video sequences and photo collections up to 2,000 frames - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)