Новый ИИ воссоздает полноценные трехмерные сцены и аватаров по одному плоскому снимку
Спрос на 3D-контент продолжает расти в играх, фильмах, онлайн-торговле, промышленных цифровых двойниках и расширенной реальности (XR). Однако поставка зависит от сложного ручного процесса. Созданная вручную модель проходит этапы моделирования, лепки, развертывания, текстурирования, оснастки и анимации. На каждом этапе требуется отдельный специалист, а создание одной конкретной модели может занять несколько недель. С другой стороны, альтернативы, основанные на захвате, такие как установки камер с несколькими изображениями, требуют оборудования и опыта, которых нет у большинства пользователей. Искусственный интеллект (ИИ), и в частности генеративный ИИ (GenAI), предлагает путь к сокращению этих затрат, поскольку он может научиться генерировать новый контент из данных, а не полагаться на ручные усилия или специальное оборудование для захвата. Поэтому существует потребность в методах с использованием искусственного интеллекта, которые оперируют уже доступными каждому входными данными. Глубокие генеративные сети достигли впечатляющего качества в создании 2D-изображений. Такие инструменты, как DALL-E и Stable Diffusion, могут создавать фотореалистичные изображения из короткой текстовой подсказки. Более того, простота их использования позволила получить широкое распространение в обществе, поскольку неспециалисты могут использовать эти инструменты без специального обучения. Однако их распространение на 3D-контент вызывает две трудности, связанные с их созданием и оценкой. Во-первых, 3D-модель должна оставаться единообразной с любого направления просмотра, что обычно требует большого количества входных представлений. Поэтому, например, Neural Radiance Field (NeRF) нужны десятки изображений сцены, чтобы реконструировать ее фотореалистично. Во-вторых, коллекции изображений в веб-масштабе, которые позволили создавать 2D-изображения, не имеют аналогов в 3D. Более того, сгенерированный 3D-контент сложно оценить. Качество обычно измеряется либо посредством субъективных исследований, либо с помощью показателей Full-Reference (FR), которые сравнивают контент с оригинальным оригиналом. Ни то, ни другое здесь неприменимо, поскольку сгенерированный контент никогда не захватывается и, следовательно, не имеет оригинального аналога для сравнения. В данной диссертации генерация и оценка качества рассматриваются как две части одной и той же проблемы. Таким образом, в этой диссертации предполагается, что фотореалистичный 3D-контент может быть создан из одного изображения RGB. Кроме
## В чем суть открытия Себе, что вы делаете обычный плоский снимок комнаты, и интеллектуальная система мгновенно реконструирует все скрытые стены, глубину, текстуры и перемещение людей за вашей спиной с помощью реалистичной физики. ## Как это устроено: принцип работы Платформа сначала экстраполирует узкие фотографии в панорамы на 360 градусов, используя диффузию LoRA с круговыми дополнениями. Затем трансформеры извлекают трехмерную геометрию, в то время как мультимодальные карты внимания отображают текстуры, а модели языка видения проверяют динамические гауссовские аватары, чтобы обеспечить физическую согласованность с невидимых углов обзора. ## Что это меняет на практике Позволяет создателям превращать стандартные фотографии со смартфона в 3D-среду и аватары для виртуальной реальности, электронной коммерции, телеприсутствия, создания объектов недвижимости и сохранения музеев без дорогостоящего многокамерного оборудования. ## Границы метода и риски Полагается на предварительно обученные модели языка видения для физического аудита, который может бороться со сложными динамическими окклюзиями, нечеловеческими деформируемыми объектами или экстремальными изменениями освещения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** FID, PSNR, PLCC, 3D Object Detection Accuracy - **Размер выборки / валидация:** N = 30 human participants in VR trial; DDH-QA dataset