Архитектура «умной» памяти снижает энергопотребление динамической потоковой 3D-передачи на мобильном оборудовании
4D Gaussian Splatting (4DGS) обеспечивает высококачественный синтез новых изображений в реальном времени для динамических сцен, поддерживая видео со свободной точкой обзора, мобильную XR и автономные системы на периферии. Методы, использующие явные 4D-распределения, интерполяцию ключевых кадров или привязку привязки, имеют два узких места в перемещении данных графического процессора. Временная фильтрация следует за загрузкой записей модели, тратя пропускную способность LPDDR5 на неактивные данные. Выполнение с изоляцией кадров также игнорирует сильное перекрытие активных наборов и отношения глубины между соседними кадрами, перезагружая общие атрибуты, когда рабочие наборы превышают емкость встроенного кэша. Чтобы устранить эти узкие места, мы представляем GSPIM, ускоритель 4DGS с учетом временной локальности для периферийных устройств с поддержкой PIM. Полиморфный PIM адаптирует общий путь данных, расположенный в ближней памяти, к макетам полей и процедурам выбора, специфичным для представления. Он фильтрует и сжимает действительные данные в смежные входные данные до того, как графический процессор получит доступ к полным атрибутам, сокращая неэффективную передачу. Поток данных многокадрового рендеринга повторно использует активные атрибуты и стабильные отношения глубины во временном окне, сокращая повторную работу между кадрами. Гибридное планирование потока данных перекрывает подготовку данных в памяти с рендерингом на графическом процессоре, чтобы сократить время ожидания. Оценочная модель сочетает в себе модель GPU-PIM, откалиброванную для Jetson AGX Orin 64 ГБ, с физической реализацией добавленных схем 1z DRAM. Благодаря трем методам 4DGS и шести динамическим сценам GSPIM обеспечивает среднегеометрическое ускорение 4.15x и среднегеометрическое улучшение энергоэффективности 4.99x по сравнению с полностью оптимизированным базовым покадровым графическим процессором. Максимальная разница PSNR на уровне сцены составляет 0,011 дБ, а дополнительная физическая площадь составляет 18,7172 квадратных миллиметров на 32 кристаллах LPDDR5.
## В чем суть открытия Почему периферийные устройства сжигают огромную батарею на невидимых пикселях, когда перемещение обработки непосредственно внутри микросхем памяти делает 3D-видео в пять раз дешевле? ## Как это устроено: принцип работы GSPIM использует полиморфные схемы ближней памяти для фильтрации и сжатия активных 3D-гауссовых данных перед отправкой их в графический процессор. Он повторно использует пространственные траектории и траектории глубины в последовательных видеокадрах, чтобы предотвратить избыточную выборку памяти. Затем гибридный планировщик совмещает предварительную фильтрацию памяти с активным рендерингом графического процессора, чтобы исключить ожидание в режиме ожидания. ## Что это меняет на практике Обеспечивает экономную от батареи потоковую передачу объемного 4D-видео в реальном времени и синтез новых изображений на непривязанных гарнитурах XR, смартфонах и автономных периферийных системах в течение 2–3 лет. ## Границы метода и риски Требуются специальные модификации кремния DRAM 1z для кристаллов памяти LPDDR5, что добавляет физическую площадь 18,7 мм² и требует принятия производителем оборудования. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование