Реконфигурируемая архитектура чипа сокращает потери энергии ИИ и ускоряет матричные операции на современных чипах
Растущие вычислительные потребности глубокого обучения (DL) привели к появлению реконфигурируемых устройств, оптимизированных для искусственного интеллекта, таких как AMD Versal AI Engines (AIE), тензорные блоки Intel Stratix 10 NX (TB) и AI NPU AMD Ryzen. Их разнородные ресурсы и новые модели потоков данных делают эффективную эксплуатацию нетривиальной, а в FPGA отсутствует встроенная поддержка структурированной разреженности. В этой диссертации оптимизируется плотное общее матричное умножение (GEMM), доминирующее ядро DL на этих устройствах, предлагаются усовершенствования архитектуры FPGA для структурированной разреженности и распространяются эти методы на AI NPU AMD Ryzen. Во-первых, MaxEVA оптимизирует GEMM на Versal AIE, обеспечивая до 2,19$\times$ более высокую пропускную способность и более высокую энергоэффективность 20.4% по сравнению с современными решениями. Затем он расширяется до произвольных размеров матриц, и для Stratix 10 NX TB предлагается систематическая структура. Обе платформы достигают современной пропускной способности int8 до 77 и 68 TOPS и энергоэффективности до 0,94 и 1,35 TOPS/Вт на Versal и Stratix соответственно. Далее, срезы систолического разреженного тензора (SST) предлагаются в виде жестких блоков внутри ткани, поддерживающих плотный уровень разреженности 2:4, 1:4 и новый уровень разреженности 1:3. Ускорители GEMM на базе SST обеспечивают на 5$\times$ более высокую частоту и на 10,9$\times$ меньшую площадь по сравнению с обычной логикой FPGA, а на разреженных моделях ViT и CNN SST обеспечивают ускорение до 3,52$\times$ по сравнению с плотным внутрифабриковым ускорением с увеличением площади до 13.3%. Наконец, предлагается общая систематическая методология оптимизации GEMM для процессоров AMD XDNA и XDNA2, позволяющая достичь современной производительности до 6,76 и 38,05 TOPS (int8) и 3,14 и 14,71 TOPS (bf16) соответственно.
## В чем суть открытия Это исследование перепроектирует то, как специализированные чипы искусственного интеллекта запускают модели глубокого обучения, создавая специальные аппаратные блоки для разреженных вычислений и оптимизируя матричные математические вычисления на реконфигурируемых устройствах, чтобы значительно повысить скорость и эффективность. ## Как это устроено: принцип работы Платформа оптимизирует потоки данных общего матричного умножения (GEMM) с учетом конкретных топологий процессора, максимизируя плотность вычислений и повторное использование данных. В нем представлены встроенные жесткие блоки систолического разреженного тензора (SST), которые изначально ускоряют структурированную разреженность матриц 2:4, 1:4 и новую матрицу 1:3 непосредственно на аппаратном уровне. Затем унифицированная методология сопоставления распространяется на несколько поколений нейронных процессоров, чтобы устранить узкие места при маршрутизации данных. ## Что это меняет на практике Обеспечивает высокопроизводительный и маломощный вывод искусственного интеллекта на периферийных ускорителях и потребительских NPU, открывая путь к зрению и языковым моделям в реальном времени на ноутбуках, встраиваемых устройствах и робототехнике. ## Границы метода и риски Требуется специализированная интеграция аппаратных блоков (SST) на FPGA, ограниченная структурированными шаблонами разреженности (2:4, 1:4, 1:3), а не произвольными неструктурированными разреженными матрицами, и опирается на аппаратные структуры отображения GEMM. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Throughput (TOPS), Energy Efficiency (TOPS/W), Operating Frequency (fmax), Area Reduction, Speedup (x) - **Размер выборки / валидация:** N = AMD Versal AIEs, Intel Stratix 10 NX TBs, AMD Ryzen AI NPUs (XDNA/XDNA2), ViT and CNN benchmarks