Архитектурный тупик нейросетей: почему гибкие микросхемы ускоряют простые вычисления, но спотыкаются на сложных
Нелинейные функции — важный класс операций в современных моделях большого языка. Однако производители микросхем для искусственного интеллекта до сих пор полагались на традиционные векторные или скалярные процессоры для нелинейных функций. Производительность этих блоков не соответствует показателям модулей матричного умножения (MMU), которые можно найти как в высокопроизводительных, так и в периферийных вычислительных устройствах практически каждого производителя. Реконфигурируемые блоки, такие как FPGA и CGRA, были предложены в литературе, но систематически не сравнивались с традиционными блоками, поддерживаемыми MMU. В этой статье мы создаем две SoC: одну с использованием векторного процессора RVV, а другую с использованием нечувствительного к задержкам (\emph{эластичного}) CGRA, оба в сочетании с MMU и управляемые одноядерным процессором. Затем мы предлагаем сопоставления для общих сетей прямой связи на наших SoC и обнаруживаем, что CGRA достигает максимального ускорения в тактовых циклах 7.12x по сравнению с RVV на этапе активации простых точечных нелинейных функций, таких как SiLU, тогда как RVV достигает максимального ускорения \textbf{9.8x} по сравнению с CGRA для сложных нелинейных функций, таких как $\mathrm{softmax}$. Над охватывающим блоком прямой связи соответствующие максимумы — 3.16x и 4.24x.
## В чем суть открытия Векторные единицы действуют как скоростные полосы шоссе, отправляющие партии автомобилей, тогда как реконфигурируемые массивы представляют собой сборочные линии, где каждая станция непрерывно выполняет один арифметический шаг без остановок движения. ## Как это устроено: принцип работы Авторы создают две идентичные системы RISC-V, совместно использующие память и матричные ускорители, изолируя нелинейный исполнительный блок между векторным процессором RVV и эластичным CGRA. Конвейерный поток данных в CGRA обеспечивает интервал инициации в один цикл для циклов точечной активации, минуя накладные расходы на инструкции для каждого элемента. Однако ядра с большим количеством сокращений, такие как softmax, вызывают серьезные остановки ветвей, сериализацию и дорогостоящую двустороннюю связь с ядром хоста. ## Что это меняет на практике Помогает архитекторам аппаратного обеспечения, разрабатывающим микросхемы вывода периферийных устройств и центров обработки данных следующего поколения, о том, когда следует заменить или дополнить энергоемкие векторные блоки фабриками пространственных потоков данных для поэлементной активации. ## Границы метода и риски Реализация CGRA пострадала из-за дублирования программных токенов для маскировки перекосов в потоке данных, отсутствия аппаратного обеспечения автономного сокращения и отсутствия физического синтеза стандартных ячеек для доказательства фактической четности тактовой частоты. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Clock cycles, speedup factor over baseline, L2 relative error vs PyTorch reference - **Размер выборки / валидация:** N = Square matrix dimensions N in {16, 32, 64, 128} evaluated across multiple warm simulation runs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)