Ошибочный диагноз инженеров: почему внешняя память на самом деле не душит скорость автономных нейросетей
Языковые модели с линейным вниманием заменяют растущий кэш значений ключей повторяющимся состоянием фиксированного размера. На периферийной FPGA это состояние может превышать объем встроенной памяти и должно быть выгружено во внешнюю память. В этой статье задается вопрос, доминирует ли такой пейджинг в затратах на декодирование (генерацию токенов). Мы создали аппаратную плитку, которая вычисляет один полный уровень пользовательской гибридной модели Gated DeltaNet с 369 миллионами параметров на FPGA Agilex 5 и отображает ее текущее состояние. Для состояния модели требуется 6,2 МБ, тогда как устройство имеет 0,87 МБ блочной памяти. Пейджинг добавляет 26,0 МБ трафика памяти на каждый декодированный токен, что составляет не более 11,2 процента от расчетной суммы. На плате на частоте 75 МГц с синтетическими весами один токен занимает в этом слое 11,15 мс. Матрично-векторные произведения с весами занимают около 62 процентов этого времени, а фаза состояния, включая пейджинг, — 13 процентов. Плитка представляет собой один узел многоадресной сетки трехрежимных элементов обработки. Мы измеряем погрешность арифметических операций с фиксированной запятой по сравнению с плавающей запятой и проверяем, что аппаратное обеспечение бит за битом согласовывает ссылку с фиксированной запятой. При моделировании логика состояния согласуется с эталоном на всех 18 рекуррентных уровнях. На доске шесть сборок проходят все 30 запусков по 64 жетона и два пробега по 1024 жетона. Для этой модели и интерфейса памяти доставка весов ограничивает производительность декодирования, а рекуррентное состояние — нет. Таким образом, пейджинг состояний практичен для такой модели на граничной FPGA.
## В чем суть открытия Если предполагается, что переключение нейронной памяти между периферийным чипом и внешней оперативной памятью нарушает вывод, почему подкачка занимает всего тринадцать процентов времени выполнения? ## Как это устроено: принцип работы Архитектура реализует плитку аппаратного декодирования для слоев Gated DeltaNet на граничной FPGA в сочетании с внешней памятью LPDDR4. Он перемещает рекуррентные состояния с фиксированной точкой в блоки с двойной буферизацией, перекрывая операции чтения и записи состояний, в то время как встроенный матрично-векторный механизм выполняет 128 операций умножения-накопления за цикл с весами INT4. Планирование по модулю в общем 32-битном канале управления данными с плавающей запятой распараллеливает нелинейное вентилирование и причинные свертки. ## Что это меняет на практике Обеспечивает в режиме реального времени маломощную языковую модель для рассуждений о встроенной робототехнике и восприятии безопасности транспортных средств на слепых перекрестках, позволяя массивам акустических датчиков предварительно выбирать семантические описания за секунды до визуального обнаружения. ## Границы метода и риски Оценивается при первом размере пакета по синтетическим весам для одноуровневого декодирования; исключает предварительное заполнение подсказки, шесть уровней внимания и окончательную проекцию словарного запаса. 128-полосный двигатель по-прежнему в основном связан с пропускной способностью памяти, а не с вычислениями. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Задержка (11,15 мс/токен уровня при частоте 75 МГц), трафик памяти (25,98 МБ/выгруженный токен; общий трафик 7.7%-11.2%), использование ресурсов (29 958–40 077 ALM, 298–305 M20K, 108–128 DSP), точность (106 920) поле записи с точностью до бита совпадает на 54 проходах платы) - **Размер выборки / валидация:** N = 54 physical FPGA board test runs (1,920 layer-tokens in 30 runs, 2,048 in 1,024-token runs, 352 in reset runs; 83 OVAD audio clips) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)