Аппаратный декодер памяти избавляет компактные нейросети от главного узкого места в пропускной способности
Память определяет, какие LLM-устройства будут работать и насколько быстро: емкость $4$ GB Jetson Nano, пропускная способность $8$ GB Jetson Orin Nano Super. Развернутые форматы (GPTQ, AWQ, K- и I-кванты $\texttt{llama.cpp}$) тратят равные биты на каждый целочисленный код матрицы, хотя эти коды далеко не однородны. $\texttt{LazyWeights}$ сохраняет эти форматы, но настраивает GPTQ так, чтобы коды сжимались, Хаффман кодирует их без потерь в чередующихся полосах и декодирует их по требованию в небольшом блоке между DRAM и L2, поэтому ядра графического процессора работают без изменений, а DRAM перемещает только закодированные байты. По бюджетам неопределённости $1\%$ и $3.5\%$ кодированные Phi-3-mini, Mistral-7B и SmolLM-1.7B $5.7-31.4\%$ меньше, чем у лучшего формата $\texttt{llama.cpp}$. Модуль декодера ASIC $0.21$ mm$^2$ с точностью до бита ($1$ ГГц, $7$ нм) сокращает задержку Orin и энергию на токен до $36\%$ и $38\%$ ($54\%$ и $44\%$ с возможностью быстрого поиска). На Nano $\texttt{LazyWeights}$ требуется $58-64\%$ меньше времени и $53-57\%$ меньше энергии на один токен, чем процессору $\texttt{llama.cpp}$, и он запускает потоковую передачу Mistral-7B 6.6$\times$ быстрее с битами $3.89$ на вес. Декодер Хаффмана превосходит декодер rANS по скорости и площади при равной пропускной способности; декодер ASIC работает с точностью до бита на FPGA Zynq UltraScale+ (AMD ZCU102).
## В чем суть открытия Почему периферийные чипы искусственного интеллекта тратят пропускную способность памяти на чтение несжатых весов, когда микроскопический аппаратный блок может расширить их без потерь прямо перед кэшем? ## Как это устроено: принцип работы LazyWeights изменяет форму стандартных квантованных весов во время квантования, поэтому их значения плотно группируются в распределениях с более низкой энтропией. Он упаковывает их в ограниченные по длине чередующиеся параллельные потоки битов Хаффмана, хранящиеся в DRAM. Крошечный аппаратный декодер между контроллером памяти и кэшем L2 расширяет поток обратно до стандартных кодов фиксированной ширины со скоростью линии, сохраняя ядра выполнения графического процессора полностью нетронутыми. ## Что это меняет на практике Позволяет периферийной робототехнике, автономным дронам и встроенным устройствам локально запускать модели с параметрами 7B без замены или чрезмерного разряда батареи, сокращая трафик DRAM на величину до 31%, одновременно сокращая задержку и энергопотребление каждого токена. ## Границы метода и риски Оценивается в первую очередь с помощью эмуляции FPGA и синтезированных проекций ASIC, а не кремниевой ленты; некодированные кэши FP16 KV ослабляют преимущества пропускной способности памяти при работе с длинными контекстными последовательностями; пока не поддерживает крайние нескалярные квантователи. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Недоумение WikiText-2, задержка на токен (мс), энергия на токен (мДж/Дж), пропускная способность (G весов/с), точность задачи (HellaSwag, ARC-easy, PIQA, GSM8K) - **Размер выборки / валидация:** N = 3 models (Phi-3-mini, Mistral-7B, SmolLM-1.7B), 2 edge systems (Jetson Orin Nano Super, Jetson Nano), 29 matrices on AMD ZCU102 FPGA - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)