Инженеры нашли способ сжать память контекста без потери точности и кардинально ускорить серверы
Кэш-ключ-значение (KV) доминирует над объемом памяти и пропускной способностью при обслуживании LLM с длинным контекстом. В то время как 4-битные форматы микромасштабирования (NVFP4, MXFP4) сокращают кэш и привлекают внимание к тензорным ядрам FP4, между алгоритмическим квантованием и системно-зависимым ускорением остается фундаментальный разрыв: существующие системы FP4 KV используют стандартное квантование, которое приводит к серьезному падению точности, тогда как ориентированные на точность 4-битные алгоритмы полагаются на векторные кодовые книги, накладные расходы на поиск которых ухудшают пропускную способность декодирования. Мы представляем BitDecoding-FP4, совместную разработку алгоритма и системы для точного и эффективного собственного декодирования KV FP4. Мы устраняем три источника ошибок: квантование запроса с двойным остатком разбивает запросы на два тензора FP4, сокращая логит-ошибку запроса с 60% до 1%; Масштабирование вероятностей с учетом нижнего уровня не позволяет шкалам E4M3 округлять вероятности длинного контекста до нуля; а квантование ключей с учетом выбросов сочетает в себе статическое сглаживание, вращение Адамара и поиск по масштабу для подавления ключевых выбросов при масштабировании по токенам. На уровне системы мы устраняем узкое место softmax с помощью транспонированного softmax с объединенным квантованием вероятности и многоуровневым запросом MMA в страничных кэшах KV. В моделях с высокой плотностью и MoE с GQA и MLA точность BitDecoding-FP4 остается в пределах 0,5 балла от точности BF16 KV с NVFP4 (1 балл с MXFP4) и отслеживает BF16 KV при развертывании обучения RL. При сквозном обслуживании на NVIDIA B300 с Qwen3-4B и Qwen3-30B-A3B он обеспечивает пиковую пропускную способность обслуживания на 2,4-3,0$\times$ выше, чем BF16 KV. Реализация доступна по адресу https://github.com/OpenBitSys/BitDecoding-FP4.
## В чем суть открытия Себе, что огромная библиотека фотографий сжимается настолько сильно, что мелкие детали размываются; сохраняя краткую «теневую сводку» потерянных деталей и изменяя порядок их считывания сканером, вы мгновенно получаете невероятно четкие изображения. ## Как это устроено: принцип работы BitDecoding-FP4 уменьшает потери при квантовании 4-битного KV-кэша с помощью квантования запроса с двойным остатком (разделение запросов на два тензора FP4), масштабирования вероятности с учетом недостаточного заполнения (предотвращает недополнение softmax) и квантования ключа с учетом выбросов (сочетание статического сглаживания, вращения Адамара и поиска по шкале). С точки зрения системы он вводит транспонированный softmax, распараллеленный по ключам, и укладывает умножения остаточной матрицы запроса непосредственно в конвейеры Tensor Core. ## Что это меняет на практике Обеспечивает сокращение памяти до 3.5x для обслуживания LLM с длинным контекстом (например, 1 млн контекстов токенов), повышает пиковую пропускную способность обслуживания на 2.4-3.0x на тензорных ядрах Blackwell поколения и стабилизирует развертывание обучения с подкреплением без снижения точности. ## Границы метода и риски Требуется аппаратная поддержка собственных микромасштабируемых тензорных ядер FP4 (например, NVIDIA Blackwell/Rubin SM103/SM120); требует автономной калибровки статических ключевых средних векторов и порогов вероятности; требуется специальная совместная разработка ядра CUDA. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Average Accuracy (%), TPOT decoding latency (ms), Per-GPU throughput (tok/s/GPU), Kernel speedup (x), Memory footprint (GiB) - **Размер выборки / валидация:** N = Evaluated on 4 LLMs (Qwen3-4B, Qwen3-30B-A3B, GLM-4.7, Hy4-preview) up to 770B parameters across context lengths from 4K up to 1M tokens - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)