Как освободить треть памяти больших нейросетей без переписывания базовых программ для видеочипов
В глобальных слоях внимания Gemma 4 31B значение представляет собой нормализованную проекцию ключа, а ключ — это значение, масштабированное по фиксированному весу, с кодированием поворотного положения на одной четверти его размеров. В отчете Gemma 4 говорится, что эта конструкция уменьшает глобальный кэш KV до 37.5%, но проверенные нами механизмы открытого обслуживания по-прежнему хранят полный ключ и полное значение: 1024 значения на заголовок KV и токен. Вместо этого мы храним одну строку из 640 значений, точную в реальной арифметике, и неизмененное страничное ядро внимания считывает ее через два перекрывающихся пошаговых представления в качестве своего кеша ключей и кеша значений. В прототипе vLLM с 16-битной моделью 31B выходные данные побитно идентичны эмуляции той же арифметики в стандартном кеше, 2 из 432 окончательных ответов отличаются от стандартного движка (в пределах шума от запуска к запуску), а устойчивое декодирование KV-памяти на запрос падает в 1,34–1,40 раза при токенах от 32 до 64 КБ. В паре предварительного заполнения/декодирования из двух графических процессоров A100 с передачей NIXL и разгрузкой ЦП механизм декодирования с полным пулом 15 ГиБ выполнял в 1,38 раза больше стандартных токенов декодирования за шаг для запросов на 16 КБ (повторяется в 0.06%) и в 1,24 раза для запросов на 8 КБ; модель пула блоков vLLM предсказывала оба соотношения с точностью до 1% (движок был выше от 0.7% до 0.9%) и сопоставляла изменения между ними. Пропускная способность нетерпеливого декодирования выросла в 1,30 и 1,11 раза, и на этом пути компактный движок выдавал те же выходные токены, что и эмуляция для 8 запросов в пакете 1. Прототип во время выполнения делает нетерпеливый переход от 4% к 9% медленнее при равном пакете, и метод еще не складывается с 8-битным KV-кешем в масштабе по умолчанию.
## В чем суть открытия В эпоху развертывания масштабных языковых моделей аппетит диалоговых систем к видеопамяти превратился в ключевой инфраструктурный барьер. При обработке гигантских документов и затяжных бесед львиную долю ультрабыстрой памяти графических ускорителей занимает так называемый кэш внимания — динамическая база данных из ключей и значений для каждого встреченного токена. В новейших архитектурах разработчики математически связали векторы ключей и значений, сделав их фактически идентичными с поправкой на фиксированный вектор весов и частичный пространственный поворот. Однако промышленные движки генерации продолжали по инерции выделять под них два независимых буфера, бездумно дублируя терабайты однотипных чисел. Парадокс заключался в том, что прямое устранение избыточности требовало тотального переписывания сложнейших низкоуровневых вычислительных ядер видеочипов. Авторы нового исследования доказали, что эту дилемму можно обойти на стыке адресной геометрии и математической эквивалентности: кэш глобального внимания упаковывается в единую компактную строку, а стандартные заводские ядра читают ее через два скользящих перекрывающихся окна памяти вообще без изменения своего исходного кода. ## Как это устроено: принцип работы Архитектурный каркас опирается на точное свойство глобальных слоев: вектор значений представляет собой нормированную проекцию, а вектор ключей формируется умножением тех же чисел на фиксированные веса с последующим вращением лишь четверти координат. Исследователи разделили координатное пространство на поворачиваемую часть из 128 чисел и статичную базу из 384 чисел. Вместо хранения двух параллельных блоков по 512 элементов создается монолитная ячейка из 640 значений: повернутые ключи, общая неизменная середина и остаток значений. Магический трюк заключается в создании двух тензорных представлений одного физического адреса памяти. Первое окно захватывает первые 512 позиций и выдает их за вектор ключа, причем операция поэлементного масштабирования весами математически переносится на вектор входящего запроса перед вычислением скалярного произведения. Второе окно берет срез со смещением на 128 позиций вправо, считывая корректный вектор значений. Для самого графического ядра ничего не меняется: оно обращается к привычным таблицам страниц, не подозревая, что читает одну и ту же физическую память. ## Результаты и доказательства Строгая экспериментальная валидация на графических процессорах подтвердила полную математическую точность