Разрушает стену памяти, передавая дополнительную точность из хранилища для восстановления точности искусственного интеллекта
Квантование снижает требования к памяти и пропускной способности для вывода модели большого языка (LLM), но может ухудшить точность; вместо этого выгрузка данных более высокой точности может привести к остановке генерации. Мы представляем StrataFlux, структуру, которая бросает вызов этому компромиссу, восстанавливая точность, потерянную из-за квантования кэша с низким битовым весом и ключом-значением (KV), сохраняя при этом преимущества в памяти и скорости квантования. StrataFlux совместно разрабатывает уточненное представление, выбор и доставку, чтобы сделать оперативную память хоста и твердотельные накопители полезными источниками дополнительной точности. Его потоковая передача с выборочной точностью уменьшает объем передачи, перекрывает доставку с вычислениями и повторно использует полученную точность на этапах декодирования, поэтому генерации не нужно ждать каждой передачи. Мы оцениваем 2-4-битные веса и 2-3-битный KV-кэш на выделенных графических процессорах и платформах с унифицированной памятью. Для 2-битных весов Llama-3.1-8B-Instruct StrataFlux уменьшает недоумение WikiText-2 с 9,46 до 8,40, сохраняя при этом 95.4% пропускной способности квантованной базы на RTX 5090. Благодаря 2-битным весам и KV StrataFlux повышает точность Qwen3-8B AIME 2024/2025 с От 11.0% до 47.1% при неизменном использовании памяти графического процессора. В контексте 128 КБ Llama-3.1-8B-Instruct с 3-битными весами и 2-битным KV достигает уровня сложности и скорости, сравнимыми с 4-битными весами AWQ и 8-битным KV vLLM на RTX 5090, используя примерно половину памяти графического процессора. Эти результаты показывают, что резидентная точность графического процессора не должна устанавливать потолок точности, а задержка уровня разгрузки не определяет скорость декодирования.
## В чем суть открытия При сильном сжатии моделям искусственного интеллекта обычно не хватает быстрой памяти графического процессора. Этот метод сохраняет сверхмалую базовую модель в памяти графического процессора и своевременно передает крошечные прецизионные пополнения из оперативной памяти или твердотельного накопителя хоста, восстанавливая высокую точность на максимальной скорости. ## Как это устроено: принцип работы Система сохраняет квантованные низкобитовые веса модели и KV-кеши в быстрой памяти графического процессора в качестве резидентной базы, сохраняя при этом уточняющие биты более высокой точности в оперативной памяти хоста или на твердотельном накопителе. Он использует «опережающую выборку» для раннего прогнозирования и извлечения важных весовых каналов и «задержку выборки» для отсрочки вычислений, перекрывая фоновые передачи с активными вычислениями на графическом процессоре. Интеллектуальный кеш-память повторно использует часто выбираемые точные биты на этапах декодирования и пропускает промахи в кэше, чтобы избежать задержек в ожидании. ## Что это меняет на практике Позволяет запускать гигантские высокоточные LLM с длительным контекстом на бюджетных потребительских графических процессорах и ноутбуках за счет использования доступной системной оперативной памяти и твердотельных накопителей без снижения скорости. ## Границы метода и риски Требуются предсказуемые шаблоны активации для раннего прогнозирования опережения/запаздывания выборки, наблюдается незначительное падение пропускной способности при высокой частоте промахов кэша на более медленных твердотельных накопителях, а также увеличивается нагрузка на процессор/хост-память. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Perplexity (WikiText-2, PG-19), Accuracy (AIME 2024/2025, MATH500, RULER 128K), Decode Throughput (tokens/sec) - **Размер выборки / валидация:** N = Evaluated across 7 LLMs (Llama-3.1-8B, Llama-3.3-70B, Qwen3-8B, Qwen3-32B, Qwen3-30B-A3B, Qwen3.5-9B, DeepSeek-V2-Lite) on RTX 5090, RTX 5070 Ti, RTX PRO 6000, DGX Spark, and MacBook Air M3 - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)