Прогрессивные кэши памяти устраняют узкие места при перемещении данных и ускоряют работу гигантских нейронных моделей на персональном оборудовании
Большие модели смешанных экспертов (MoE) перспективны для локального вывода, поскольку разреженная маршрутизация позволяет пулу маршрутизируемых экспертов размещаться на SSD, в то время как DRAM кэширует недавно использованных экспертов. Однако при практических возможностях кэш-памяти DRAM значительная часть операций ввода-вывода SSD остается на критическом пути, несмотря на перекрытие вычислений ввода-вывода. Динамическая экспертная точность на уровне токена предлагает естественный способ снизить потребность в данных за счет распределения битов в соответствии с важностью эксперта и чувствительностью квантования. Тем не менее, обработка каждой разрядности одного и того же эксперта как независимого объекта предотвращает повторное использование кэша перекрестной точности, что приводит к повторной выборке перекрывающихся данных. Ключевой вывод заключается в том, что вместо этого точность должна обозначать глубину уточнения одного общего экспертного состояния. Основываясь на этом понимании, мы представляем PagedMoE, который сохраняет каждого эксперта один раз, используя совместимую с префиксами древовидную кодовую книгу и макет битовой плоскости. Представления с более низкой точностью являются допустимыми префиксами представлений с более высокой точностью, что позволяет повторно использовать или расширять кэшированные данные за счет выборки только недостающих битовых плоскостей. PagedMoE выбирает необходимую длину префикса перед вводом-выводом, используя текущие веса маршрутизации и автономные профили ошибок, специфичные для эксперта, и напрямую выполняет кэшированные 1-8-битные префиксы, не реализуя эксперты полной точности. При средней экспертной точности маршрутизации 2,5 бита PagedMoE достигает качества, близкого к GPTQ-INT4 на Qwen3.5-397B-A17B и к MXFP4 в большинстве оцениваемых задач GLM5.2. Благодаря экспертному кэшу объемом 24 ГиБ он достигает 8,89 токенов/с на Qwen3.5, 1.33x — пропускная способность тех же динамических запросов с использованием независимых точных объектов, а 1.56x — пропускная способность равномерного 4-битного выполнения.
## В чем суть открытия PagedMoE переопределяет динамическую экспертную точность как прогрессивную глубину уточнения, а не разрозненных объектов, позволяя локальным ПК быстрее запускать массивные модели искусственного интеллекта MoE, извлекая только недостающие точные биты с SSD. ## Как это устроено: принцип работы PagedMoE кодирует каждого нейронного эксперта один раз, используя совместимую с префиксами кодовую книгу двоичного дерева и транспонированную раскладку битовой плоскости. Перед выборкой с диска жадный распределитель назначает разрядность, сопоставляя текущую важность маршрутизации с профилями чувствительности в автономном режиме. Во время декодирования система повторно использует кэшированные битовые плоскости в DRAM хоста, асинхронно загружает недостающие суффиксы более высокой точности из SSD и выполняет низкобитовые GEMV непосредственно через векторные регистры ЦП. ## Что это меняет на практике Позволяет настольным ПК и периферийным рабочим станциям с небольшой оперативной памятью и потребительскими графическими процессорами запускать модели Mixture of Experts в масштабе триллиона параметров на интерактивных скоростях (8+ токенов/с) в течение 1–3 лет. ## Границы метода и риски Требуются специализированные наборы инструкций ЦП, такие как AVX-512, для выполнения регистров с нулевым копированием, зависит от парадигм локального декодирования с размером пакета один и приводит к ухудшению квантования в зависимости от модели и задачи при чрезвычайно низких битовых бюджетах. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Decode throughput (tokens/s), Byte cache hit rate (%), SSD read traffic (GiB/token), Perplexity (WikiText-2), Accuracy (GSM8K, ARC-Challenge, OpenBookQA, WinoGrande, GPQA) - **Размер выборки / валидация:** N = 500 generated decode tokens per run on Qwen3.5-397B-A17B and GLM5.2 models across 6 evaluation benchmarks