Как объединить гигабайты рассеянной памяти нейросетей и заставить серверные кластеры отвечать мгновенно
Современные рабочие процессы LLM, такие как генерация с расширенным поиском (RAG) и агенты LLM, создают длинные подсказки из нескольких независимых текстовых сегментов, что делает предварительное заполнение основным источником вычислений. Поэтому повторное использование кэшей KV важно для снижения затрат на обслуживание и задержек: системы распределенного кэширования распределяют кэш KV по кластеру для увеличения совокупной емкости, а позиционно-независимое кэширование (PIC) позволяет повторно использовать повторяющиеся сегменты под разными префиксами. Однако существующие системы распределяют кэши KV, но по-прежнему полагаются на кэширование префиксов (ПК), в то время как существующие методы PIC позволяют повторное использование независимо от позиции без управления ресурсами всего кластера. Мы представляем Nebula, первую распределенную среду обслуживания LLM, которая рассматривает сегменты PIC как первоклассные элементы, обеспечивая удаленное повторное использование PIC и параллельное предварительное заполнение. Чтобы отслеживать детальные асинхронные изменения состояния PIC, Nebula сочетает оптимистический учет с обновлениями, управляемыми событиями, чтобы обеспечить своевременное и достоверное представление кластера для управления кэшем и планирования предварительного заполнения. Чтобы учесть разнообразные шаблоны повторного использования в разных рабочих нагрузках, Nebula использует обратную связь по ложным попаданиям на уровне всего кластера для автоматической настройки распределения емкости общего кэша между ПК и PIC. Наконец, Nebula включает затраты на организацию очередей, вычисления и передачу KV в единую модель времени завершения предварительного заполнения, чтобы направлять гибкую настройку параллелизма и размещение вычислений с учетом локальности. Для четырех моделей и четырех реальных RAG- и агентских рабочих нагрузок Nebula снижает медианное значение TTFT в среднем на 61.4% по сравнению с самым сильным существующим базовым показателем и восстанавливает в среднем 76.1% токенов, пропущенных при кэшировании префиксов.
## В чем суть открытия Библиотеку, в которой каждый ученик должен перечитать всю книгу с первой страницы, если на обложке приклеена одна заметка, вместо того, чтобы мгновенно делиться предварительно прочитанными конспектами, хранящимися на соседних учебных партах. ## Как это устроено: принцип работы NEBULA превращает независимые от позиции сегменты кэша KV в распределенные по всему кластеру активы, позволяя узлам извлекать и повторно использовать фрагменты кэшированного текста независимо от вариаций префикса. Он координирует оптимистичный каталог, управляемый событиями, для поддержания точного состояния кластера, динамически настраивает емкость кэша префиксов и сегментов с помощью обратной связи по призрачным попаданиям и использует унифицированную модель задержки для планирования параллельного предварительного заполнения среди простаивающих рабочих процессов. ## Что это меняет на практике Позволяет корпоративным развертываниям RAG и многоагентным системам искусственного интеллекта с дальним горизонтом значительно масштабировать длину контекста и количество одновременных пользователей, одновременно сокращая затраты на вычисления на графическом процессоре и задержку обслуживания более чем на 60%. ## Границы метода и риски Требуется явная маркировка подсказок (<pic>...</pic>), зависит от сетевых межсоединений с малой задержкой (например, 200 Гбит/с RDMA) для межузловой передачи KV, а накладные расходы на повторные вычисления в базовых бэкэндах PIC (таких как CacheBlend или A3) остаются привязанными к длинам последовательностей. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 61.4% average median TTFT reduction, 76.1% prefix-miss token recovery, up to 97.3% P99 TTFT reduction, up to 7x goodput increase under 1s TTFT SLO - **Размер выборки / валидация:** N = 4 real-world workloads (ChatRAG-QuAC, RAGPulse, tau-bench-Retail, ChatDev) across 4 model architectures (DeepSeek-V2-Lite, Qwen3.5-35B-A3B, Mistral-7B, Qwen3-30B-A3B) on 8x H20-3e GPUs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)