Компиляция асимметричного кэша сокращает избыточное кодирование контекста в гетерогенных системах искусственного интеллекта
В реальных развертываниях системы больших языковых моделей (LLM) все чаще развиваются от вызова одной модели к разнородным развертываниям, в которых для вывода динамически вызываются разные модели. Однако когда один и тот же контекст повторно используется в разных моделях, каждой вновь выбранной целевой модели обычно приходится обрабатывать его заново, что неоднократно приводит к значительным вычислительным затратам. Поэтому мы предлагаем ACCT (асимметричную передачу контекста между LLM), которая предназначена для передачи кэша KV между моделями разных масштабов в одном семействе моделей. ACCT преобразует кэш KV, созданный исходной моделью, в разреженные состояния KV, которые могут напрямую использоваться целевой моделью, тем самым обеспечивая повторное использование вычислений контекста в разных моделях и отделяя вычисления контекста от последующих выводов. ACCT состоит из трех облегченных компонентов: Cartographer идентифицирует маркеры контекста, релевантные для запроса, для каждого целевого уровня и заголовка KV; Распределитель определяет, сколько токенов контекста сохраняет каждый целевой уровень и головка KV в рамках общего общего бюджета KV; и компилятор преобразует выбранный исходный KV в разреженный целевой KV. Таким образом, целевая модель может выполнять логический вывод с использованием переданного KV без повторной обработки исходного контекста. Мы оцениваем ACCT в двух взаимодополняющих параметрах, включающих пять тестов общих возможностей и шесть задач, сильно зависящих от контекста. Эксперименты показывают, что ACCT соответствует или превосходит исходную производительность вывода целевой модели даже при уменьшении размера кэша KV на 75%. При длине контекста примерно 19 000 токенов преобразование KV ACCT обеспечивает ускорение в 6,5–21,2 раза по сравнению с предварительным заполнением целевого контекста. Эти результаты демонстрируют возможность переноса вычислений контекста между моделями при ограниченном бюджете KV.
## В чем суть открытия ACCT позволяет различным моделям ИИ в системе совместно использовать внутреннюю память для хранения длинного текста, устраняя необходимость для каждой модели перечитывать документы с нуля. ## Как это устроено: принцип работы ACCT преобразует кэши «ключ-значение» между моделями разного размера в одном семействе с помощью трех облегченных модулей. Сначала картограф оценивает и ранжирует контекстные токены, релевантные запросу, для каждой целевой главы внимания. Затем распределитель распределяет глобальный бюджет памяти, а компилятор преобразует выбранные исходные представления в целевые читаемые состояния. ## Что это меняет на практике Обеспечивает быстрые и недорогие многомодельные корпоративные рабочие процессы и агентные каскады, где тяжелые модели суммируют контекст один раз, а легкие рабочие мгновенно генерируют ответы без избыточного предварительного заполнения контекста. ## Границы метода и риски Передача ограничена моделями в одном и том же семействе моделей, совместно использующими токенизаторы, и эффективность падает, когда исходная и целевая модели имеют значительные различия в размерах или требуют плотных многошаговых рассуждений. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** SearchQA F1 (46.65% -> 67.07%), TriviaQA F1 (50.48% -> 66.31%), 6.5x-21.2x prefill speedup at ~19K context length - **Размер выборки / валидация:** N = 10,000 fixed evaluation examples across 11 datasets (6 model pairs) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)