Ошибочная память спасает от задержек: скрытый резерв для мгновенных ответов нейросетей
Сеансы агента могут включать частые изменения контекста, которые фактически аннулируют кэшированное состояние KV и заставляют запросы ждать повторного предварительного заполнения перед декодированием. Мы представляем Callo, дезагрегированную систему обслуживания, которая использует недействительный KV для спекулятивных черновиков, чтобы уменьшить эту задержку, одновременно проверяя черновики на соответствие точному KV после предварительного заполнения перед фиксацией токенов. Калло эффективно использует ресурсы декодирования, планируя предположения в периоды недостаточного использования и предотвращая предположения, когда черновики могут быть не приняты. Мы оценивали Callo на испытательном стенде с двумя графическими процессорами, используя сеансы SWE-агента в трех семействах моделей, наблюдая ускорение всех запросов 1.05-1.19x по сравнению с vLLM при умеренной нагрузке. Мы демонстрируем, что эти выгоды также реализуются в масштабе посредством моделирования на уровне кластера, основанного на реальных трассах.
## В чем суть открытия Почему инженеры позволяют ИИ-агентам разрабатывать действия, используя устаревшую, сломанную память, и как эта преднамеренная ошибка сокращает задержку выполнения задач, не внося при этом ошибок? ## Как это устроено: принцип работы Когда агент редактирует предыдущий контекст, CALLO выравнивает оставшиеся токены и повторно вращает их ключевые векторы через объединенное ядро Triton для создания предварительного кэша KV на декодирующих графических процессорах. Поскольку графические процессоры с предварительным заполнением пересчитывают точный контекст и пересылают его слой за слоем, экземпляр декодирования составляет токены ответа в этом предварительном состоянии и завершает работу раньше, если достоверность логита падает. Как только прибудут точные тензоры, один прямой проход проверки проверяет все черновики, фиксируя действительный префикс и отбрасывая несоответствия без потери качества. ## Что это меняет на практике Позволяет агентам многоэтапного автономного кодирования и памяти (таким как Claude Code, SWE-agent и MemGPT) агрессивно суммировать, сокращать и перезаписывать промежуточный контекст, не вызывая при этом резких задержек при повторном предварительном заполнении, сокращая время сквозного выполнения задач на 10% - 27%. ## Границы метода и риски Требуется строгая привязка сеансов к экземплярам декодирования, невытесненные донорские блоки KV и доступные вычислительные мощности декодирования; дает незначительный выигрыш в задержке в кластерах, насыщенных декодированием, или в сверхдлинных цепочках рассуждений, где время декодирования превосходит задержку предварительного заполнения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Среднее ускорение задержки запроса (все запросы: 1.05-1.19x умеренная нагрузка, до 1.27x полная нагрузка; промах запроса: 1.06-1.24x, удаление одного запроса: 1.15x), свернутая доля штрафа за промах (47-49%), скорость принятия черновых значений (65-75% все окно, 98.3% сопоставление следующего токена, принудительное учителем), издержки памяти графического процессора (резерв 0,75 ГиБ, 0.24% означает занятость нуля KV). - **Размер выборки / валидация:** N = 100 SWE-bench Verified task instances (80 replayed, 20 held-out calibration; 12-33 measured sessions and 274-1,095 requests per cell; 624-1,400 miss requests analyzed; 96 simulated GPUs across Azure coding traffic traces). - **Реа