Почему сжатие памяти заставляло зрительный интеллект бредить и как физика градиентов спасла рассуждения
Модели языка видения рассуждений (VLM) предъявляют существенные требования к кэшу KV как со стороны больших мультимодальных контекстов, так и со стороны растущих следов рассуждений. Низкоранговое KV-сжатие стало многообещающей парадигмой, которая хранит низкоразмерные скрытые состояния KV и может сочетаться с квантованием. Однако существующие методы низкого ранга часто вызывают растущее отклонение политики прогнозирования от плотной модели при сжатии состояний KV рассуждений, что приводит к сбоям в рассуждениях. Мы выделяем две ключевые причины этого ухудшения: несоответствие состояний калибровки между статическими контекстами и состояниями рассуждений в соответствии с политикой, а также неодинаковая чувствительность к ошибкам в разных состояниях KV. Для решения этих проблем мы предлагаем TraceKV, систему сжатия KV низкого ранга, не требующую обучения, которая объединяет калибровку по политике, SVD с учетом чувствительности и глобальное распределение рангов в соответствии с единым принципом сохранения политики, существенно уменьшая расхождение политик KL во время рассуждений. Эксперименты с несколькими VLM и тесты визуального мышления демонстрируют превосходную точность — компромисс с памятью, достижение точности рассуждений практически без потерь за счет сжатия кэш-памяти 5.64$\times$ KV в сочетании с квантованием. Оптимизированные ядра низкого ранга дополнительно обеспечивают ускорение сквозного декодирования до 1,83$\times$. Код будет доступен по адресу https://github.com/AK-DREAM/TraceKV.
## В чем суть открытия Зубрежку перед экзаменом: вместо того, чтобы запоминать каждый пиксель иллюстраций учебника, вы выполняете точные логические этапы доказательства и сжимаете фоновые наброски. ## Как это устроено: принцип работы TraceKV заменяет цели статической реконструкции схемой калибровки, соответствующей политике, в которой модель видения генерирует собственные логические трассы. Он вычисляет информационные матрицы Фишера, используя градиенты оценок Монте-Карло, чтобы определить точную чувствительность политики каждого состояния KV, выборочно распределяя проекционные возможности низкого ранга для критически важных токенов рассуждения, а не для избыточного визуального контекста. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Overall Reasoning Accuracy (%), KV Cache Compression Factor (x), End-to-End Decoding Speedup (x), Truncation Rate (%) - **Размер выборки / валидация:** N = 256 ScienceQA calibration samples; 2,017 ScienceQA test, 1,000 MathVista testmini, 900 MMMU validation examples - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Позволяет выполнять многоэтапные визуальные математические и научные модели рассуждений в пределах периферийных или обычных графических процессоров, открывая 5.6x большие размеры пакетов или длину контекста на локальных серверах. ## Границы метода и риски Калибровка требует создания следов соблюдения политики с использованием плотных результатов работы учителей, создавая индуктивный разрыв, когда сжатые поколения учеников расходятся по чрезвычайно длинным траекториям.