Диагностическое исследование обнаруживает, где скрываются узкие места и ошибки памяти в рекуррентных системах искусственного интеллекта
Зацикленная языковая модель применяет один блок слоев 4 раза для каждого токена и сохраняет плоскость ключ/значение (KV) для каждого цикла. Мы изучаем, где ошибка хранения меняет распределение следующего токена и как накапливается ошибка общего веса, используя Ouro-1.4B (4 цикла) в GSM8K и MATH и Huginn-0125 (32 цикла) в цепочках, производных от GSM8K, с плотным моделируемым квантованием. На единицу ошибки значения содержат 94% диагональной массы Фишера, но в измеренном KL преобладают ключи с большими ошибками квантования. Локальное предсказание второго порядка соответствует измеренному KL типичных последовательностей, включая 136 удерживаемых цепей, но пропускает несколько уверенных строк, а локальный коэффициент второго порядка для общих весов в 32 циклах находится в диапазоне от 1,65 (INT8) до 4,09 (INT4), поэтому он зависит от направления ошибки. Распределитель на уровне ячейки снижает KL на один шаг при 25-48% BF16 байт, в то время как парные сравнения точности задач зависят от бюджета, а разрыв 25% с K4V2 сокращается почти до нуля при последующей проверке извлечения ответа. Более поздний тест Ouro-2.6B сохраняет разделение ключ/значение, но опровергает преимущество распределения измеренных затрат над Фишером в 31%; во всех 21 регистрации реестра 60 из 176 критериев не прошли проверку.
## В чем суть открытия Зацикленные языковые модели повторно используют слои по глубине, раздувая кэш-память KV. Это диагностическое исследование показывает, где скрываются ошибки квантования и почему теоретические показатели чувствительности не могут предсказать реальную деградацию модели. ## Как это устроено: принцип работы Сравнивая диагональную массу Фишера, разложение Тейлора второго порядка и прямую КЛ-дивергенцию на идентичных входных данных, в статье выясняется, почему ключевые ошибки доминируют над реализованными сдвигами распределения, несмотря на значения, несущие наибольшую чувствительность Фишера. Он изолирует определенные хрупкие ключевые клетки, которые вызывают катастрофические сбои. ## Что это меняет на практике Предоставляет основные принципы проектирования для сжатия кэша KV в рекуррентных LLM, доказывая, что наивное распределение чувствительности Фишера не работает, и демонстрируя целевое распределение точности на уровне ячеек. ## Границы метода и риски Ограничено жадным декодированием в математических тестах, основано на моделировании FP32, а не на физическом ускорении графического процессора, и показывает сильную зависимость от правил извлечения ответов. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** One-step KL divergence, GSM8K strict/flexible accuracy (%), MATH-500 accuracy (%), Fisher mass share (%) - **Размер выборки / валидация:** N = 64 calibration chains (6,658 rows), 136 held-out GSM8K chains, 176 unseen MATH-500 chains, 1,119 test problems - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)