Индексирование скрытого пространства сокращает затраты на внимание к сверхдлинному контексту, сохраняя при этом полную точность модели
Агентские рабочие процессы все чаще смещаются в сторону задач с длительным горизонтом, таких как открытая научная работа, где модели выигрывают от длинных контекстных окон. Однако в сверхдлинном контексте (более 1 млн токенов) полное внимание обходится непомерно дорого. Многообещающим подходом является разреженное внимание, при котором специальный индексатор выбирает подмножество ключей для внимания. Тем не менее, современные методы индексирования либо по-прежнему имеют квадратичную стоимость размера контекста, либо теряют точность в сверхдлинном масштабе контекста. Мы решаем эту проблему с помощью скрытого разреженного внимания (LSA), эффективного метода внимания, который обеспечивает точность в сверхдлинном контексте. В LSA ключи иерархически кластеризуются в изученном скрытом пространстве, а запросы оценивают иерархию кластеров вместо оценки каждого ключа, что ускоряет предварительное заполнение, декодирование и обучение в длинном контексте. Мы предлагаем два варианта: Distilled-LSA (D-LSA), который можно применять к предварительно обученным моделям посредством дистилляции, и Native-LSA (N-LSA), который изначально обучается только на потере следующего токена. В GLM-5.3-FLASH (QWEN-3.8-27B) с 10 млн токенов D-LSA ускоряет один уровень внимания на 22.7x (72.4x) при предварительном заполнении и на 4.6x (42.5x) при декодировании по сравнению с исходным разреженным вниманием (полным вниманием), сохраняя при этом одинаковую точность при выполнении различных задач. N-LSA обеспечивает точность полного внимания с ускорением обучения 1.6x на слой при 128 тыс. токенов. LSA предлагает практичное и эффективное внимание к моделям, позволяющее извлечь выгоду из сверхдлинного контекста.
## В чем суть открытия Скрытое разреженное внимание ускоряет обработку контекста ИИ за счет организации текстовых ключей в интеллектуальные кластеры в изученном скрытом пространстве, что позволяет запросам искать центроиды сводки вместо проверки каждого отдельного слова. ## Как это устроено: принцип работы Ключи нормализуются, объединяются и динамически группируются в сегменты с использованием иерархического метода Уорда в изученном низкомерном скрытом пространстве. Запросы оценивают эти центроиды сегментов напрямую — либо в плоском виде, либо с помощью поиска по иерархическому древовидному лучу — чтобы получить для вычислений только самые важные индексы токенов. ## Что это меняет на практике Обеспечивает возможность рассуждений и синтеза литературы в реальном времени по многомиллионным контекстам токенов в существующей инфраструктуре графических процессоров, что значительно снижает затраты на вычисления и память для долгосрочных агентов ИИ. ## Границы метода и риски Кэш-память KV по-прежнему линейно масштабируется в зависимости от длины контекста, точность поиска в дереве снижается после 1 миллиона токенов на некоторых дистиллированных моделях, а собственное обучение в настоящее время проверено только в небольших масштабах. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** RULER accuracy at 10M tokens (63.9%), PaperTrail F1 score (29.1%), Prefill speedup (22.7x - 72.4x), Decode speedup (4.6x - 42.5x), TTFT speedup (2.2x - 9.2x) - **Размер выборки / валидация:** N = Evaluated on GLM-5.3-FLASH, QWEN-3.8-27B, and 0.5B native hybrid model across contexts up to 10M tokens (352M token distillation dataset, 100B FineWeb-Edu + 12B LongDocs pre-training dataset, 1,246 papers in PaperTrail benchmark) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)