Как заставить нейросеть читать длинный документ лишь однажды и отвечать на сотни вопросов сразу
Рабочие нагрузки LLM иногда задают много независимых вопросов об одном и том же длинном документе, как при обеспечении качества документа, маркировке данных и оценке на основе LLM. Кэширование префиксов удаляет избыточное предварительное заполнение, общее для этих запросов, но каждый шаг декодирования по-прежнему считывает кэш ключ-значение (KV) документа один раз для каждого вопроса, поэтому декодирование ограничивается пропускной способностью памяти и масштабируется в зависимости от количества вопросов. Мы представляем параллельные подсказки, которые одновременно декодируют P вопросов как P независимых потоков одного запроса, устраняя эту проблему. В нашем методе на каждом этапе общий документ считывается один раз для всех P потоков, а маска внимания идентификатора потока, оцениваемая внутри ядра внимания, сохраняет каждый ответ обусловленным только документом и собственным вопросом. Мы реализовали параллельные запросы в SGLang, добавив около 80 строк к трем существующим файлам и небольшому пакету движка; маска не требует плотного тензора, и каждый шаг декодирования имеет фиксированную форму, которая фиксируется в виде графика CUDA. С CodeLlama-7B, документами с токенами 8–16 тыс. и 64–256 вопросов на документ, параллельные запросы 3.7x быстрее, чем стандартный SGLang с его серверной частью FlashInfer на A100 и 5,9-6.0x быстрее на RTX A6000 в двух выпусках SGLang, включая самую последнюю версию. При синхронизации с идентичными входами он быстрее стандартного SGLang во всех 144 запусках (2 графических процессора x 2 выпуска x 6 рабочих нагрузок x 6 наборов входов). Код: https://github.com/jlab-nlp/parallel-prompting.
## В чем суть открытия Двадцать учеников, задающих вопросы по одной книге: вместо двадцати репетиторов, перечитывающих всю книгу двадцать раз, один репетитор читает ее вслух один раз, а все двадцать учеников делают отдельные записи, не заглядывая друг в друга. ## Как это устроено: принцип работы Параллельные подсказки объединяют несколько вопросов в параллельные потоки одного запроса. Маска внимания идентификатора потока в ядре гарантирует, что каждый токен относится исключительно к общему документу и своей собственной истории последовательностей. Это преобразует привязанные к памяти произведения матрицы-вектора в умножения матрицы-матрицы с высокой вычислительной плотностью, сохраняя при этом статические формы тензоров для выполнения графа CUDA. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Wall-time speedup (3.7x–6.0x vs FlashInfer), QuALITY accuracy (75.89%), LooGLE token recall (83.61%), SQuAD F1 (45.14% / 87.2%), Peak GPU memory in GiB - **Размер выборки / валидация:** N = 144 paired synthetic benchmark runs across 2 GPUs, 2 SGLang versions, 6 workloads, and 6 seeds; 2,086 QuALITY questions; 1,761 LooGLE questions; 10,570 SQuAD v1.1 questions - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Значительно сокращает вычислительные затраты и задержки при ответах на вопросы по документам, проверке корпоративных контрактов, маркировке крупномасштабных наборов данных и конвейерах оценки LLM в качестве судьи. ## Границы метода и риски Ускорение снижается при работе с длинными ответами из-за сканирования ключей одноуровневых потоков, преимущества меньше при использовании облегченных моделей внимания сгруппированных запросов, а текущая поддержка ориентирована на пакетные рабочие нагрузки в автономном режиме без динамического онлайн-планирования.