Ускорение LLM в 4,5 раза: адаптивный контроль выживаемости оптимизировал генерацию ответов
Многотокенное предсказание (MTP) может ускорить декодирование языковой модели за счет создания нескольких токенов и их проверки за один проход целевой модели. Однако лучший горизонт предположений меняется в зависимости от контекста: более длинные черновики обеспечивают большую амортизацию, если они надежны, но могут привести к потере вычислений из-за суффиксов, отброшенных после отклонения. В отличие от авторегрессионного черчения, где правило остановки может принимать решения по жетонам, MTP должен фиксировать горизонт перед черчением, поскольку все головы стреляют за один и тот же проход вперед. Поэтому мы формулируем выбор горизонта как задачу онлайн-управления, используя обратную связь по проверке, чтобы узнать, насколько можно доверять черновому варианту в каждом контексте, и вводим адаптивное прогнозирование нескольких токенов (AMTP): легкий контроллер, который не требует переобучения и оставляет точный верификатор неизменным. Чтобы управлять выбором горизонта, мы характеризуем ожидаемое количество токенов, зафиксированных на каждом горизонте, через выживание принятия, вероятность того, что черновой префикс будет полностью принят. Перед каждым раундом AMTP прогнозирует, как долго проект сможет выжить, и выбирает горизонт с наибольшим ожидаемым количеством токенов в секунду, свободно обучаясь на каждом этапе проверки. Теоретически мы показываем, что любая ошибка прогнозирования онлайн-учащегося приводит к сожалению о пропускной способности по сравнению с лучшим горизонтом для каждого контекста и, в свою очередь, к ограничению времени завершения на настенных часах. При онлайн-градиентном спуске это сожаление носит сублинейный характер. В пяти парах черновик-цель, построенных на Llama-3.1-8B-Instruct с головками Medusa, моделями Meta MTP и Qwen3-4B-Inst-2507-MTP, оцененными на AIME 2025 и GSM8K, AMTP декодирует до 4.1x быстрее, чем стандартное декодирование, и соответствует или превосходит фиксированное окно в 8 из 10 настроек, с приростом пропускной способности до на 10%.
## В чем суть открытия Почему модели с несколькими токенами тратят впустую вычислительные токены, которые отклоняют верификаторы, и как онлайн-контроллер выживания может? ## Как это устроено: принцип работы Однако лучший горизонт предположений меняется в зависимости от контекста: более длинные черновики обеспечивают большую амортизацию, если они надежны, но могут привести к потере вычислений из-за суффиксов, отброшенных после отклонения. В отличие от авторегрессионного черчения, где правило остановки может принимать решения по жетонам, MTP должен фиксировать горизонт перед черчением, поскольку все головы стреляют за один и тот же проход вперед. ## Что это меняет на практике Сокращает задержку вывода LLM и эксплуатационные затраты на электроэнергию для передовых моделей с несколькими токенами без переобучения весов или изменения точной проверки. Обеспечивает ускорение 2.3x–4.5x в тестах рассуждения (GSM8K, AIME 2025) в производственных средах. ## Границы метода и риски В настоящее время оценивается в непакетных режимах с одной последовательностью без KV-кэширования. Выгоды уменьшаются в самоспекулятивных архитектурах, где черновая и целевая модели используют один прямой проход. ## Результаты и доказательства - **Комплексный скор значимости:** 8.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)