Измерение взаимного влияния токенов ускоряет диффузионный генеративный синтез текста
Модели языка диффузии могут записывать множество токенов за шаг, но должны выбирать, какие токены безопасно фиксировать вместе. Декодирование среднего поля наказывает пары позиций, прогнозы которых выглядят одинаково. Мы заменяем этот прокси самой связью: насколько фиксация одного токена меняет доверие модели к другому. Его измеряют дешевые зонды внутри основного прямого прохода, без обучения или дополнительной модели, и они подключаются к тому же правилу среднего поля. На трех моделях и четырех тестах наш метод требует гораздо меньше шагов, чем декодирование среднего поля, и работает быстрее в большинстве настроек, в том числе с кешем «ключ-значение», при средней стоимости точности 1,1 балла. Перетасовка муфт или замена их равномерным бонусом теряет этот выигрыш.
## В чем суть открытия Механизм совместном написании предложения подобен команде, заполняющей пробелы. Проверка каждого слова по отдельности приводит к перекрывающимся ошибкам, но измерение того, как выбор одного слова мгновенно меняет ясность другого, предотвращает хаотические конфликты. ## Как это устроено: принцип работы Вместо того, чтобы наказывать за перекрытие кандидатов-токенов посредством эвристического сходства распределения, метод исследует точные изменения логарифмического запаса (Delta_ij), вызванные обнаружением токена-кандидата j в позиции i. Путем группирования блочно-локальных зондов внутри основного прямого прохода модели и повторного использования кэшированных ключей и значений он вычисляет двунаправленную поддержку и сигналы конфликта без дополнительных прямых проходов или переобучения модели. ## Что это меняет на практике Ускоряет неавторегрессионный вывод по диффузии дискретного текста за счет сокращения вычислений функций (NFE) с 1.3x до 2.2x при декодировании среднего поля и до 7.9x при генерации одного токена, обеспечивая более высокую пропускную способность для генерации текста на границе и на стороне сервера в реальном времени. ## Границы метода и риски Совмещенные шаги пробника добавляют 1.2x к 1.5x вычислительных затрат на каждый проход, снижая ускорение настенных часов по сравнению с экономией количества шагов. Точность падает до 6,1 балла в задачах жесткого рассуждения (MATH) и генерации кода (HumanEval), если пороговые значения не точно откалиброваны. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** LLaDA-8B: GSM8K 76.27% (40.1 NFE, 40.3 TPS), MATH 31.18% (47.9 NFE, 41.5 TPS), HumanEval 39.02% (40.3 NFE, 83.7 TPS), MBPP 29.00% (32.3 NFE, 31.7 TPS) - **Размер выборки / валидация:** N = GSM8K (1,319 problems), MATH (5,000 problems), HumanEval (164 problems), MBPP (500 problems) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)