Неочевидный трюк инженеров: почему медленная отправка данных ускоряет работу кластера
Двухпакетное перекрытие (DBO) скрывает взаимодействие смешанных экспертов (MoE) за вычислениями другого микропакета, но только после отправки отправки освобождает графический процессор. Отправка временной отправки удерживает графический процессор, поэтому остается открытым, а прогресс сети после выпуска может быть скрыт. Мы оцениваем три исследовательские конфигурации, построенные на NCCL-EP, которые нацелены на это открытое время связи: GPI, в котором графический процессор создает дескрипторы, дружественные к графическому процессору (GFD), и отправляет их в память, доступную для сетевого адаптера, для транспортировки; GPI-MC, который описывает разветвление токена MoE в одном GFD; и GDAKI Free Flow, который перемещает ход отправки в поток хоста. В системе GB300 NVL72 все три подхода сокращают время отправки по сравнению с GDAKI по умолчанию в большинстве рабочих точек при анализе оцениваемых параметров. Эксперимент, включающий задержку графического процессора между отправкой и получением отправки, показывает, что разгрузка увеличивает интервал в полете. В зависимости от конфигурации от 32 до 512 микросекунд вычислений или другой независимой работы между отправкой и получением скрывается отложенный прогресс, оставляя меньше открытого времени, чем GDAKI по умолчанию. При дезагрегированном обслуживании vLLM с DBO эти подходы снижают медианное значение TPOT на 15-25% по сравнению с GDAKI по умолчанию NCCL-EP и на 16-42% по сравнению с DeepEP v1.
## В чем суть открытия Бросать исходящую почту прямо в лоток для отправки и сразу же возвращаться к письму, вместо того, чтобы стоять у почтовой стойки в ожидании, пока каждый конверт будет проштампован и отсортирован. ## Как это устроено: принцип работы При двухпакетном перекрытии связь для одного микропакета выполняется ниже вычислений другого, но традиционные сетевые процессоры, инициированные графическим процессором, останавливают выполнение ядер во время построения входной очереди работ и отправки сигнала дверного звонка. Делегируя продвижение очереди хост-потоку или выдавая унифицированные дескрипторы непосредственно сетевому интерфейсу, ускоритель немедленно сдается. Хотя задержка сетевого транзита немного увеличивается, она остается полностью скрытой от независимых вычислительных операций, сводя к минимуму открытые задержки на критическом пути. ## Что это меняет на практике Предоставляет распределенные механизмы вывода, такие как vLLM и TensorRT-LLM, с немедленной программно-архитектурной стратегией для уменьшения задержки генерации токенов MoE без необходимости обновления физического сетевого оборудования. ## Границы метода и риски GDAKI Free Flow требует постоянной доступности ЦП хоста и пропускной способности PCIe; чистый GPI демонстрирует накладные расходы на отправку при высоком разветвлении; и выигрыш в задержке исчезает при низком пакетном параллелизме, когда разделение двух пакетов не может быть экономически устойчивым. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Time Per Output Token (TPOT in ms), dispatch-send duration (µs), exposed communication time (µs), GSM8K accuracy - **Размер выборки / валидация:** N = 3,240 microbenchmark measurements across 4–16 GPUs; 1,024 requests per serving point across concurrency 1–1000 on GB300 NVL72