Почему видеокарты теряли скорость на связи и как компилятор научил их общаться без посредников
Системы машинного обучения специализируют вычисления в соответствии с рабочей нагрузкой и оборудованием, но связь остается в универсальных библиотеках, код устройства и транспортные решения которых не видны компиляторам высокого уровня. Мы представляем Obaleth, компилятор, который делает связь, инициируемую графическим процессором, частью промежуточного представления ядра, оптимизирует ее вместе с вычислениями и сводит ее к специализированному транспортному коду. Obaleth планирует завершение операций в зависимости от времени жизни буфера и оптимизирует порядок памяти, синхронизацию и пакетную обработку на графических процессорах NVIDIA и AMD. На графических процессорах H100 Obaleth отправляет небольшие сообщения на 3,3$\times$ быстрее, а на 256 графических процессорах работает на 1,25$\times$ и 2,3$\times$ быстрее, чем NVSHMEM и NCCL GIN, с гораздо меньшим использованием памяти и регистров. В vLLM он обслуживает Qwen3-235B на 16 графических процессорах B200 и отвечает на запросы до 1,29$\times$ быстрее, чем при использовании DeepEP.
## В чем суть открытия Почему современные суперкомпьютеры тратят огромные вычислительные мощности на специализированные ядра только для того, чтобы подавиться общим сетевым кодом, написанным вне компилятора? ## Как это устроено: принцип работы Obaleth включает примитивы связи, инициированные графическим процессором, непосредственно в промежуточное представление компилятора, а не полагается на внешние библиотеки времени выполнения. Путем совместной оптимизации сетевых команд и вычислений компилятор объединяет независимые передачи в единые аппаратные запросы, устраняет ненужные ограничения памяти и атомарные резервирования, а также согласовывает опрос завершения с фактическим жизненным циклом буфера памяти. ## Что это меняет на практике Ускоряет распределенный вывод для архитектур Mixture-of-Experts с триллионом параметров и дезагрегированного KV-кэша, обслуживающего многоузловые кластеры графических процессоров, без необходимости использования специально настроенных вручную коммуникационных ядер. ## Границы метода и риски При больших размерах пакетов (более 64 токенов на ранг) скомпилированные ядра страдают от перегрузки регистров через NVLink и отстают от специализированных рукописных библиотек CUDA, таких как DeepEP, до 1,7 раза, в то время как хвостовая задержка времени до первого токена увеличивается в 1,4–2,0 раза. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Скорость выдачи сообщений (Mops), двусторонняя задержка (мкс), пропускная способность шины (ГБ/с), выделение памяти устройства (МиБ/ранг), распределение регистров на поток, время получения первого токена (TTFT), время на выходной токен (TPOT) и задержка запроса (с) - **Размер выборки / валидация:** N = Clusters from 8 to 256 GPUs across NVIDIA H100 (200 Gb/s InfiniBand), NVIDIA B200 (400 Gb/s InfiniBand), and AMD MI355X (400 Gb/s RoCEv2) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)