Куда незаметно исчезает вычислительная мощность суперкомпьютеров во время фоновой передачи данных
Библиотеки связи графического процессора, такие как NCCL, используют потоковые мультипроцессоры (SM) для перемещения и синхронизации данных, замедляя перекрывающиеся вычисления, а затраты растут с увеличением пропускной способности межсоединения. Мы представляем Zero-SM NCCL, который взаимодействует внутри и между масштабируемыми доменами без запуска какого-либо ядра SM. Он синхронизируется посредством операций с потоковой памятью CUDA, асинхронно перемещает данные с помощью механизмов копирования в масштабируемом домене и управляет сетевым RDMA из прокси-сервера ЦП с потоковым упорядочением. Он поддерживает коллективы перемещения данных, такие как AllGather и AlltoAll, а также односторонние API ncclPutSignal и ncclWaitSignal. В системах GB200 NVL72 и B200 NVL8 коллективы Zero-SM достигают 1.36x более высокой пропускной способности AllGather, чем устаревшие ядра NCCL на базе SM, и сокращают среднее замедление перекрывающихся GEMM с 33% до 4% при более высокой задержке на операцию. При обучении Megatron-LM они ускоряют FSDP до 3.5%, а односторонние размещения ускоряют параллельность конвейера до 15%. Однако коммуникация с нулевым SM не является универсальной победой. Благодаря комплексному исследованию моделей и стратегий параллелизма мы показываем, что он окупается при больших передачах в рабочих нагрузках, связанных с графическим процессором, и для глубоких конвейеров с большими пузырьками, но проигрывает при небольших сообщениях и рабочих нагрузках, связанных с хостом. Мы превратили эти выводы в рекомендации по включению коммуникации с нулевым SM в NCCL и встраиванию ее в другие библиотеки.
## В чем суть открытия Почему добавление более быстрых межсоединений к современным суперкомпьютерам незаметно лишило наши процессоры вычислительной мощности, и можем ли мы полностью запретить перемещение данных из них? ## Как это устроено: принцип работы Вместо запуска вычислительных ядер графического процессора для пересылки байтов и ожидания вращения флагов синхронизации связь переносится на выделенные аппаратные механизмы копирования внутри узлов и управляемые ЦП прокси-потоки RDMA между узлами. Синхронизация полностью осуществляется с помощью операций ожидания и записи в память потока, обеспечивая строгий порядок выполнения потока без использования одного потокового мультипроцессора. ## Что это меняет на практике Обеспечивает немедленную экономию облачного кластера до 2,6 млн долларов США на каждый предварительный запуск 15 триллионов токенов за счет освобождения захваченных вычислений во время глубокого параллелизма конвейеров и FSDP с большими сообщениями, что напрямую формирует будущие библиотеки коллективного общения. ## Границы метода и риски Добавляет задержку отправки на стороне хоста (25–86 микросекунд против 5–18 микросекунд для ядер SM), снижая производительность при обработке небольших сообщений и рабочих нагрузках, связанных с хостом, в то время как коллективам сокращения (AllReduce) по-прежнему не хватает поддержки нулевого SM без внутрисетевой арифметики. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Пропускная способность шины AllGather (ГБ/с), замедление перекрытия GEMM (%), ускорение времени этапа обучения Megatron-LM (%), экономия средств на предварительном обучении 15T-токенов - **Размер выборки / валидация:** N = 19 Megatron-LM pretraining recipes (15B-405B dense/MoE/hybrid models), 2 hardware clusters (GB200 NVL72 and B200 NVL8 across 32-72 GPUs), 2,800 GPU-hours - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)