Ядра графического процессора с динамическим переключением ролей устраняют простаивающие окна
Тензорный параллелизм и параллелизм последовательностей (TP+SP), а также экспертный параллелизм (EP) ставят коллективы на критический путь уровней преобразователя. Современные объединенные ядра смягчают это с помощью фиксированных ролей или расписаний, но такая жесткость оставляет большие окна простоя. Прогнозирование разделения связи и вычислений также не устраняет их; заранее определенное разделение не может следовать за готовностью данных. Мы представляем KOSMOS, библиотеку для самопланирующих постоянных ядер, рабочие группы которой используют очереди, упорядоченные по требованию потребителя, для переключения между коммуникационными и вычислительными ролями по мере готовности данных, без планировщика, модели затрат на вызов или настроенного разделения. КОСМОС объединяет каждый коллектив TP+SP уровня трансформатора со своим GEMM и запускает весь экспертный уровень, от маршрутизатора до сгиба, за один запуск в каждом направлении. Оцененный на графических процессорах AMD Instinct MI350X и AMD Instinct MI355X, KOSMOS ускоряет сквозное обучение TP+SP в Megatron-LM на 1.10-1.28x в BF16 и 1.10-1.25x в MXFP8. КОСМОС ускоряет сквозное обучение прокси-серверов DeepSeek-V3 и Qwen3-235B на 1.29-1.83x по сравнению с DeepEP.
## В чем суть открытия KOSMOS позволяет графическим процессорам динамически переключать свои внутренние рабочие группы между математическими вычислениями и отправкой данных между графическими процессорами, как только данные становятся готовыми, устраняя время простоя во время массового обучения модели ИИ. ## Как это устроено: принцип работы Вместо того, чтобы полагаться на фиксированные расписания разделения оборудования или заранее рассчитанные модели затрат, KOSMOS развертывает постоянные рабочие группы, которые наблюдают за очередями данных в режиме реального времени. Рабочие группы действуют как инициаторы или строители и меняют роли в зависимости от готовности данных — либо одностороннюю для монотонных требований, таких как тензорный параллелизм, либо двустороннюю для динамических потребностей, таких как объединение проходов MoE. Такое динамическое переключение ролей поддерживает постоянную нагрузку как матричных математических ядер, так и каналов связи между графическими процессорами без затрат на планировщик. ## Что это меняет на практике Ускоряет распределенное предварительное обучение и точную настройку моделей с плотностью в триллион параметров и моделей со смешанным набором экспертов на современных кластерах ускорителей на величину до 1.83x, что значительно сокращает время обучения и затраты на электроэнергию. ## Границы метода и риски В настоящее время ограничено межузловыми соединениями (например, XGMI с общей памятью/hipIPC) и требует выходных плиток с одной точкой завершения, исключая алгоритмы нескольких рабочих групп, такие как Stream-K. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** End-to-end training throughput (TFLOPS), speedup factor (x), execution latency (ms) - **Размер выборки / валидация:** N = 24 Llama 3 model shapes and 9 MoE model architectures evaluated on 8-GPU AMD Instinct MI350X and MI355X systems - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)