Новая компоновка модульных ядер видеокарт ускорила сложные вычисления более чем в 2 раза
Самые быстрые ядра машинного обучения представляют собой композиции компонентов, таких как загрузчики, основные циклы матричного умножения, эпилоги и этапы связи, которые одновременно работают на одном потоковом мультипроцессоре графического процессора и совместно используют его встроенную память, барьеры, деформации и регистры. Поскольку эти компоненты жестко закодированы в этом общем пространстве, их нельзя скомпилировать, отправить или заменить самостоятельно: объединение компонентов из разных источников означает их разветвление вручную или хранение в отдельных ядрах. Мы представляем PipeLink, компоновщик компонентов ядра графического процессора на основе контракта. Каждый компонент компилируется отдельно в объект LTO, содержащий контракт, в котором указано, что он требует и что обещает; PipeLink сверяет контракты друг с другом, перемещает каждый компонент, решая одно совместное размещение ресурсов SM, и генерирует передачи между ними, а бэкэнд LTO поставщика сворачивает результат в константы. В 51 конфигурации графических процессоров Hopper и Blackwell связанные ядра работают в 0.2% из одних и тех же источников, скомпилированных как одно целое. Связывание делает новые композиции практичными: оператор внимания CuTe внутри мегаядра декодирования ThunderKittens ускоряет декодирование на 2.16$\times$, обучающее мегаядро MoE с четырьмя владельцами соответствует исходному монолиту, одно неизмененное ядро внимания дает редкие и контекстно-параллельные варианты, которые превосходят FlexAttention, vLLM и Transformer Engine, а также композиция GEMM + SwiGLU, потребитель которой обслуживает три архитектуры графического процессора. 1.2$\times$ быстрее на Blackwell, чем cuBLAS с скомпилированной активацией.
## В чем суть открытия Почему высокопроизводительные ядра графического процессора вынуждают разработчиков вручную создавать монолитный код и как связывание на основе контрактов? ## Как это устроено: принцип работы Поскольку эти компоненты жестко закодированы в этом общем пространстве, их нельзя скомпилировать, отправить или заменить самостоятельно: объединение компонентов из разных источников означает их разветвление вручную или хранение в отдельных ядрах. Мы представляем PipeLink, компоновщик компонентов ядра графического процессора на основе контракта. ## Что это меняет на практике Обеспечивает модульную инфраструктуру искусственного интеллекта, в которой инженеры объединяют специальные модули внимания и декодирования на графических процессорах Hopper и Blackwell, повышая скорость декодирования с помощью 2.16x и выполнения GEMM с помощью 1.2x. ## Границы метода и риски Требует явных определений контрактов для потоковой передачи требований к многопроцессорным ресурсам и использует серверные части LTO поставщика для свертывания констант с нулевыми издержками. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование