Умный диспетчер кремниевых магистралей ускорил работу нейросетей на общих видеокартах почти в два с половиной раза
Чтобы избежать задержек в планировании при одновременном выполнении рабочих нагрузок на графическом процессоре, механизмы секционирования потокового мультипроцессора (SM), такие как зеленые контексты CUDA, ограничивают каждую рабочую нагрузку отдельными SM. Несмотря на такое разделение, параллельные рабочие нагрузки по-прежнему значительно замедляют рабочие нагрузки, критичные к задержке, что недавние исследования связывают с общим кэшем L2 и конфликтами за память. Однако конфликты также возникают в перекрестных портах, соединяющих каждый кластер обработки графики (GPC) SM с кэшем L2, поскольку все SM в GPC используют один порт. Зеленые контексты распределяют рабочие нагрузки между GPC, размещая одновременные рабочие нагрузки в одних и тех же GPC и заставляя запросы к памяти, критичные к задержке, помещаться в очередь после фоновых запросов. Упаковка рабочих нагрузок в отдельные GPC позволяет избежать этого конфликта, но заставляет запросы к памяти, критичные к задержке, проходить через меньшее количество портов, что ограничивает пропускную способность памяти. Следовательно, ни распространение, ни упаковка не всегда выполняются быстрее в зависимости от рабочих нагрузок и графических процессоров. Основываясь на этих наблюдениях, мы представляем GPCPlace, систему времени выполнения, которая динамически выбирает между распространением и упаковкой, профилируя рабочие нагрузки на целевом графическом процессоре для оценки обоих замедлений, а также перехватывает запуск ядра в драйвере CUDA для установки масок SM без изменений приложения. Для 14 графических процессоров и 112 вариантов рабочих нагрузок GCPlace ускоряет рабочие нагрузки, критичные к задержке, в среднем до 1.15x и максимум до 2.38x в зеленых контекстах без снижения пропускной способности.
## В чем суть открытия Эпоха стремительного роста вычислительных аппетитов искусственного интеллекта столкнулась с жестким экономическим императивом: современные графические ускорители слишком дороги, чтобы простаивать в ожидании пользовательских запросов. Долгое время индустрия пыталась совмещать срочные задачи, такие как интерактивная генерация токенов языковыми моделями, с тяжелыми фоновыми расчетами вроде дообучения или обработки векторов. Казалось, решение лежит на поверхности — достаточно изолировать вычислительные ядра, выделив каждой задаче независимую группу процессоров. Появились стандартные механизмы пространственного разделения, такие как Green Contexts от NVIDIA, гарантирующие, что ядра не будут отобраны конкурирующим процессом. Однако суровая реальность кремния разрушила эту иллюзию. Даже при идеальной изоляции вычислительных блоков чувствительные к задержкам приложения продолжали необъяснимо буксовать. Принято было винить в этом общую кэш-память второго уровня и каналы внешней оперативной памяти. Исследователи заглянули глубже и обнаружили скрытую причину кризиса: настоящие заторы возникали не в кэше, а на микроскопических внутренних магистралях — во входных портах коммутатора, соединяющего кластеры процессоров с кэш-памятью. ## Как это устроено: принцип работы Архитектура современного графического чипа группирует вычислительные ядра в кластеры обработки графики (GPC). Каждый такой кластер подключается к внутренней шине через единственный входной порт. Стандартный системный планировщик распределяет задачи равномерно по разным кластерам. В результате срочные микрозапросы генерации текста оказываются в одном физическом кластере с тяжелыми операциями фонового процесса. На входе в общий порт возникает цифровая пробка: запросы к памяти выстраиваются в очередь за массивами фоновых данных. Разработанная система GPCPlace разрешает фундаментальную дилемму кремниевой логистики. С одной стороны, изоляция срочной задачи внутри выделенных кластеров избавляет ее от соседей, но сужает канал связи: данные вынуждены течь через малое число портов, урезая пропускную способность. С другой стороны, распыление задачи по чипу расширяет канал, но создает давку на общих перекрестках. Система заранее измеряет профиль аппетита задач к памяти и рассчитывает точный баланс: если фоновый процесс перегружает порты, срочные вычисления группируются в обособленные кластеры; если же задаче важнее максимальный поток данных, она распределяется по всему чипу. На уровне драйв