Почему фабричные замеры производительности скрывают реальные перегрузки ядер
Графические процессоры стали необходимы во многих областях, включая искусственный интеллект и научные вычисления. По мере того как графические процессоры становятся более сложными, пространство для проектирования их аппаратных конфигураций становится все более большим, однако симуляторы на уровне цикла остаются слишком медленными, чтобы его исследовать. Аналитические модели делают это исследование намного быстрее. Однако существующие аналитические модели графических процессоров не позволяют точно предсказать производительность в разных конфигурациях оборудования, поскольку они переоценивают или масштабируют каждый сбой в целевой конфигурации. Мы наблюдаем, что задержки с фиксированной задержкой остаются одинаковыми в разных конфигурациях, тогда как задержки в очередях меняются в зависимости от нагрузки на каждый аппаратный блок. Основываясь на этом наблюдении, мы предлагаем ForeSight, аналитическую модель массового обслуживания, которая повторно использует задержки с фиксированной задержкой, измеренные на аппаратном обеспечении графического процессора, и пересчитывает задержки в очередях каждого аппаратного устройства на основе его давления. Чтобы предоставить ForeSight значения счетчиков каждого аппаратного устройства, мы создаем UnitSight, профилировщик, который восстанавливает эти значения, которые официальные профилировщики NVIDIA скрывают, агрегируя данные по всем устройствам. Наша оценка аппаратных конфигураций девяти графических процессоров NVIDIA показывает, что ForeSight прогнозирует время выполнения ядра со средней абсолютной процентной ошибкой (MAPE) 8.3% по сравнению с 14.1% для лучшего базового показателя. ForeSight также прогнозирует время сквозного выполнения вывода LLM на vLLM с MAPE 2.0%. Он работает с 49x быстрее, чем симулятор уровня цикла Accel-Sim, и быстрее, чем модели на основе интервалов, такие как GCoM. С помощью ForeSight мы исследуем конфигурации, полученные на основе графического процессора H20, для вывода LLM и находим конфигурацию с 1.78x по производительности и стоимости.
## В чем суть открытия Если профилировщики аппаратного обеспечения уже фиксируют каждую микрозадержку внутри чипа, почему разблокировка скрытых поблочных очередей внезапно ускорила моделирование в пятьдесят раз? ## Как это устроено: принцип работы Платформа перехватывает необработанные счетчики производительности на единицу продукции непосредственно из памяти драйвера через схему декодирования XOR, прежде чем программное обеспечение поставщика агрегирует их в грубые средние значения. Он отделяет задержки с постоянной задержкой конвейера от динамических аппаратных задержек в очередях, затем применяет анализ среднего значения и связывает итерации с фиксированной точкой для воспроизводимых блоков потоков для прогнозирования продолжительности выполнения. ## Что это меняет на практике Позволяет архитекторам аппаратного обеспечения быстро исследовать обширные области проектирования микросхем, охватывающие количество ядер, емкость кэша и интерфейсы памяти, и находить оптимальные по Парето конфигурации микросхем за часы, а не за недели. ## Границы метода и риски Требуется начальное профилирование выполнения на существующем физическом графическом процессоре той же архитектуры, что делает его непригодным для моделирования совершенно невидимых наборов команд без физического процессора или генераторов трассировки. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование