Искусственное занижение тактовой частоты процессоров неожиданно ускоряет вычисления нейросетей
Вариативность — это неотъемлемая характеристика современных систем графических процессоров, возникающая в результате сочетания изменений процесса, динамических условий окружающей среды и решений по управлению питанием. Предыдущая работа охарактеризовала изменчивость между графическими процессорами и обнаружила устойчивые различия в производительности между графическими процессорами. Однако мы наблюдаем, что современные рабочие нагрузки, особенно большие языковые модели (LLM), демонстрируют значительную вариабельность внутри графического процессора. Их недолговечные ядра плохо взаимодействуют с механизмами динамического управления питанием, что приводит к непредсказуемой производительности. Ключевым источником этой переходной изменчивости внутри графического процессора являются скачки мощности, также называемые пиками электрической проектной мощности (EDP$_{p}$), когда мощность временно превышает номинальные пределы мощности графического процессора. Хотя механизмы управления питанием предназначены для обеспечения надежной работы, несмотря на наличие EDP$_{p}$, устойчивые пики мощности вызывают регулирование, что отрицательно влияет на общую производительность приложений. Насколько нам известно, наша работа является первой, которая характеризует величину и частоту EDP$_{p}$, показывая, что частые и значительные выбросы мощности особенно распространены в рабочих нагрузках ML, которые сочетают в себе высокое энергопотребление, короткие ядра и быстро меняющиеся требования к вычислительным ресурсам. Чтобы решить эту проблему, мы разрабатываем и используем аппаратные и встроенные механизмы для обеспечения согласованного поведения управления питанием, которое уменьшает изменчивость внутри графического процессора из-за EDP$_{p}$ и повышает общую производительность. Мы оцениваем наши методы в различных популярных рабочих нагрузках. Наш подход повышает производительность за счет 3-12% по сравнению с современным управлением питанием графического процессора и входит в состав 3% решения Oracle.
## В чем суть открытия Себе, что вы бежите с максимальными усилиями только для того, чтобы споткнуться, врезаться в стену и хромать. Поддерживая темп чуть ниже этого порога безрассудного спринта, вы закончите всю гонку намного быстрее, не вызывая экстренного замедления. ## Как это устроено: принцип работы Рабочие нагрузки предварительного заполнения искусственного интеллекта циклически переключаются между плотными вычислениями матричных умножений и облегченной передачей памяти в микросекундном масштабе, что намного быстрее, чем могут реагировать стандартные диспетчеры динамического питания графического процессора. Эти внезапные переходы вызывают резкие скачки мощности, выходящие за пределы допустимых значений безопасности оборудования, что побуждает аппаратные средства защиты агрессивно снижать тактовую частоту. Профилируя время выполнения ядра в автономном режиме и применяя прогнозируемые ограничения частоты наряду с заблокированными состояниями тактовой частоты памяти, система поддерживает стабильную работу и устраняет регулирование, снижающее производительность. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Time-To-First-Token (TTFT), SLO Attainment (%), Electrical Design Power Peak (EDPp) Frequency, Capacitive Switching NRMSE - **Размер выборки / валидация:** N = 500 LongBench prompts across 8x AMD Instinct MI300X GPUs; multi-batch offline sweeps (bsz 1-16, prompt lengths 1k-4k tokens) ## Что это меняет на практике Позволяет облачным провайдерам искусственного интеллекта и корпоративным кластерам сократить задержку до первого токена до 12% и улучшить достижение SLO более чем за 5% без покупки нового оборудования или переобучения моделей, одновременно защищая регуляторы напряжения от электрической деградации. ## Границы метода и риски Требует однократного автономного профилирования для каждой архитектуры модели и сегмента токенов, обеспечивает минимальное улучшение моделей Mixture-of-Experts с фрагментированными ядрами, привязанными к памяти, и видит уменьшающуюся отдачу от подсказок длиной более 16 000 токенов.