Физический барьер вместо слепого перебора: как ускорить проектирование нейрочипов в два раза
Исследование пространства проектирования NPU для вывода LLM в основном опирается на дорогой симулятор, который часто возвращает только скалярную обратную связь, такую как задержка и мощность. Такая обратная связь позволяет ранжировать оцененные конфигурации, но дает мало информации для принятия решения о том, почему конфигурация работает медленно или какой параметр архитектуры следует изменить следующим. Это ограничение особенно серьезно, поскольку рабочие нагрузки предварительного заполнения и декодирования могут быть ограничены различными ресурсами, включая пропускную способность вычислений и пропускную способность HBM. Мы предлагаем CriticNPU, эффективную выборочную структуру DSE, построенную на основе онлайн-калиброванного механистического критика для проектирования архитектуры NPU. Критик использует явные аппаратные ограничения для оценки конфигураций NPU: перед симуляцией он оценивает, может ли предлагаемая конфигурация улучшиться по сравнению с текущей лучшей, и отфильтровывает слабых кандидатов; после моделирования он объединяет время выполнения на уровне оператора в сводные данные по узким местам предварительного заполнения/декодирования и прогнозирует эффект изменений возможных параметров. Мы реализуем критику с помощью модели в стиле Roofline, которая определяет ограничения вычислительных ресурсов и памяти на основе параметров архитектуры и калибрует эффективные ограничения для каждого типа оператора с помощью наблюдений симулятора. А CriticNPU объединяет эту критику с экстрактором рабочей нагрузки и планировщиком архитектуры для предложения конфигураций. В шести рабочих нагрузках LLM и 16 конфигурациях развертывания на модель CriticNPU обеспечивает лучшую или лучшую задержку в 74% для предварительного заполнения и 87.5% в настройках декодирования, используя при этом примерно половину вызовов симулятора по сравнению с базовыми показателями конкурирующих DSE. Мы проводим обширные исследования абляции и подробный анализ, чтобы подтвердить эффективность нашего метода с разных точек зрения. Наш код доступен по адресу https://github.com/bruno686/CriticNPU.
## В чем суть открытия Десятилетиями разработка специализированных кремниевых процессоров оставалась заложницей вычислительной дилеммы: чтобы проверить, насколько удачной окажется новая компоновка транзисторов и блоков памяти, инженерам приходится запускать детальные потактовые симуляторы. В эпоху гигантских нейросетей пространство возможных параметров — от геометрии систолических массивов и частоты шин до емкости промежуточных буферов — разрослось до астрономических масштабов. Обычный запуск симуляции занимает часы, а классические алгоритмы оптимизации и даже новейшие генеративные агенты действуют вслепую, получая на выходе лишь голую скалярную задержку. Они тратят колоссальные вычислительные мощности на оценку заведомо проигрышных конфигураций, не понимая внутренней физики происходящего. Исследователи предложили принципиально иной подход — систему CriticNPU, в которой поиск архитектуры направляется «механистическим критиком» на базе модели предельной производительности. Вместо того чтобы бездумно прогонять через симулятор каждого кандидата, система привлекает аналитическую модель, непрерывно калибрующуюся по реальным замерам. Это позволило создать интеллектуальный фильтр, который отсекает бесперспективные варианты еще до вызова симулятора и дает конструктивным алгоритмам четкие причинно-следственные подсказки. ## Как это устроено: принцип работы В центре архитектуры лежит классическая концепция Roofline-модели, связывающая теоретическую производительность чипа с интенсивностью арифметических операций и пропускной способностью памяти. Однако сырая теоретическая модель непригодна для реального проектирования: матрицы полносвязных слоев утилизируют кремний почти полностью, тогда как операции механизма внимания теряют львиную долю скорости из-за сериализации данных и простоев. CriticNPU преодолевает этот разрыв с помощью адаптивной динамической калибровки. Система разбивает вычислительный граф модели на функциональные группы и вычисляет индивидуальные коэффициенты эффективности для каждого оператора, сглаживая шум с помощью экспоненциального скользящего среднего. Полученная модель берет на себя две роли. Во-первых, роль строгого шлюза: перед тем как отправить архитектурную гипотезу на тяжелую симуляцию, модель мгновенно рассчитывает, способно ли предложенное изменение опередить текущий лучший результат. Во-вторых, роль диагноста: после каждого моделирования критик раскладывает задержки на составляющие и детерминированно сообщает агенту-проектировщику, в