Почему алгоритмы оптимизации для одних нейрочипов внезапно тормозят вычисления на других
Для систем автоматической оптимизации переносимость производительности между все более разнообразными ускорителями искусственного интеллекта остается проблемой. Мы исследуем, насколько хорошо супероптимизация на уровне графа переносится на разные архитектуры, адаптировав Mirage от его CUDA-ориентированного дизайна к Huawei Ascend 910B3 с помощью стека компиляции на основе Triton. Мы оцениваем адаптированную систему на рабочих нагрузках, связанных с трансформатором, включая умножение матриц, softmax, RMSNorm+MatMul, закрытое MLP, FNN и внимание. Результаты показывают, что оптимизация на уровне графа может успешно переносить и превосходить доступные эталонные реализации на величину до 87.0% при объединенных рабочих нагрузках. Однако производительность сильно зависит от формы тензора и структуры рабочей нагрузки, причем для других конфигураций наблюдается существенная регрессия. В качестве ключевых ограничений мы выделяем целевое тензорное секционирование, моделирование ресурсов исполнения, сокращение и слияние серверной части, а также затраты на поиск и проверку. Наши результаты показывают, что переносимое графовое представление и модель программирования не предполагают переносимого пространства оптимизации, мотивируя модульные целевые механизмы внутри повторно используемой инфраструктуры компилятора.
## В чем суть открытия Индустрия машинного обучения долгое время жила в комфортной иллюзии программной переносимости. Казалось, что появление высокоуровневых промежуточных языков вроде Triton решило проблему монополии одного типа ускорителей: достаточно выразить вычислительный граф в обобщенных блоках, а аппаратный транслятор сам создаст оптимальные бинарные инструкции для любого кристалла. Однако функциональная совместимость оказалась обманчивой. Исследователи из варшавской лаборатории гетерогенных систем показали фундаментальный барьер: математически эквивалентный граф, найденный автоматическим супероптимизатором, при смене архитектуры с графических процессоров на нейрочипы ведет себя непредсказуемо — либо демонстрируя колоссальное ускорение, либо катастрофически проигрывая базовым ручным реализациям. Команда впервые адаптировала многоуровневый оптимизатор Mirage, изначально созданный под строгие архитектурные реалии графических ускорителей, для работы с нейропроцессором Huawei Ascend 910B3 через современный стек Triton. Результат поставил под сомнение классическую парадигму единого пространства оптимизации: абстрактное представление вычислений переносимо, но логика распределения памяти и планирования потоков намертво привязана к физике конкретного кремния. ## Как это устроено: принцип работы В основе супероптимизации лежит не эвристическое перекладывание операций, а тотальный комбинаторный поиск. Система берет исходный граф вычислений, разбивает его на микрографы уровня вычислительных ядер и блоков потоков, а затем генерирует альтернативные конфигурации. Чтобы гарантировать математическую эквивалентность, алгоритм прогоняет кандидатов через модуль формальной верификации на базе библиотеки насыщения равенств Rust egg, опираясь на систему формальных аксиом для математических операций. Дополнительно поддерживается вероятностный контроль через сравнение цифровых отпечатков выходных тензоров, хотя расчет таких следов на центральном процессоре оказывается вычислительно узким местом. Главная трансформация заключается в сквозном слиянии цепочек вычислений: вместо сохранения промежуточных результатов в глобальную память кристалла оптимизатор дробит тензоры на тайлы и удерживает их во внутренних сверхбыстрых регистрах. При адаптации к NPU инженеры полностью вырезали зависимость от закрытого низкоуровневого стека CUDA, переписали связующий слой на pybind11, добавили поддержку активаций SiLU, Sigmoid и тригонометрических функций, а генерацию результирующего ко