Пользовательские ядра графического процессора заменяют математические вычисления экспоненты
Внимание является основным строительным блоком пограничных моделей и часто доминирует над предварительным заполнением, связанным с вычислениями, в длинном контексте. Матричные инструкции FP8 обеспечивают вдвое большую пиковую производительность, чем BF16, но они ускоряют только умножение матриц, а softmax между двумя умножениями матриц внимания выполняется на векторных единицах, которые FP8 не ускоряет. В AMD Instinct MI355X ядра AITER этого поставщика достигают 39% пиковой пропускной способности матрицы FP8 при 32 тыс. токенов по сравнению с 49% в BF16. Внимание также более чувствительно к квантованию в числовом отношении, чем слои прямой связи, и в отличие от графических процессоров NVIDIA Hopper и Blackwell, MI355X не отслеживает выполнение матричных инструкций аппаратно, поэтому перекрытие softmax с матричными умножениями зависит от порядка инструкций. Мы представляем ZYFA, ядра предварительного заполнения для MI355X, построенные на трех методах: (1) вычисление каждой вероятности FP8 непосредственно на основе ее оценки с помощью умножения-сложения и целочисленного преобразования вместо экспоненциального; (2) график пинг-понга, в котором одна группа потоков вычисляет softmax, а другая выполняет умножение матриц; и (3) масштабирование каждого блока вероятностей в степень двойки перед округлением и нормализация по сумме округленных вероятностей. При вводе внимания, полученном от трех моделей и синхронизированном на постоянной тактовой частоте, ZYFA достигает пропускной способности, равной 1,16-1.76x AITER. На гауссовских входных данных тестов ядра с 32 тыс. токенов он достигает 1,26-1.37x при размере головы 128 и 1.99x для скрытого внимания с несколькими головками в стиле DeepSeek. Устойчивая тактовая частота MI355X зависит от значений операндов, поэтому пропускная способность для случайных входов не позволяет надежно предсказать пропускную способность при активации реальной модели. При размере головы 128 числовая ошибка ZYFA находится в пределах нескольких процентов от ошибки Composable Kernel и Triton и 62-78% ниже, чем у AITER. Исходный код доступен по адресу https://github.com/Zyphra/zyfa.
## В чем суть открытия Как сокращение точности чисел с плавающей запятой вдвое может вызвать узкие места в аппаратном обеспечении и почему замена точных математических вычислений побитовыми трюками решает эту? ## Как это устроено: принцип работы Вместо выполнения дорогостоящих экспоненциальных математических вычислений с векторными модулями графического процессора ZYFA вычисляет шаблоны битов вероятности FP8 непосредственно на основе необработанных оценок, используя одно преобразование умножения-сложения и целых чисел. Он сочетает это с графиком сборки в стиле пинг-понг, который скрывает работу с векторами за матричными операциями и масштабирует блоки вероятности по степени двойки, чтобы предотвратить опустошение. ## Что это меняет на практике Обеспечивает значительно более быстрый и более энергоэффективный долгоконтекстный вывод для передовых LLM на оборудовании искусственного интеллекта, отличном от NVIDIA, например графических процессорах AMD Instinct, ускоряющих агентах кодирования и анализе геномных последовательностей. ## Границы метода и риски В настоящее время ограничено плотным причинным предзаполнением с одинаковой длиной запроса/ключа и фиксированными размерами плиток; пока не поддерживает авторегрессионное декодирование, упакованные пакеты переменной длины или страничное кэширование KV. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)