Скрытые нули в матрицах: как кремний научили умножать быстрее без потери точности
Постоянно растущий спрос на умножение матриц в искусственном интеллекте (ИИ) и общих вычислениях подчеркивает необходимость эффективной вычислительной мощности, поддерживающей как операции с плавающей запятой (FP), так и квантованные целые числа (QINT). Хотя современные методы ускорения с учетом разреженности битов продемонстрировали впечатляющую производительность и эффективность в нейронных сетях благодаря программным методам, таким как сокращение и квантование, эти подходы не всегда осуществимы в типичных общих вычислительных сценариях. В этой статье мы предлагаем Bit-Cigma, аппаратно-ориентированную архитектуру, которая использует разреженность битов для ускорения умножения универсальных матриц. Возможности Bit-Cigma (1) кодирование CCSD — оптимизированный метод разрежения на кристалле, основанный на представлении канонических цифр со знаком (CSD); (2) сегментированное скалярное произведение, метод многоэтапного сопоставления показателей для длинных векторов FP; и (3) универсальность для эффективной обработки типов данных FP и QINT. Кодирование CCSD вдвое снижает стоимость кодирования CSD, обеспечивая при этом оптимальную разреженность битов, а сегментированное скалярное произведение повышает как точность, так и пропускную способность. Ядра Bit-Cigma реализованы с использованием технологии 65 нм на частоте 1 ГГц, что демонстрирует существенный прирост производительности и эффективности как для конфигураций FP, так и для QINT. По сравнению с современным Bitlet, Bit-Cigma обеспечивает производительность 3,2\texttimes{}, эффективность использования области 6,1\texttimes{} и энергоэффективность 15,3\texttimes{} при обработке данных FP32, обеспечивая при этом нулевую вычислительную ошибку.
## В чем суть открытия Себе, что вы выполняете длинное умножение, где большинство чисел представляют собой пробелы. Вместо того, чтобы умножать каждый пустой ноль вручную, вы складываете лист пополам и сразу переходите к цифрам, которые действительно меняют результат. ## Как это устроено: принцип работы Bit-Cigma преобразует стандартные двоичные числа на кристалле в компактный формат канонических знаковых цифр, сокращая вдвое количество цифр и цепочек переноса, одновременно удваивая эффективное окно обнаружения с нулевым пропуском. Для операций с плавающей запятой он делит векторы на сегменты по 64 элемента с помощью двухэтапного механизма сопоставления показателей, который задерживает сдвиг мантиссы до суммирования. Это позволяет избежать зависаний процессора, сокращает буферную память и предотвращает ошибки усечения битов, которые досаждали предыдущим разреженным ускорителям. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Speedup ratio, Area efficiency (GOPS/mm² or GFLOPS/mm²), Energy efficiency (GOPS/W or GFLOPS/W), Mismatch ratio, Mean Absolute Relative Error (MARE) - **Размер выборки / валидация:** N = 10,000 randomly selected benchmark matrices; 800 Flickr-8k images (QINT); 300 WMT-14 records (FP) ## Что это меняет на практике Обеспечивает высокопроизводительное и энергосберегающее ускорение для общенаучных вычислений и обучения искусственному интеллекту смешанной точности на периферийных устройствах и в центрах обработки данных без сокращения модели на программном уровне или потери точности. ## Границы метода и риски Масштабирование производительности значительно ухудшается на очень коротких векторах или моделях с плотной активацией, таких как MobileNet-v3, где окна проверок остаются недостаточно загруженными; требует повторной конвейеризации на аппаратном уровне на высоких тактовых частотах.