Как точечное сжатие матриц весов ускоряет нейросети без потери точности рассуждений
Квантование после обучения (PTQ) снижает затраты на развертывание большой языковой модели (LLM), но сохранение качества требует учета неравномерной чувствительности к весу. Uniform PTQ использует одну разрядность веса, PTQ с учетом важности корректирует масштабы или восстанавливает веса в пределах этой ширины, а смешанная точность по столбцам сохраняет выбранные столбцы с более высокой точностью. Однако чувствительность варьируется в пределах столбца, поэтому сохранение всего столбца также защищает менее чувствительные веса, а обнаружение выбросов во время выполнения добавляет накладные расходы на декодирование. Поэтому мы представляем TileQuant, платформу, не требующую обучения, которая назначает точность аппаратно выровненным весовым 2D-тайлам. Автономная калибровка обеспечивает оценку с учетом активации ввода на основе прямой статистики для снижения затрат на калибровку и оценку с учетом градиента с учетом чувствительности к потерям для более надежного сохранения качества. В рамках бюджета удержания каждого прогноза плитки с наивысшим рейтингом остаются 16-битными, а остальные — 8-битными. Полученная карта направляет реконструкцию в компактные буферы весов, которые ядро повторно использует для собственных целочисленных и 16-битных вычислений с локальным накоплением для уменьшения трафика памяти. Эксперименты показывают, что TileQuant достигает производительности генерации 2.66x исходной модели. При языковом моделировании, рассуждениях, поиске в длинном контексте и ответах на вопросы он сохраняет качество и превосходит квантованные и оригинальные модели при выполнении множества задач. Эти результаты позволяют выбирать прецизионные устройства, которые учитывают локальную чувствительность и одновременно обеспечивают эффективное аппаратное обеспечение. Реализация: https://github.com/HanzhiZhang-Ulrica/TileQuant.
## В чем суть открытия Упаковку транспортного контейнера: вместо того, чтобы обкладывать каждое отделение объемной пеной, поскольку некоторые предметы хрупкие, вы упаковываете только те коробки, в которых находится стеклянная посуда, сохраняя все остальное компактным и легким. ## Как это устроено: принцип работы TileQuant сегментирует весовые матрицы на двумерные плитки, выровненные по аппаратному обеспечению, оценивая чувствительность каждой плитки с помощью статистики автономной прямой активации или градиентов потерь. Плитки с высоким приоритетом сохраняют точность шестнадцати бит, тогда как оставшаяся часть квантуется до восьми бит, при этом ядра времени выполнения выполняют вычисления смешанной точности и накопление локальных регистров. ## Что это меняет на практике Позволяет обслуживать модели рассуждений корпоративного масштаба с меньшим потреблением памяти и почти утроенной пропускной способностью стандартных серверных графических процессоров без дорогостоящего переобучения. ## Границы метода и риски Требуются адаптированные аппаратные ядра, соответствующие конкретной геометрии ячеек кристалла, ограничены смешанными режимами 8-бит/16 бит и полагается на репрезентативные данные калибровки. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Generation throughput (up to 2.66x), perplexity, task accuracy across language modeling, reasoning, long-context retrieval, and question answering - **Размер выборки / валидация:** N = Standard evaluation suites across language modeling, complex reasoning, long-context retrieval, and question answering benchmarks - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)