Интеллектуальная структура памяти сокращает потребление энергии мобильным искусственным интеллектом и ускоряет работу языковых моделей смартфонов
Быстрое масштабирование больших языковых моделей (LLM) открыло замечательные возможности в различных областях. Однако развертывание LLM на мобильных устройствах остается сложной задачей из-за высоких требований к вычислительным ресурсам и памяти. Низкобитное квантование (например, 4-битные веса, 8-битные активации) может уменьшить размер модели, сохраняя при этом точность, но его практическая эффективность на мобильных графических процессорах пока ограничена. В этой статье мы определяем, что разрыв в производительности обусловлен в первую очередь частыми преобразованиями типов данных между квантованными значениями и значениями с плавающей запятой, а также динамическими и неэффективными шаблонами доступа к памяти, вызванными ростом кэша «ключ-значение» (KV) во время авторегрессионного декодирования. Мы представляем BitLLM, мобильный механизм вывода, который устраняет накладные расходы на преобразование типов и неоптимальный доступ к памяти в квантованных LLM. Наш подход включает адаптивную стратегию компоновки и упаковки для кэша KV, которая обеспечивает эффективный доступ к памяти во время декодирования LLM. Это сочетается с целочисленным конвейером выполнения, который откладывает и перекрывает преобразование типов за пределами горячего пути вычислений, сохраняя критические этапы MatMul в целочисленной области. Реализованный на стандартных мобильных графических процессорах, BitLLM превосходит ведущие движки, т. е. LLAMA.CPP, MNN-LLM, LiteRT-LM и MLC-LLM, достигая среднего ускорения 1,78$\times$, 1,73$\times$, 1,58$\times$ и 1.47$\times$ соответственно для различных моделей и уровней квантования. При генерации длинного контекста BitLLM снижает среднее потребление энергии (на один токен) до 88.9%.
## В чем суть открытия Запуск искусственного интеллекта на смартфонах страдает, потому что мобильные графические процессоры тратят огромные вычислительные ресурсы на преобразование низкоразрядных целочисленных данных и выборку смещенной памяти. BitLLM решает эту проблему путем динамической реструктуризации структуры памяти и скрытия преобразований формата. ## Как это устроено: принцип работы BitLLM использует динамический прокси-сервер эффективности макета для адаптации выравнивания кэш-памяти «ключ-значение» на лету по мере увеличения длины последовательности. Он упаковывает суббайтовые 4-битные данные для соответствия полосам 2D-текстуры и откладывает преобразования типов данных на этапы асинхронного эпилога за пределами горячего пути матричных математических вычислений. ## Что это меняет на практике Обеспечивает экономичную генерацию в реальном времени для нескольких тысяч контекстов токенов на обычных смартфонах без ухудшения памяти или скачков задержки. ## Границы метода и риски Требуется автономная калибровка графического процессора (~ 10 минут для каждого типа устройства) и в настоящее время не поддерживается 2-битные форматы квантования или совместное выполнение гетерогенного процессора и NPU. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Average per-token decoding latency (ms), Speedup (x), Energy per token (mJ/normalized %), WikiText2 Perplexity - **Размер выборки / валидация:** N = 4 LLMs (Llama-3.2-1B, Qwen3-1.7B, Gemma-2-2B, Phi-2-2B), 3 mobile SoC platforms (Snapdragon 8 Gen 3, Snapdragon 8 Gen 2, Tensor G3), context lengths up to 10,000 tokens across 50 runs per experiment - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)