Алгоритм 3D-чипа памяти устраняет узкие места искусственного интеллекта за счет перераспределения путей обработки
Модели больших языков (LLM) несут серьезные накладные расходы на доступ к памяти из-за стоимости загрузки больших весовых матриц и кэшей «ключ-значение» (KV). Аналоговые вычисления в памяти (AIMC) — это новое решение, которое позволяет выполнять вычисления непосредственно на основе статических весов, хранящихся в памяти, что существенно снижает энергопотребление и задержку. 3D-IMC дополнительно объединяет массивы памяти в вертикальные уровни, увеличивая емкость, но открывая новую проблему: то, как веса размещаются в памяти, определяет, какие операции матрично-векторного умножения (MVM) могут выполняться одновременно, влияя на задержку и пропускную способность. Аспект параллелизма при отображении весов 3D-IMC остается недостаточно изученным в литературе, что приводит к неоптимальному использованию вычислительных ресурсов на чипах 3D-IMC. В этом контексте мы предлагаем CAMP (Context-Aware Mapping and Placement), алгоритм отображения весов с учетом контекста для ускорителей LLM на основе 3D-IMC. CAMP фиксирует потенциальную конкуренцию за ресурсы, возникающую из-за архитектуры, целевой сети и контекста времени выполнения, в матрице конфликтов, обеспечивая оптимизированное по пропускной способности сопоставление весов. Это сопоставление уточняется с помощью цикла обратной связи, управляемого профилированием, который эффективно сокращает пространство поиска и возвращает оптимизированные сопоставления в пределах практического времени выполнения. CAMP — это автономное программное решение, не требующее изменений в аппаратном обеспечении и улучшающее использование вычислений 3D-IMC с 42.4% до 60.3%, обеспечивающее до 2.0x более высокую пропускную способность 3D-IMC и более высокую сквозную пропускную способность 1.74x по сравнению с современными алгоритмами картографии.
## В чем суть открытия Аналоговые 3D-чипы в памяти хранят нейронные веса непосредственно в сложенных вертикальных слоях, чтобы исключить перемещение памяти, но аппаратные ограничения не позволяют одновременному вертикальному чтению. CAMP использует контекстно-зависимое сопоставление для оптимизации распараллеливания чипов. ## Как это устроено: принцип работы CAMP профилирует рабочие нагрузки в контексте системы и среды выполнения, чтобы построить матрицу временных конфликтов ресурсов между матричными умножениями. Он использует эту матрицу конфликтов для размещения конфликтующих операций в непересекающихся группах памяти, а затем запускает лучевой поиск по профилю, чтобы сбалансировать тензорный, пакетный и экспертный параллелизм без изменений в оборудовании. ## Что это меняет на практике Позволяет коммерческим аналоговым 3D-ускорителям в памяти достигать почти теоретических пределов пропускной способности для корпоративного LLM-декодирования без изменения конструкции микросхемы, что значительно снижает энергопотребление и задержки в центрах обработки данных и периферийных развертываниях искусственного интеллекта. ## Границы метода и риски Сложность поиска квадратично увеличивается в зависимости от количества слоев, требующих аппроксимации групп слоев, автономное программирование энергонезависимой памяти предотвращает динамическое перераспределение весов во время вывода, а выигрыш снижается, когда полоса пропускания внимания в длительном контексте доминирует во время работы системы. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 3D-IMC compute utilization (42.4% -> 60.3%), 3D-IMC throughput speedup (up to 2.0x), end-to-end decode throughput speedup (up to 1.74x over greedy baselines, up to 16.3x over GPU-only baseline) - **Размер выборки / валидация:** N = Evaluated on 4 LLM architectures (Llama-3.1-8B, Llama-3.1-70B, Qwen-72B, Mixtral-8x7B), batch sizes 1 to 32, sequence lengths 128 to 4096, across 50 trials for MoE expert distribution analysis - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)