HBFSim: объединение флэш-памяти и HBM ускорило разгрузку моделей LLM в 19 раз
High Bandwidth Flash (HBF) недавно стала многообещающей технологией, обеспечивающей терабайтную локальную емкость ускорителя при полосах пропускания, приближающихся к HBM, с потенциальным преимуществом по цене за бит по сравнению с HBM. Однако его основа NAND обеспечивает длительную задержку, неуместные обновления и ограниченную выносливость записи непосредственно в иерархию памяти ускорителя, что затрудняет прогнозирование их влияния на производительность и срок службы. Чтобы изучить это новое пространство проектирования, мы представляем HBFSim, управляемый событиями симулятор с поддержкой LLM для гетерогенных систем памяти HBM + HBF, который сохраняет семантику памяти на уровне приложения при моделировании внутреннего поведения флэш-памяти. HBFSim моделирует HBM, HBF с управляемой хостом флэш-трансляцией и традиционные уровни емкости в одном моделировании, управляемом калиброванным обслуживающим интерфейсом. Используя HBFSim, мы изучаем декодирование Llama-3.1-70B и Qwen3-235B-A22B под тремя рабочими нагрузками, которые различаются длиной входного и выходного сигнала. HBF обслуживает данные, которые не помещаются в HBM 11.0--19.0$\times$, быстрее, чем DRAM хоста; HBM лучше использовать для хранения KV-кеша выполняемых последовательностей, чем для HBF; а при опубликованной пиковой нагрузке Llama-3.1-70B срок службы HBF составляет от 2,0 до 6,9 лет, пропорционально стекам, которые разделяют операции записи KV. Артефакт доступен по адресу https://github.com/FlashLabAE/HBFSim и будет отслеживать общедоступные данные устройства HBF по мере их появления.
## В чем суть открытия Может ли объединение флэш-памяти с высокой пропускной способностью решить проблему огромной стены памяти LLM или циклическая запись в кэш KV уничтожит? ## Как это устроено: принцип работы Однако его основа NAND обеспечивает длительную задержку, неуместные обновления и ограниченную выносливость записи непосредственно в иерархию памяти ускорителя, что затрудняет прогнозирование их влияния на производительность и срок службы. Чтобы изучить это новое пространство проектирования, мы представляем HBFSim, управляемый событиями симулятор с поддержкой LLM для гетерогенных систем памяти HBM + HBF, который сохраняет семантику памяти на уровне приложения при моделировании внутреннего поведения флэш-памяти. ## Что это меняет на практике Позволяет разработчикам аппаратного обеспечения и поставщикам облачных услуг разрабатывать многотерабайтные ускорители искусственного интеллекта с меньшими затратами, ускоряя долгоконтекстную разгрузку LLM на 11–19x по сравнению с хостовой DRAM. ## Границы метода и риски Долговечность записи флэш-памяти является основным узким местом, поскольку непрерывная запись в кэш KV может исчерпать срок службы флэш-памяти за 2–6 лет при пиковых нагрузках; кроме того, физическое оборудование HBF пока недоступно для прямой проверки полупроводников. ## Результаты и доказательства - **Комплексный скор значимости:** 6.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)