Открытый 64-ядерный RISC-V со 100-кратным скачком памяти превзошел Intel в инференсе LLM
RISC-V становится кандидатом на архитектуру для высокопроизводительных вычислений (HPC), но ее конкурентоспособность по сравнению с традиционными процессорами x86 и Arm по-прежнему сложно оценить, поскольку существующие исследования используют разные платформы, рабочие нагрузки и методологии и редко учитывают энергоэффективность. Наша работа представляет собой оценку современных процессоров HPC RISC-V, Arm и x86 с использованием общего программного стека и методологии. Мы характеризуем Sophgo SG2044 и сравниваем его с процессором NVIDIA Grace Superchip и Intel Xeon Platinum 8480+ в четырех тестах HPC (STREAM, HPL, HPL-MxP и HPCG) и четырех репрезентативных приложениях (iPIC3D, PLUTO, OpenFOAM и llama.cpp). Версия HPL-MxP, связанная с OpenBLAS, созданная и использованная для этой работы, доступна как программное обеспечение с открытым исходным кодом. SG2044 достигает 8,02 ГФлоп/с производительности FP64 и 7,8 ГБ/с пропускной способности памяти на ядро, увеличиваясь до 294 ГФлоп/с и 107 ГБ/с на 64 ядрах. Размещение процесса с учетом кэша L2 обеспечивает почти линейное масштабирование до 16 ядер, за пределами которого дальнейшее увеличение ограничивается насыщением пропускной способности памяти. В рамках проекта Monte Cimone (MC) на протяжении нескольких поколений аппаратного обеспечения RISC-V MCv3 на базе SG2044 удваивает как одноядерную производительность, так и пиковую пропускную способность памяти по сравнению с MCv2, одновременно улучшая пропускную способность памяти, производительность FP64 на уровне узла и энергоэффективность примерно на 100x, 158x и 10x по сравнению с MCv1. По сравнению с системами Arm и x86 SG2044 демонстрирует меньшую абсолютную производительность 8-15x, что отражает более узкие векторные ресурсы и менее продвинутый технологический узел, но обеспечивает конкурентоспособное масштабирование и энергоэффективность при некоторых рабочих нагрузках. Его наиболее заметным результатом является декодирование LLM, где 64-ядерное исполнение обеспечивает наивысшее относительное масштабирование и энергоэффективность среди оцениваемых платформ, превосходя при этом Intel по пропускной способности. Наши результаты показывают, что процессоры RISC-V сокращают разрыв с конкурентами.
## В чем суть открытия Открытый 64-ядерный процессор RISC-V SG2044 доказал практическое превосходство над x86 в тяжелом инференсе LLM благодаря 100-кратному скачку пропускной способности памяти. ## Как это устроено: принцип работы Наша работа представляет собой оценку современных процессоров HPC RISC-V, Arm и x86 с использованием общего программного стека и методологии. Мы характеризуем Sophgo SG2044 и сравниваем его с процессором NVIDIA Grace Superchip и Intel Xeon Platinum 8480+ в четырех тестах HPC (STREAM, HPL, HPL-MxP и HPCG) и четырех репрезентативных приложениях (iPIC3D, PLUTO, OpenFOAM и llama.cpp). ## Что это меняет на практике Обеспечивает создание суперкомпьютерных кластеров с открытым оборудованием для вычислительной гидродинамики (OpenFOAM), физики плазмы (iPIC3D) и локального вывода LLM (llama.cpp) с более высокой энергоэффективностью до 10x, чем предыдущие поколения RISC-V, и превосходным масштабированием при декодировании LLM поверх x86. ## Границы метода и риски SG2044 страдает от абсолютного дефицита производительности 8-15x по сравнению с Intel Sapphire Rapids и NVIDIA Grace из-за более узких 128-битных векторных блоков и более старого 12-нм технологического узла, насыщающего пропускную способность памяти за пределами 16 ядер. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)