Новая система оценки обнаружила, что разделение фазы декодирования не позволяет повысить эффективность LLM
Для вывода модели большого языка (LLM) в рабочей среде развертывается дезагрегация предварительного заполнения/декодирования (P/D), чтобы изолировать фазы с различными требованиями к ресурсам. Дезагрегация сети с вниманием и прямой связью (AFD) снова разделяет декодирование, но добавляет ограничения по связи, размещению и еще один подготовленный пул. Мы задаемся вопросом, окупает ли размещение на определенных должностях эти затраты по мере изменения моделей и планов акселераторов. Инфраструктура создается до того, как будущие модели и оборудование будут протестированы. Мы представляем SiliconForge, калиброванную модель, которая независимо изменяет декомпозицию обслуживания и назначение оборудования. Мы сравниваем P/D и P/D+AFD по четырем направлениям моделей, четырем классам ускорителей, привязанным к текущим и анонсированным частям, и двум фабрикам. Мы совместно оптимизируем каждый проект, используя одни и те же правила перекрытия конвейеров и один и тот же бюджет мощности. Наши основные сравнения не показывают явного преимущества AFD на уровне развертывания в показателе полезной мощности на киловатт целевого уровня обслуживания (SLO). Большинство номинальных оценок благоприятствуют P/D. Наибольшее преимущество AFD связано с установкой еще одной реплики предварительного заполнения, а не с более эффективным пулом декодирования. AFD имеет номинальное преимущество в направлении моделей с большим количеством KV (ключ-значение), когда совмещенный пул экспертов охватывает несколько небольших областей масштабирования. Большие домены или быстрая структура для обоих проектов ослабляют это преимущество. Таким образом, мы обнаружили, что подготовка предварительного заполнения, пропускная способность памяти декодирования, каналы и степень детализации пула определяют развертывание в большей степени, чем просто разделение. Фиксированное назначение оборудования может потерять свое преимущество по мере изменения моделей, структур, предположений об оборудовании и целей. Повторная оптимизация сопоставлений и размеров пулов на том же оборудовании сокращает средние нормализованные потери товарной продукции на ранних этапах принятия решения с 36% до 9%. Мы рекомендуем настраиваемые сопоставления и размеры пулов, чтобы выбор границ и оборудования соответствовал требованиям модели.
## В чем суть открытия Компании разделяют декодирование LLM на отдельные чипы, чтобы сэкономить деньги, но новые исследования доказывают, что такое сложное разделение редко превосходит традиционное обслуживание и часто приводит к потере энергии при реалистичных ограничениях развертывания. ## Как это устроено: принцип работы SILICONFORGE моделирует распределение аппаратного обеспечения, независимо оценивая вычислительные ресурсы, пропускную способность памяти, длину контекста и задержку сети. Он демонстрирует, что накладные расходы на связь между пулами разделенного внимания и пулами прямой связи сводят на нет выигрыш в производительности, в то время как пропускная способность памяти, а не вычислительные FLOP, диктует скорость декодирования. ## Что это меняет на практике Планировщики оборудования и поставщики облачных услуг могут избежать дорогостоящих преждевременных обязательств по оборудованию, используя динамическое перераспределение и определение размера пула, предотвращая потерю миллионов инфраструктурных капиталовложений в течение следующих 1–3 лет. ## Границы метода и риски Платформа опирается на аналитические модели очередей и линий крыши, а не на полномасштабные тесты аппаратного обеспечения с несколькими стойками, и предполагает некэшированный трафик предварительного заполнения, который сильно влияет на решения о распределении мощности. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** SLO goodput per kW, TPOT (ms), TTFT (s), saturation throughput (tokens/s) - **Размер выборки / валидация:** N = 39 accelerators, 4 hardware archetypes, 4 model directions, 59.5 million evaluated candidate mappings - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)