Пластиночные процессоры теряли треть ресурсов из-за прямоугольных рамок до появления свободной сборки
Ускорители масштаба пластины обеспечивают огромную вычислительную мощность благодаря сотням тысяч обрабатывающих элементов (PE), соединенных между собой через одну пластину, но реализация этого потенциала требует эффективного сопоставления приложений. Их масштаб усложняет программирование этих систем и отображение приложений на них. Существующие подходы полагаются на сопоставления на основе шаблонов для поддержания производительности, но эти шаблоны ограничивают пространство для проектирования сопоставлений. В частности, они навязывают фиксированную геометрическую структуру сетки PE, часто оставляя вычислительные ресурсы и ресурсы памяти неиспользуемыми. В этой работе мы представляем WaferTetris — систему, которая устраняет эти геометрические ограничения посредством отображения произвольной формы. Его стратегия, подобная тетрису, гибко распределяет вычисления по всей пластине, улучшая использование PE и полезный объем памяти, сохраняя при этом код PE-задачи. Мы разрабатываем модель пропускной способности на основе рекуррентности, которая фиксирует зависимости ветвей и объединений для управления пространственным параллелизмом, а также модель архитектуры с вентилями для каждого цвета, которые позволяют существующим алгоритмам размещения и маршрутизации FPGA обеспечивать соблюдение ограничений маршрутизации WSE. Мы оцениваем WaferTetris на Cerebras WSE-3, используя декодирование LLM и научные тесты трафаретов. При декодировании LLM достигается пропускная способность системы до $4.42\times$ при базовом уровне автоматического сопоставления на основе шаблонов при том же размере структуры. По сравнению с WaferLLM, оптимизированным вручную, WaferTetris поддерживает $1.8\times$ длину контекста для LLaMA3.1-8B (80 КБ против 44 КБ), обеспечивая при этом равную или более высокую пропускную способность для каждого пользователя при совпадающих длинах контекста, вплоть до $1.10\times$.
## В чем суть открытия Почему крупнейшие в мире микрочипы потеряли почти половину своей вычислительной мощности просто потому, что инженеры настаивали на том, что каждая программа должна быть прямоугольником? ## Как это устроено: принцип работы WaferTetris нарушает требование, согласно которому задачи обработки должны умещаться в прямоугольные геометрические островки на чипах размером с пластину. Он моделирует маршрутизацию пластин и цветовые каналы как архитектуру FPGA со выделенными вентилями для каждого цвета, что позволяет моделировать россыпи отжига и маршрутизаторы с согласованной перегрузкой, чтобы вписать задачи в произвольные взаимосвязанные формы, а модель повторяющегося потока данных оптимизирует задержку конвейера. ## Что это меняет на практике Позволяет корпоративным вычислительным кластерам масштаба пластины запускать массивные модели с длинным контекстом (до 80 000 на LLaMA3.1-8B) на одной пластине без нехватки памяти или трудоемкой перезаписи макета вручную. ## Границы метода и риски Полагается на предварительно профилированные таблицы задержек для стандартных ядер, использует статические сетки разделов для масштабируемости планирования и еще не автоматизирует границы слияния ядер или маршрутизацию с учетом дефектов вокруг мертвых производственных ядер. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Пропускная способность системного декодирования (токены/с), пропускная способность на пользователя, загрузка элемента обработки (%), задержка единицы отображения (циклы), длина контекста (токены), время компиляции (минуты) - **Размер выборки / валидация:** N = 172 profiled kernel configurations across 4 operators (GEMV, Softmax, RMSNorm, Stencil); 3 LLM architectures (Qwen2.5-7B, LLaMA3.1-8B, LLaMA2-13B); 2 scientific stencil benchmarks