Новая конструкция с распределенным вниманием сокращает время простоя графического процессора
Поскольку длина последовательностей продолжает расти, распределенное внимание, основанное на параллельности последовательностей (например, Ring-Attention), стало основным решением для больших языковых моделей (LLM). Тем не менее, присущие коммуникационные зависимости ограничивают перекрытие вычислений и коммуникаций, снижая загрузку графического процессора. Более того, в кросс-аппаратных (NUMA или узловых) архитектурах из-за несбалансированной пропускной способности связи частая синхронизация связи будет ограничивать общую производительность. Основываясь на этих знаниях, мы предлагаем CHARM+, межаппаратное внимание с механизмом многопоточного повторного слияния. Мы реорганизуем последовательные коммуникации на несколько уровней и добиваемся внутриуровневого параллелизма и перекрытия вычислений. Кроме того, мы отделяем межаппаратную связь от внутриаппаратной связи, устраняя накладные расходы на синхронизацию, вызванные дисбалансом пропускной способности. Прямые и обратные алгоритмы были оценены на нескольких аппаратных архитектурах и неизменно превосходили современные методы. По сравнению с Ring-Attention наши прямые и обратные алгоритмы обеспечивают среднее ускорение 1.3x и 1.7x на архитектуре с двумя узлами NUMA PCIe и 2.8x и 2.9x на архитектуре с двумя узлами NVLink соответственно.
## В чем суть открытия Обработка огромных документов с помощью ИИ обычно заставляет гигантские кластеры графических процессоров ждать последовательной передачи данных. Этот метод реорганизует сетевой трафик на параллельные логарифмические уровни, позволяя микросхемам выполнять вычисления и обмениваться данными одновременно. ## Как это устроено: принцип работы CHARM+ реструктурирует последовательную кольцевую связь в многоуровневое логарифмическое дерево, используя параллельные потоки запросов и значений ключа. Кроме того, он изолирует медленную передачу данных между узлами от быстрых внутриузловых конвейеров связи, предотвращая остановку высокоскоростных процессоров на каналах с низкой пропускной способностью. ## Что это меняет на практике Обеспечивает более быстрое и экономически эффективное обучение и развертывание сверхдлинных контекстных LLM (более 100 тыс. токенов) в гетерогенных центрах обработки данных в течение следующих 1–3 лет. ## Границы метода и риски Прирост производительности снижается на архитектурах PCIe из-за конкуренции физических каналов при интенсивном параллельном трафике, а использование памяти немного увеличивается на 3–5% из-за дополнительных активных буферов. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** GPU idle time (ms), speedup over Ring-Attention and TASP, iteration latency (ms), GPU memory consumption (MB), computation-to-communication ratio (CCR) - **Размер выборки / валидация:** N = 8x L20 GPUs (PCIe), 8x and 16x H20 GPUs (NVLink), 32x H100 GPUs; sequence lengths from 1,000 to 215,040 tokens - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)