Новый интеллектуальный планировщик устраняет узкие места в обучении искусственного интеллекта
Гетерогенные кластеры графических процессоров разных производителей все чаще используются для крупномасштабного обучения моделей. Однако их графические процессоры существенно различаются по вычислительной мощности, объему памяти и характеристикам межсоединений. Существующие системы автоматического обучения параллелизму обычно минимизируют время итерации, рассматривая память как жесткое ограничение и почти не справляясь с асимметрией вычислений и памяти в кластерах разных производителей, независимо от корреляции между памятью и пропускной способностью. В этой статье мы представляем MemX, новую систему автоматического параллелизма с учетом памяти, которая совместно оптимизирует время итерации, пиковое использование памяти и баланс памяти между графическими процессорами. MemX состоит из целевой функции взвешенного продукта, гетерогенных стратегий повторных вычислений, профилировщика с минимальным набором, увеличения данных на основе интерполяции, предсказателя XGBoost с двумя выходами и кэша прогнозирования хеш-подписи, чтобы ускорить поиск крупномасштабных автоматически параллельных лучших конфигураций с меньшими затратами. Мы реализуем MemX на Megatron-LM и оцениваем его по четырем базовым линиям автоматического параллелизма на двух гетерогенных кластерах. MemX обеспечивает самую низкую среднюю абсолютную ошибку прогнозирования (MAPE) среди 12.17% и является единственным методом, который определяет реальную конфигурацию Top-1 как по времени, так и по балансу памяти. С точки зрения стоимости поиска и пространства поиска, MemX ищет 31 240 конфигураций за 26,5 секунды, в то время как базовый показатель сквозного профилирования экстраполируется и требует около 17 дней в том же масштабе. Исследование моделирования, которое расширяет измеренные данные с 20 графическими процессорами до кластеров с 40 и 60 графическими процессорами, дополнительно иллюстрирует эффективность MemX в более крупных масштабах.
## В чем суть открытия Обучение массивных моделей искусственного интеллекта на графических процессорах разных марок обычно терпит неудачу, поскольку у быстрых чипов заканчивается видеопамять, а чипы с большим объемом памяти простаивают. MemX решает эту проблему, балансируя VRAM и скорость вычислений на несовместимом оборудовании. ## Как это устроено: принцип работы MemX измеряет небольшой набор ключевых параметров и использует линейную интерполяцию с предсказателем с двумя выходами для оценки скорости обучения и объема видеопамяти. Затем он назначает индивидуальные стратегии повторных вычислений для каждого этапа конвейера, заставляя графические процессоры с нехваткой VRAM обменивать вычисления на пространство, позволяя графическим процессорам с большим объемом памяти работать на полную мощность. ## Что это меняет на практике Позволяет технологическим компаниям и исследовательским лабораториям объединять несовпадающие запасы графических процессоров от нескольких производителей чипов в единые учебные кластеры, избегая дорогостоящей привязки к поставщику и нехватки поставок оборудования в течение 1–3 лет. ## Границы метода и риски Полагается на предустановленные весовые профили оптимизации, а не на динамическое онлайн-обучение, а прогнозирование производительности немного ухудшается по мере масштабирования глубины конвейера до нескольких тысяч кластеров графических процессоров. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Mean Absolute Percentage Error (MAPE) of 12.17%; searched 31,240 configs in 26.5s vs 17-day baseline extrapolation; 0.9285 Spearman rank correlation under memory-balance objective. - **Размер выборки / валидация:** N = 36,740 training records across 1,628 unique configurations on 20 heterogeneous GPUs; 4,002 measurements on small 6-GPU cluster. - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)