Бесплатное обучение нейросетей: как превратить микросекундные простои видеокарт в полезные вычисления
Графические процессоры дороги, но вывод модели большого языка (LLM), критичный к задержке, оставляет часть из них бездействующими. Колокейшн восстанавливает эту способность, одновременно с обслуживанием выполняя работу с максимальными усилиями, например, точную настройку. Многие ведущие LLM теперь используют архитектуру смешанных экспертов (MoE), которая добавляет новый источник простоя. При экспертном параллелизме эксперты MoE распределены по графическим процессорам, а поскольку маршрутизатор отправляет нечетное количество токенов на каждый графический процессор, малозагруженные графические процессоры ждут наиболее загруженного. Даже после применения решений по балансировке нагрузки такие пузырьки по-прежнему требуют 8--13% времени предварительного заполнения. Мы представляем BubbleTea, первую систему колокейшн, которая использует параллельные экспертные пузыри для точной настройки. В отличие от существующих систем колокейшн, которые принимают одно решение по планированию для всех графических процессоров за один прямой проход, BubbleTea прогнозирует пузырь каждого графического процессора на каждом уровне на основе назначения токена маршрутизатора и заполняет его короткими фрагментами работы по точной настройке, которые повторно используют веса, уже загруженные для обслуживания. Мы также представляем этапы компилятора, которые автоматически извлекают эти фрагменты из обслуживаемого LLM как есть, без переноса каждой архитектуры модели в отдельный механизм обучения. Наша оценка трех моделей MoE, обслуживаемых четырьмя графическими процессорами A100, показывает, что пропускная способность точной настройки с помощью BubbleTea на 1,9–6,2$\times$ выше, чем с LLMStation, современной системой колокейшн. BubbleTea сохраняет задержку вывода p90 в пределах 10% при обслуживании в одиночку в 50 из 63 рабочих нагрузок по сравнению с 44 для LLMStation. На прерывистых производственных трассировках BubbleTea обучает 3,3$\times$ быстрее, чем LLMStation, и на 14$\times$ быстрее, чем стандартный тренажер, расположенный под CUDA MPS, при этом задержка вывода p90 остается в пределах 7% при одиночном обслуживании.
## В чем суть открытия Эпоха гигантских монолитных нейросетей уступила место архитектурам с разреженной активацией, где для обработки каждого слова активируется лишь небольшая группа специализированных подсетей — так называемых экспертов. Чтобы разместить сотни миллиардов параметров в физической памяти, экспертов распределяют по десяткам параллельных видеокарт. Однако платой за масштабируемость стала фундаментальная структурная асимметрия: входящий поток текста распределяется между экспертами хаотично. В каждом слое нейросети один графический процессор оказывается перегружен токенами, в то время как остальные завершают вычисления раньше и замирают в ожидании синхронизации. Эти микроскопические интервалы бездействия, длящиеся от долей до нескольких миллисекунд, назвали параллельными пузырями. Традиционные планировщики распределения нагрузки безуспешно пытались сгладить этот дисбаланс переброской данных, однако физическая задержка коллективной сборки информации делала микропростои неизбежными. Прежние системы совмещения задач рассматривали кластер как единое неделимое целое: видя, что хотя бы один чип загружен на сто процентов, они ошибочно считали всю систему насыщенной и запрещали запуск фоновых задач, теряя колоссальные объемы оплаченной вычислительной мощности. ## Как это устроено: принцип работы Исследовательская группа предложила архитектуру BUBBLETEA, превращающую неизбежные простои в полезную вычислительную работу. Фундамент системы образует математический предсказатель задержек: анализируя решение встроенного маршрутизатора токенов в момент входа пакета данных в слой, алгоритм за десяток микросекунд прогнозирует индивидуальное время простоя каждого процессора со средней погрешностью всего в девять микросекунд. Вместо того чтобы держать в оперативной памяти дубликат модели для градиентного спуска, специализированный компилятор дифференцирует рабочие веса сервера «на месте». Алгоритм разрезает обратный проход обучения на квантованные вычислительные блоки длительностью не более пятидесяти микросекунд. Как только менее загруженная видеокарта завершает обработку локальных экспертов, аппаратный шлюз открывает окно допуска и запускает цепочку подготовленных микровычислений. Чтобы фоновое обучение ни при каких обстоятельствах не затормозило ответ пользователю, за шестьдесят микросекунд до расчетного окончания паузы окно принудительно захлопывается. Обмен промежуточными градиентами между узлами организован через независимые почтовые ящики в памяти виде