Предел параллельных вычислений: как градиентный шум диктует размер обучающих пакетов нейросетей
Метрика Градиентной Шкалы Шума (GNS) измеряет отношение сигнал/шум градиентов при стохастическом градиентном спуске и, как показали McCandlish et al. (2018) можно использовать для аппроксимации критического размера пакета (CBS) во время обучения нейронной сети. Несмотря на его появление в технических отчетах по передовым моделям, не существует открытого набора данных измерений GNS в современных архитектурах, что ограничивает систематическое изучение этого показателя. Мы устраняем этот пробел, выпустив OpenGNS, набор данных, содержащий более 400 траекторий измерений GNS, охватывающий три области: классификация изображений с помощью ResNets, авторегрессионное языковое моделирование с помощью генеративных предварительно обученных трансформаторов (GPT) и синтез изображений с помощью диффузионных преобразователей (DiTs), охватывающих модели от 11M до 1B параметров, обученных с помощью параметризации максимального обновления (muP) с плотным размером пакета и выборкой скорости обучения. Опираясь на этот набор данных, мы изучаем, как GNS зависит от гиперпараметров, масштаба и прогресса обучения и как это связано с CBS. Мы обнаружили, что GNS ведет себя как постоянная «температура обучения», оставаясь стабильной для всех размеров модели под действием muP при эквивалентных потерях, и наши результаты предполагают зависящие от задачи предвзятости в ее отношении к CBS: тенденция переоценивать CBS для классификации и недооценивать ее для генеративных задач, что соответствует направлению во всех общих определениях CBS. Набор данных доступен по адресу https://huggingface.co/datasets/olympique-marcel/OpenGNS.
## В чем суть открытия На протяжении десятилетия развитие глубокого обучения опиралось на экстенсивное масштабирование: растущие объемы моделей компенсировались параллелизмом на кластерах ускорителей. Инженеры исходили из того, что дробление гигантских пакетов данных между тысячами вычислительных узлов прямо сокращает время обучения. Однако распределенная оптимизация неизменно наталкивалась на невидимую стену убывающей отдачи. При превышении определенного объема выборки добавление новых мощностей переставало ускорять сходимость, превращая мегаватты энергии в тепло без выигрыша в точности. Фундаментальный тупик заключался в нехватке открытых ориентиров для расчета критического размера пакета. Разработчики были вынуждены либо вслепую перебирать гиперпараметры ценой миллионов долларов, либо опираться на концепции дотрансформерной эпохи. Исследование устраняет этот пробел, представляя OpenGNS — первую открытую систематическую базу данных масштаба градиентного шума, охватывающую архитектуры компьютерного зрения, авторегрессионного текста и диффузии. ## Как это устроено: принцип работы Стохастическая оптимизация строится на компромиссе между скоростью шага и его точностью. Одиночный обучающий пример дает лишь зашумленную оценку истинного градиента функции потерь. Если представить оптимизацию как спуск в сложной горной котловине, то единичные наблюдения действуют как порывы ветра, сбивающие траекторию. Масштаб градиентного шума измеряет отношение следа ковариационной матрицы градиентов к квадрату нормы истинного градиента. Эта величина математически отражает термодинамическую температуру обучения. При сильном шуме усреднение по крупному пакету эффективно подавляет турбулентность, направляя вектор строго к оптимуму. Напротив, в областях чистого градиента расширение пакета лишь замедляет расчеты. В распределенных системах эти параметры вычисляются без накладных расходов через сопоставление локальных градиентов карт с глобальным обновлением. ## Результаты и доказательства Авторы выполнили 433 полных тренировочных прогона на суперкомпьютере Leonardo Booster, затратив свыше 200 000 часов на ускорителях A100. Эксперименты охватили одиннадцать конфигураций сетей: классификаторы до 179 млн параметров, языковые трансформеры до 1 млрд параметров на 20 млрд токенов FineWeb и диффузионные трансформеры до 169 млн параметров на ImageNet. Замеры выявили резкую асимметрию между задачами. Языковые модели эффективно масштабируются до пакетов в миллионы токенов. Диффузионны