Перестановка видеокарт в кластере незаметно создает совершенно другую нейросеть
Большие модели смешанных экспертов (MoE) обучаются на многих машинах, и способ разделения работы, схема параллелизма часто меняются между запусками: задание возобновляется на другом количестве графических процессоров, изменяется размер кластера или удаление выполняется на новой установке. В точной арифметике расположение не должно иметь значения, но в реальной арифметике меняется порядок добавления чисел, а некоторые правила MoE, такие как балансировка нагрузки и экспертная мощность, часто рассчитываются для каждой машины. Спрашиваем, не меняет ли макет обученную модель МО. Мы предварительно обучаем одни и те же небольшие языковые модели MoE (от 25 до 117 миллионов параметров, 20 миллионов токенов FineWeb-Edu) с одинаковыми начальными числами, данными и гиперпараметрами в 9 макетах с параллельными данными и экспертно-параллельными макетами, в fp32 на процессорах и fp16 на графическом процессоре, и сравниваем каждый прогон с эффектом нового случайного начального числа. В результате 80 прогонов мы обнаружили: (1) Компоновка не меняет качество модели, но меняет саму модель: окончательные прогнозы для 80% различаются так же, как и для нового начального числа, а для 90% решения по маршрутизации различаются. Любой макет, изменение одного бита одного веса или другое количество потоков ЦП имеют тот же эффект. (2) Причиной является маршрутизатор: перевернутые решения почти в точности совпадают с теми, в которых два эксперта были почти равны (AUC от 0,97 до 1,00 на первых 16 шагах). (3) Больше мелких экспертов создают больше связей (2.7% с 8 экспертами, 23% с 64 экспертами) и менее воспроизводимую маршрутизацию (решения 68% и 100% различаются), но результаты не смещаются дальше. (4) Плотная модель того же активного размера гораздо более стабильна (0.12x — начальный уровень в fp32, 0.58x в fp16), в то время как MoE достигает примерно 0.8x с обеих точностью и в два раза быстрее. (5) Когда предварительное обучение возобновляется на новом макете, время имеет значение: переключение на 84% предварительного обучения практически не меняет конечную модель, тогда как переключение на 10% сразу после прогрева меняет ее существенно. Мы выпускаем код, запускаем логи и данные.
## В чем суть открытия Двух поваров, использующих один и тот же рецепт с одинаковыми ингредиентами, но смена положений горелок приводит к крошечным различиям в микровремени, которые меняют выбор приправ пятьдесят на пятьдесят, выпекая двойные торты, которые имеют одинаковый вкус, но не имеют общих слоев. ## Как это устроено: принцип работы При распределении архитектур с участием смешанных специалистов по различным вычислительным схемам неассоциативное сложение чисел с плавающей запятой изменяет последовательность уменьшения градиента и активации. На самых ранних этапах обучения токены маршрутизаторов сталкиваются с очень тонкой разницей в баллах между кандидатами в эксперты, меняя свои назначения с AUC около 1,00. Поскольку разные подсети получают эти расходящиеся обновления веса, общие внутренние параметры и прогнозы токенов постоянно расходятся. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Validation cross-entropy loss, relative prediction KL divergence against random seed baseline, top-1 token prediction agreement rate, percentage of routing decisions differing, loss barrier across weight space - **Размер выборки / валидация:** N = 80 training runs across 9 parallelism layouts, 4 random seeds, 3 model sizes (25M-117M), and 4 expert granularities (8 to 64 experts) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Обеспечивает соблюдение строгих требований к поразрядно-детерминированным конфигурациям кластера при отладке всплесков потерь, выполнении экспертного сокращения или воспроизведении маршрутизации с обучением с подкреплением. Подтверждает, что эластичность кластера безопасна только после плато потерь в поздней предварительной тренировке. ## Границы метода и риски Оценки ограничиваются мелкомасштабным предварительным обучением (25–117 миллионов параметров, 20 миллионов токенов) на одноузловых конфигурациях ЦП и одном графическом процессоре T4 с Gloo, а не на многоузловых кластерах NCCL. Не учитываются точность bf16/FP8, безкапельная архитектура и фазы снижения скорости обучения.