Как заставить нейросети учиться без простоев: переброска долгих рассуждений между чипами ускоряет тренировку на треть
Пост-обучение RL больших языковых моделей (LLM) затруднено развертыванием: ответы с тяжелыми хвостами оставляют механизмы бездействующими, поскольку каждый шаг ожидает самого длинного ответа. Асинхронное обучение маскирует, но не устраняет время простоя. Мы отличаем потери дисбаланса (неравномерное размещение и конфликты при декодировании) от отстающих потерь (ожидание самого длительного ответа). Длина хвоста, а не средняя нагрузка, часто определяет границу шага. Мы предлагаем TAILROLL, онлайн-планировщик, интегрированный в среду RL с открытым исходным кодом. Он сочетает в себе миграцию без сохранения состояния и завершение на основе достаточности. Миграция перемещает запросы декодирования между механизмами на границах фрагментов и возобновляет их с одним повторным заполнением в соответствии с политикой балансировки хвостов, основанной на бесплатности и учитывающей затраты. Завершение останавливает ответ, когда его группа GRPO имеет достаточно завершенных выборок для оценки преимущества, маскируя его частичный результат из-за потери обучения. В десяти конфигурациях TAILROLL снижает коэффициент пузырьков развертывания с 21% до 74% и дисбаланс межузлового KV-кэша с 44% до 79%. При сквозном обучении RL оно сокращает время развертывания на 24% до 34%, время полного шага на 21% до 22% при длинном CoT RL и задержку запроса p95 на 28% до 37%, одновременно увеличивая пропускную способность генерации до 33% с сопоставимым или более высоким конечным вознаграждением.
## В чем суть открытия Эпоха рассуждающих языковых моделей обнажила глубокий кризис в распределенном машинном обучении. В алгоритмах обучения с подкреплением обновление весов блокируется до тех пор, пока кластер не сгенерирует пачку альтернативных решений на каждый запрос. В отличие от параллельного перемножения матриц при обучении, генерация текста авторегрессионна и непредсказуема. В сложных задачах рассуждения длина ответов подчиняется закону тяжелого хвоста: типичный ответ занимает десятки токенов, а редкие размышления растягиваются на тысячи шагов. Прежние парадигмы пытались решить эту диспропорцию при начальном распределении задач или через асинхронную архитектуру. Но оба пути зашли в тупик. Диспетчер, знающий точную длину ответов заранее, едва опережает случайный перебор: дисбаланс возникает уже в процессе декодирования. Асинхронные схемы изолируют фазу тренировки, но не устраняют простой ускорителей. До половины времени дорогие чипы бездействуют, ожидая завершения единственного длинного ответа. Новое исследование доказало: управление нагрузкой должно происходить динамически прямо в процессе генерации. ## Как это устроено: принцип работы Архитектура оптимизации математически разделяет потери на две компоненты: дисбаланс размещения и критический путь отстающих запросов. Каждая проблема решается собственным изолированным механизмом. Первый механизм устраняет заторы путем миграции активных задач без переноса состояния памяти. Генерация делится на чанки фиксированного размера. Фоновый монитор регулярно оценивает доступность ускорителей по числу сессий и загрузке кэша. Перегруженный чип передает задачу свободному узлу на границе блоков. Чтобы избежать пересылки гигабайтов памяти по сети, принимающий узел параллельно восстанавливает контекст за один быстрый прогон, что на порядок быстрее последовательного декодирования. Второй механизм ликвидирует задержки критического пути через контролируемое раннее прерывание. Когда основная масса задач завершена, система проверяет условие групповой достаточности. Если в группе набрано необходимое число готовых альтернатив для расчета градиента, затянувшийся черновик аккуратно прерывается, а его результат маскируется в функции потерь. ## Результаты и доказательства Систему протестировали на нейропроцессорах с шестнадцатью чипами памяти на моделях от 14 до 32 миллиардов параметров. Испытания охватили шесть сценариев, включая олимпиадную математику, генерацию кода и мультимодальные задачи с живым вознаграждением.