Скрытый резерв кремния: как нейросети учатся прямо во время ответа без потери скорости
LLM с длительным контекстом должны сохранять растущую историю, но полное внимание делает каждый новый токен все более дорогим. Обучение во время вывода (ITL) предлагает другой подход. Модель продолжает обучение контексту во время вывода, сохраняя полученные знания в своих весах. Недавняя работа показывает, что ITL может соответствовать качеству полноконтекстного внимания, уделяя внимание только последнему окну фиксированного размера. Это ограничивает затраты на внимание, но добавляет затраты на обучение (обратные вычисления и обновления веса) наряду с затратами на прогнозирование (прямой проход). Ускорители вывода предполагают фиксированные веса, а ускорители обучения нацелены на полные этапы обучения. Эта работа определяет две возможности. Нематричные операции внимания оставляют достаточно свободного места матрицы для обучения, в то время как выбранные слои могут допускать задержку обновления веса с небольшой потерей качества. Мы используем и то, и другое с помощью обучения во время обслуживания (LWS), архитектуры ускорителя вывода, которая совместно использует вычислительное оборудование для прогнозирования с критически важными задержками и обучения с гибкими сроками. Аппаратное управление версиями весов по слоям позволяет Learning публиковать обновления, в то время как текущие вычисления считывают более старые версии. Блоки возобновляемого сокращения позволяют ядрам обучения охватывать фрагментированные окна простоя и переходить к прогнозированию, а выделенные блоки softmax-gradient уменьшают конфликт векторов. В смоделированных центрах обработки данных и периферийных NPU LWS скрывает обучение в прогнозировании, поддерживая пропускную способность только для прогнозирования, сохраняя при этом 99.3% совершенно новое преимущество качества обучения для TTT-E2E 3B при 128 тыс. токенов. В девяти моделях LWS достигает 1.6x — пропускной способности последовательного выполнения, а 1.3x — лучшей предшествующей архитектуры совместного выполнения. Синтез RTL показывает, что LWS добавляет 1.5% в область ядра NPU без другого массива MAC. Эффективно превращая простаивающие возможности вывода в возможности обучения, LWS делает обучение во время вывода первоклассной рабочей нагрузкой для будущих ускорителей LLM.
## В чем суть открытия Как чип искусственного интеллекта может тренировать свои внутренние веса на поступающих в реальном времени данных, одновременно предоставляя ответы на полную мощность, не тратя при этом дополнительного времени на выполнение? ## Как это устроено: принцип работы Во время работы преобразователя матричные вычислительные массивы простаивают, пока векторные блоки обрабатывают нормализацию softmax. Обучение во время обслуживания использует эти окна простоя, внедряя задачи обратного обучения в общие кластеры многократного накопления с использованием мелкозернистых возобновляемых блоков сокращения. Специализированное оборудование обрабатывает версионные веса и градиенты softmax, гарантируя мгновенный результат обратных проходов всякий раз, когда критичные к задержке выводы требуют вычислений. ## Что это меняет на практике Обеспечивает практическое развертывание архитектур обучения во время тестирования на периферии и в центрах обработки данных, позволяя LLM принимать более 128 тыс. контекстов токенов с постоянной задержкой для каждого токена и нулевыми потерями пропускной способности. ## Границы метода и риски Оценивалось в первую очередь для фрагментированного предварительного заполнения одной последовательности, а не для пакетного многотенантного авторегрессионного декодирования; требуются модели, специально обученные для обучения во время вывода; Для основных весов требуется 1,04 ГБ дополнительной памяти. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Нормализованная пропускная способность прогнозирования (η), сохраняемая выгода от NLL (%), количество токенов приглашения в секунду, издержки основной области NPU (%), затраты энергии (%) - **Размер выборки / валидация:** N = 9 language models (1B to 12B parameters), 96 hardware/model sweep configurations, context lengths up to 128K tokens