Ускорение нейросетей без сбоев: как умное переключение черновиков удваивает скорость вычислений
Спекулятивное декодирование (SD) ускоряет вывод модели большого языка (LLM), но его оптимальная конфигурация зависит в совокупности от характеристик рабочей нагрузки, аппаратного обеспечения графического процессора и доступной памяти. Например, на RTX~5090 современный спекулятивный редактор DFlash достигает $3.50\times$ пропускной способности авторегрессионного (AR) декодирования при низком параллелизме, но только $0.76\times$ при высоком параллелизме с короткими выходными данными. Мы представляем SpecSearch, поисковую систему с поддержкой аппаратного обеспечения, которая совместно оптимизирует стратегию декодирования, длину черновика и точность для пар рабочая нагрузка — графический процессор. Его аналитическая модель затрат учитывает ограничения памяти и вычислений для определения возможных конфигураций и сужения пространства поиска для оптимизации пропускной способности. В соответствии с этой моделью калибровочные измерения собираются с нескольких графических процессоров. Используя измерения, система прогнозирования на основе Jev учится выбирать конфигурации декодирования с высокой пропускной способностью на имеющихся графических процессорах без необходимости калибровки развертываемого графического процессора. Предиктор эффективно обучается по параметрам на калибровочных данных, одновременно адаптируя замороженный Qwen3-4B с помощью адаптеров LoRA и слоя линейной коррекции. На графических процессорах NVIDIA RTX~5090, H100, L40 и AMD MI300X SpecSearch с полной калибровкой достигает в среднем $2.01\times$ пропускной способности AR и $1.36\times$ пропускной способности SD, оба обслуживаются vLLM. Предлагаемый предиктор на основе Jev точно соответствует этой производительности поиска с улучшением пропускной способности $1.30\times$ по сравнению с SD с vLLM, устраняя при этом необходимость в длительной калибровке графического процессора. Кроме того, он сохраняет $97.36\%$ пропускной способности, достигнутой SpecSearch, использующей полную калибровку.
## В чем суть открытия На протяжении десятилетия фундаментальным препятствием для масштабирования генеративного искусственного интеллекта оставалась память. Поточечная пошаговая генерация слов заставляет графические ускорители снова и снова считывать гигабайты весов из памяти ради каждого отдельного токена. Для преодоления этой вычислительной неэффективности инженеры разработали спекулятивное декодирование: легковесная модель-черновик мгновенно набрасывает цепочку вероятных слов, а тяжелая основная сеть верифицирует их все за один параллельный проход. Однако эта элегантная теоретическая идея столкнулась с жестким физическим барьером. Стоило очереди входящих запросов вырасти, как спекулятивный выигрыш испарялся, а в ряде сценариев система начинала работать даже медленнее классического пошагового алгоритма. Проблема крылась в архитектурной слепоте планировщиков. Черновые модели и громоздкие таблицы промежуточного контекста жадно поглощали драгоценную видеопамять, вытесняя кэш ключей и значений, необходимый для одновременного обслуживания пользователей. По мере увеличения пакета параллельных запросов видеокарта переходила из режима ограниченной пропускной способности памяти в режим вычислительного насыщения. Фиксированные эвристики продолжали генерировать длинные спекулятивные цепочки, которые лишь создавали избыточную нагрузку на тензорные ядра и приводили к переполнению памяти. Архитектура SpecSearch устраняет этот концептуальный изъян, впервые объединяя строгую аналитическую модель аппаратных ресурсов с динамическим управлением спекулятивным процессом. ## Как это устроено: принцип работы В основе системы лежит математическая модель стоимости, опирающаяся на концепцию крышечной производительности процессора. Алгоритм не пытается угадать параметры наугад: зная физическую пропускную способность шины памяти, пиковую вычислительную мощность ускорителя и параметры нейросети, он рассчитывает критический порог параллелизма. До этого порога генерация ограничена скоростью чтения памяти, и спекулятивные догадки дают максимальный эффект; выше него видеокарта упирается в вычисления, и длинные черновики становятся балластом. Система действует в два этапа. Сначала аналитический фильтр отсекает любые конфигурации, способные вызвать аппаратный сбой по памяти. Затем для оставшихся параметров формируется таблица оптимальных политик, связывающая число параллельных сессий и длину генерируемого ответа с наилучшей точностью кэша и длиной черновика. В процессе инференса планир