Умный трюк с памятью сокращает нагрузку на графический процессор, обеспечивая мгновенную готовность десятков моделей искусственного интеллекта
Автомасштабирование — это ключевой механизм в системах «модель как услуга», где быстрое масштабирование имеет важное значение, поскольку время масштабирования напрямую определяет, как долго сервис модели остается перегруженным, что, в свою очередь, определяет качество обслуживания. Современный подход — ожидание модели, принятый в основных обслуживающих механизмах, включая vLLM и SGLang, обеспечивает масштабирование практически с нулевыми затратами за счет приостановки предварительно созданных механизмов на графическом процессоре. Однако сон — это не бесплатный обед: каждая спящая модель должна сохранять резидентный контекст своего графического процессора, и эта стоимость растет линейно с количеством моделей, снижая производительность обслуживания. Поскольку поставщикам приходится поддерживать множество моделей, они сталкиваются с дилеммой между быстрым масштабированием всех моделей и высокой производительностью обслуживания. В этой статье мы показываем, что один сервер может поддерживать спящий режим многих моделей без уплаты налога на контекст графического процессора. Ключевое наблюдение заключается в том, что контексты спящих моделей в значительной степени дублируются: контекст драйвера (CUDA) может быть общим для всех моделей, а двоичные файлы ядра графического процессора сильно перекрываются из-за общих операторов и библиотек. PhOSv1 дедуплицирует этот контекст, прозрачно делегируя выделение контекста графического процессора каждого механизма центральному демону посредством удаленного взаимодействия API; следовательно, один сервер может поддерживать в спящем состоянии гораздо больше моделей, чем позволяют существующие движки. Наша оценка показывает, что PhOSv1 соответствует времени масштабирования стандартного спящего режима vLLM, при этом существенно сокращая объем памяти графического процессора и улучшая сквозную производительность обслуживания нескольких моделей.
## В чем суть открытия Приостановка работы нескольких моделей ИИ на графическом процессоре приводит к трате огромного объема памяти на дублирование файлов настройки. Благодаря совместному использованию фоновых драйверов и ядер между моделями серверы могут содержать десятки моделей, готовых к мгновенному пробуждению, практически без нагрузки на память. ## Как это устроено: принцип работы Центральный системный демон перехватывает вызовы создания контекста графического процессора посредством прозрачного удаленного взаимодействия API и объединяет идентичные состояния драйверов CUDA и перекрывающиеся двоичные файлы ядра в спящих механизмах. Неразделяемые внутренние буферы остаются нераспределенными, пока модели спят, и восстанавливаются по требованию в течение миллисекунд во время пробуждения. ## Что это меняет на практике Позволяет облачным провайдерам размещать разнообразные многомодельные LLM-сервисы на значительно меньшем количестве графических процессоров с почти нулевой задержкой при холодном запуске, что значительно снижает эксплуатационные расходы и сокращает время ожидания запросов для пользователей. ## Границы метода и риски Требует доверия между механизмами, совместно использующими контекст драйвера CUDA, вносит незначительные накладные расходы на удаленное взаимодействие API во время вывода и в настоящее время не поддерживает графики CUDA. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 98.1% GPU context memory reduction (25.67 GiB → 0.49 GiB for 23 models); 87.0% reduction in average E2E TTFT (146.82s → 19.09s); 4.12s average scale-up wake-up latency; >=97.3% throughput retention - **Размер выборки / валидация:** N = 23 LLM/VLM models evaluated (Qwen, Llama, Gemma families ranging from 0.6B to 35B parameters) on NVIDIA A800 GPUs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)