Прорыв в унифицированном драйвере памяти сокращает задержки загрузки искусственного интеллекта на устройстве и устраняет избыточные копии данных
Загрузка модели по требованию доминирует над задержкой ответа для интерактивного искусственного интеллекта на устройстве, однако унифицированная архитектура памяти (UMA), которая теперь распространена на периферийных устройствах, должна удешевить ее за счет размещения весов в памяти, которую уже видит графический процессор. Однако платформы по-прежнему используют поток загрузки, созданный для дискретных графических процессоров, что приводит к значительной неэффективности. В этом документе представлен UMLoad, ускоритель загрузки моделей на уровне системы, который отделяет логические выделения платформы от их физической поддержки страниц. UMLoad использует реконструкцию по требованию, чтобы исключить весовое копирование, сохраняя при этом независимость от копирования, а также обнуление страниц с помощью графического процессора для ускорения распределения времени выполнения, сохраняя при этом гарантию безопасности. UMLoad, реализованный на платформах Intel, AMD и NVIDIA UMA и оцененный с помощью llama.cpp, PyTorch и vLLM на шести моделях, UMLoad сокращает среднее время загрузки на 36.6%-71.9% по сравнению с Vanilla и 19.9%-62.7% по сравнению с конвейерными загрузчиками, а также сокращает среднее время маршрутизации LLM до первого токена (TTFT) на 51.3%-59.3% и задержка завершения работы инструмента на основе модели от 10.2%-31.6%.
## В чем суть открытия Почему современные смартфоны делят физическую память между процессором и графическим процессором, но при этом тратят секунды на создание дубликатов моделей искусственного интеллекта во время холодного запуска? ## Как это устроено: принцип работы UMLoad отделяет логические выделения от резервного копирования физической страницы с помощью объектов временного буфера. Он восстанавливает исходные страницы с файловой поддержкой с эксклюзивным владением графическим процессором, одновременно восстанавливая страницы ЦП по требованию, если к ним осуществляется доступ, и передает обнуление с помощью графического процессора для быстрого распределения во время выполнения. ## Что это меняет на практике Обеспечивает почти мгновенное переключение между специализированными инструментами искусственного интеллекта и локальными агентами LLM на периферийных процессорах, таких как Apple Silicon, Intel Core Ultra и APU AMD, без задержек и увеличения нагрузки на память. ## Границы метода и риски Требует базовой модификации ядра ОС и драйвера графического процессора, демонстрирует накладные расходы при сбое холодного диска или обратной записи грязных страниц, а также требует незначительной маркировки API для драйверов CUDA с закрытым исходным кодом. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)