Как объединить домашние микрокомпьютеры для работы с нейросетями без лишних затрат и фатальных задержек
Оценка распределенной модели большого языка (LLM), обслуживающей гетерогенные периферийные устройства, требует изучения различных разделов модели, размещения устройств и условий сети, что делает повторные физические эксперименты дорогостоящими. Эффективный симулятор для обслуживания периферийного LLM должен поддерживать разнообразные, детализированные конфигурации размещения, фиксировать поведение во время выполнения и точно прогнозировать время выполнения, сохраняя при этом низкие накладные расходы на моделирование. Мы представляем LEDGE, легкий симулятор для быстрой и детальной оценки распределенного обслуживания LLM на гетерогенных периферийных устройствах без выполнения тензорных операций. LEDGE строит графики событий, поддерживающие неравномерный тензорный и конвейерный параллелизм, оценивает затраты на выполнение с использованием многоразовых моделей производительности, откалиброванных на основе сквозных измерений, и моделирует конфликты между общими каналами. Мы оцениваем LEDGE на гетерогенном испытательном стенде из 10 устройств Jetson и Raspberry Pi, охватывающем 17 комбинаций моделей и прецизионных моделей в 4 семействах LLM. При развертывании Qwen компания LEDGE достигает среднего абсолютного процента ошибок на уровне запроса ниже 3.6% и совокупного ускорения в 135,3 раза по сравнению с физическим выводом. Модель производительности, откалиброванная на одном семействе LLM, обеспечивает 7.44% сквозную нулевую задержку MAPE в трех других семействах. Дальнейшее моделирование показывает, как конкуренция за общие ссылки влияет на решения о размещении, а топология сети ограничивает масштабирование. В четырех периферийных средах компания LEDGE выполняет 26 773 моделирования за 83,8 минуты, что позволяет эффективно исследовать стратегии развертывания в различных условиях ресурсов и достигать поставленных целей. Исходный код общедоступен по адресу https://github.com/gdfwj/LEDGE.
## В чем суть открытия Стремление перенести современные генеративные нейросети из централизованных облаков на автономные устройства долгое время упиралось в фундаментальный компромисс между приватностью и физическими ресурсами. Отдельные мобильные процессоры, одноплатные компьютеры и платы интернета вещей не обладают достаточным объемом оперативной памяти для размещения десятков миллиардов параметров. Естественным решением казалось объединение разрозненных устройств в единый вычислительный кластер. Однако попытки эмпирически подобрать оптимальную схему разделения модели оборачивались бесконечным перебором вариантов: даже небольшая топология порождает тысячи комбинаций параллелизма слоев и тензоров. Традиционные эмуляторы вынуждены физически прогонять веса через процессоры, что превращает исследовательский поиск в непомерно долгий и ресурсозатратный процесс, а стандартные облачные симуляторы игнорируют фазовую специфику генерации токенов. ## Как это устроено: принцип работы Архитектура симулятора LEDGE решает эту проблему за счет полного отказа от фактического выполнения тензорных операций. Вместо прогона многомерных матриц алгоритм анализирует граф исполнения модели на макроуровне, разделяя общую задачу на фазу первичной обработки контекста и пошаговую генерацию ответов. Нагрузка формализуется через объем арифметических операций, обращения к оперативной памяти и накладные расходы диспетчеризации. Эти абстрактные требования накладываются на предварительно откалиброванные профили целевого оборудования всего один раз, после чего коэффициенты можно переносить на модели других архитектур. Второй краеугольный камень системы — моделирование сетевых заторов. В гетерогенных периферийных системах устройства вынуждены конкурировать за общие коммутаторы и каналы связи. Система разбивает межпроцессорные сообщения на дискретные кванты и пропускает их через единую временную очередь действий. Если два независимых узла одновременно пытаются передать данные через общий маршрутизатор, симулятор чередует их пересылку, точно воспроизводя каскадные задержки синхронизации. ## Результаты и доказательства Работоспособность подхода проверили на физическом гетерогенном стенде из десяти плат, включающем модули на базе архитектур Jetson и Raspberry Pi с объемами памяти от 2 до 32 гигабайт. В тестах задействовали 17 комбинаций моделей и форматов квантования четырех семейств открытых весов. Средняя абсолютная погрешность предсказания общего времени ответа составила всего 3,59%, а