Комплексный тест Edge AI показывает, что микроконтроллеры мощностью менее ватта страдают от ограничений на перемещение данных
Выводы нейронной сети на границе должны соответствовать ограниченному энергетическому бюджету. Существующие тесты сравнивают несколько устройств, не сообщают об энергопотреблении на общей основе и не включают новейшие микроконтроллеры с NPU или Cortex-M85 с частотой 1 ГГц. Проектирование с учетом аппаратного обеспечения также ранжирует сети по количеству MAC-адресов, однако ни одно исследование не проверило, действует ли этот прокси-сервер на ускорителях. Мы тестировали аппаратное обеспечение AI мощностью менее ватта, оценивая четыре CNN (MobileNetV3, MCUNetV1, EfficientNet, SqueezeNet) и два крошечных трансформатора (MobileViT-XXS, DeiT-tiny) на десяти коммерческих устройствах: встроенном в датчик DSP (Sony IMX500), четырех микроконтроллерах с NPU (STM32N6, Alif Ensemble E7/E8, GreenWaves GAP9), и пять микроконтроллеров без NPU (STM32U5, Apollo510B, ESP32-S3 Xtensa LX7, RA8M2, STM32V8). Четыре устройства являются новыми (Alif E8, Apollo510B, RA8M2, STM32V8). При измерении энергии выше уровня холостого хода IMX500 (0,13–0,35 мДж) потребляет на 1,3-3x меньше энергии, чем STM32N6 (0,31–1,05 мДж) на каждой модели; GAP9 меньше всего использует MobileNetV3, а Alif E7 меньше всего использует MCUNetV1 и SqueezeNet. Все четыре потребляют на 6-34x меньше энергии, чем STM32V8 (1,85–3,98 мДж), а Alif E7 и IMX500 образуют фронт Парето по производительности. Задержка на всех четырех ускорителях масштабируется в зависимости от трафика памяти (байты весов и активаций, r >= 0,98), а не от MAC-адресов, поэтому они привязаны к памяти, в то время как ни один MCU без NPU не связан. Преимущество NPU растет с интенсивностью от 1.4x с Cortex-M85 с частотой 1 ГГц на MCUNetV1 до 8.2x на SqueezeNet. Таким образом, количество MAC является вводящим в заблуждение показателем стоимости ускорителей мощностью менее ватта.
## В чем суть открытия В этом исследовании сравниваются десять периферийных устройств мощностью менее ватта и обнаруживается, что узким местом ускорителей искусственного интеллекта является передача данных в память, а не необработанные арифметические вычисления, что делает традиционную оптимизацию подсчета MAC-адресов ошибочной для маломощных кремниевых устройств. ## Как это устроено: принцип работы Авторы оценивают четыре CNN и два преобразователя изображения в десяти микроконтроллерах, NPU и встроенных в датчики DSP, измеряя задержку выполнения и энергию выше уровня простоя. Сопоставляя задержку с трафиком памяти и количеством MAC-адресов, они демонстрируют, что нейронные процессоры прочно работают в режиме, привязанном к памяти. Следовательно, модели с более высокой арифметической интенсивностью повторно используют веса более эффективно, превосходя модели с более низким MAC, которые генерируют большой трафик памяти. ## Что это меняет на практике Управляет поиском нейронной архитектуры с учетом аппаратного обеспечения и проектированием компилятора для IoT и периферийных устройств для оптимизации объема памяти и пропускной способности вместо минимизации операций умножения-накопления, что позволяет экономить до 34x энергии в развернутых системах периферийного зрения. ## Границы метода и риски Оценивалось в первую очередь на входах CNN с разрешением 64x64 и компактных преобразователях видеосигнала; Результаты могут отличаться в зависимости от более крупных моделей с высоким разрешением, а для новых кремниевых платформ существуют уязвимости в цепочке поставок. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Latency (ms/inf), Energy above idle (mJ/inf), Compute efficiency (MAC/cycle), Traffic rate (B/cycle), Energy efficiency (MMAC/J) - **Размер выборки / валидация:** N = 10 sub-watt edge devices across 5 architecture classes evaluated on 4 CNNs and 2 Vision Transformers - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)