InstMeter: тактовый замер инструкций снизил ошибки прогноза энергии нейросетей на микроконтроллерах в 3 раза
глубокого обучения (DL) теперь могут работать на микроконтроллерах (MCU). С помощью поиска нейронной архитектуры (NAS) мы можем искать модели DL, соответствующие ограничениям микроконтроллеров. Среди различных ограничений критическими показателями являются затраты энергии и задержки вывода модели. Для их прогнозирования существующие исследования опираются на грубые показатели, такие как умножение-накопление (MAC) и входные параметры модели, что часто приводит к неточным прогнозам или требует обширного сбора данных. В этой статье мы предлагаем InstMeter, предсказатель, использующий тактовые циклы микроконтроллеров для точной оценки энергии и задержки моделей DL. Тактовые циклы являются фундаментальными показателями, отражающими операции микроконтроллера и напрямую определяющими затраты на электроэнергию и задержку. Кроме того, уникальным свойством нашего предиктора является его сильная линейность, что делает его простым и точным. Мы тщательно оцениваем InstMeter в различных сценариях, микроконтроллерах и настройках программного обеспечения. По сравнению с современными исследованиями, InstMeter может уменьшить ошибки прогнозирования энергии и задержки с помощью $3\times$ и $6.5\times$ соответственно, при этом требуя для $100\times$ и $10\times$ меньше обучающих данных. В сценарии NAS InstMeter может полностью использовать энергетический баланс, определяя оптимальные модели DL с более высокой точностью вывода. Мы также оцениваем производительность обобщения InstMeter посредством различных экспериментов на трех микроконтроллерах ARM (Cortex-M4, M7, M33) и одном микроконтроллере на базе RISC-V (ESP32-C3), различных вариантах компиляции (-Os, -O2), версиях GCC (v7.3, v10.3), сценариях применения (определение ключевых слов, распознавание изображений), динамическом масштабировании напряжения и частоты, температурах (21 ° C, 43 ° C), и настройки программного обеспечения (TFLMv2.4, TFLMvCI). Мы откроем наши исходные коды и наборы тестовых данных для MCU.
## В чем суть открытия Почему периферийные микроконтроллеры не могут точно оценить энергию глубокого обучения и как линейность тактового цикла инструкций меняет дизайн TinyML? ## Как это устроено: принцип работы С помощью поиска нейронной архитектуры (NAS) мы можем искать модели DL, соответствующие ограничениям микроконтроллеров. Среди различных ограничений критическими показателями являются затраты энергии и задержки вывода модели. ## Что это меняет на практике Позволяет поиску нейронной архитектуры (NAS) находить оптимальные модели TinyML для определения ключевых слов и визуализации на микроконтроллерах ARM и RISC-V, максимизируя точность вывода при строгом бюджете батареи в течение 1–3 лет. ## Границы метода и риски Предполагает детерминированное поведение цикла команд на микроконтроллерах, которое не может напрямую передаваться на сложные процессоры с глубокими неупорядоченными конвейерами или непредсказуемыми многоуровневыми кэшами памяти. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)