Микрочипы научились ночному сну: новый метод предотвращает потерю памяти у портативных нейросетей
Непрерывное обучение (CL) позволяет нейронным сетям адаптироваться к нестационарным потокам данных, смягчая катастрофическое забывание, предлагая путь к надежным, частным и адаптируемым периферийным устройствам. Тем не менее, перенос CL на реальные периферийные устройства остается сложной задачей по двум причинам: (i) работа в режиме онлайн, когда данные с датчиков поступают по одной выборке за раз, и устройство должно адаптироваться «на лету», и (ii) малая занимаемая площадь периферийных устройств, что делает традиционное обучение обратному распространению ошибок непомерно дорогим. Вдохновленные циклами бодрствования и сна мозга, первый для быстрой адаптации с минимальными ресурсами, а второй для долгосрочной консолидации, мы представляем Hypnos, двухфазную платформу с открытым исходным кодом для эффективного CL на периферии. На этапе пробуждения (например, при ежедневной работе) Hypnos полагается на малогабаритную систему на кристалле с микроконтроллером RISC-V (MCU), обеспечивающим эффективный вывод и поддерживающим легкие обновления прототипов без градиентов. В фазе сна (например, зарядка в ночное время), когда доступна энергия от розетки и больший объем памяти, интеллектуальное зарядное устройство выполняет обновления градиента на основе репетиций для консолидации. Развернутый на программируемой вентильной матрице (FPGA) ZCU104 и синтезированный по 28-нм техпроцессу, Hypnos протестирован на основе протокола CORe50 NICv2-391. Он устанавливает новый современный уровень точности 78.6%-81.6% для периферийных систем CL с задержкой на устройстве 7,79–10,54 с на выборку в зависимости от точности активации и требует для $3.8\times$ меньше шагов обучения и $22\times$ меньше обучающих вычислений, чем квантованное скрытое воспроизведение с более высокой точностью и сопоставимой задержкой.
## В чем суть открытия Десятилетиями парадигма машинного обучения опиралась на допущение о неизменности и замкнутости мира: нейросеть тренируют один раз на гигантском сервере, запечатывают ее параметры и переносят на портативное устройство. Однако в реальной жизни поток сенсорных данных непрерывен и изменчив. Попытка научить носимый датчик новым образам непосредственно на месте неизбежно наталкивается на фундаментальный барьер — катастрофическое забывание. Классические нейросети, настраиваясь на свежие данные, безвозвратно перезаписывают связи, отвечающие за прежний опыт. Традиционное решение проблемы требует гигантского буфера повторения, где хранятся тысячи старых образцов для постоянного переобучения методом обратного распространения ошибки. Для миниатюрных чипов носимой электроники с милливаттным бюджетом мощности и ограниченными килобайтами внутренней памяти это оставалось физически непреодолимым тупиком. Исследователи из Делфтского технического университета разрешили это противоречие, позаимствовав организационный принцип у биологической нервной системы — чередование циклов бодрствования и глубокого сна. Разработанная платформа разделяет процесс обучения на два независимых физических домена: дневной сбор опыта на автономном кристалле и ночную консолидацию памяти на интеллектуальном зарядном устройстве. ## Как это устроено: принцип работы В основе алгоритмической архитектуры лежит разделение глубокой сверточной сети на две функциональные зоны. Первые пятнадцать слоев заморожены и действуют как универсальный экстрактор геометрических и визуальных признаков. В фазе дневного бодрствования входящее изображение проходит через этот фильтр, после чего система выполняет два действия, исключающих энергоемкий расчет производных. С одной стороны, вектор признаков обновляет координаты эталонного центра тяжести соответствующего класса в выходном слое посредством простого скользящего среднего. С другой стороны, эти же скрытые признаки сжимаются методом векторного квантования произведения в крошечные восьмибитные индексы, занимая в 40 раз меньше места в памяти. Когда устройство помещается на ночную зарядку, ограничения автономного питания снимаются доступом к электросети. Умная док-станция скачивает накопленные сжатые слепки в свой внешний буфер, восстанавливает промежуточные признаки по таблице кодовой книги и запускает классический градиентный спуск для дообучения пластичной «головы» сети. Завершив ночную консолидацию, док-станция перезаписывает обновленные с