Встроенный сенсорный чип снижает нагрузку на основной процессор, принимая решения нейронной сети непосредственно на камере
Мы показываем, что аппаратно-распределенный процессор (HDPU) может принимать нейронные решения на датчике и таким образом удалять выводы от хоста. Созданный для обнаружения пересечения «зебры» на недорогой FPGA Artix-7, устройство принимает решение по каждому кадру камеры за фиксированные 2 269 477 тактов (34,04 мс зависит от Fpga clk), в пределах периода кадра 37,49 мс, и на плате он возвращает те же оценки и решения, что и его побитовая программная модель, для всех 639 тестовых изображений. Весь путь обнаружения, от пикселей камеры до принятия решения, занимает 1814 LUT без процессора, операционной системы и хранилища кадров с полным разрешением. Когда устройство отвечает вместо сообщения «не уверен», 95.7% его ответы на уличных фотографиях являются правильными, а аппаратная ступень контрастности повышает точность кадров видеорегистратора с 47.7% до 78.2%. Хост избавлен от всех выводов: 8,13 мс ядра в каждом периоде кадра, тогда как ResNet-18 с полной точностью потребовалось бы больше, чем период кадра даже на 16 потоках. Он также получает 16 байт за кадр вместо 614 400, что в 38 400 раз меньше. Модуль представляет собой конвейер размером 80x60 пикселей, передающий на плату четырехслойную бинаризованную CNN с 93 408 однобитовыми весами, проверенными с точностью до бита из модели Python посредством моделирования RTL. Раньше HDPU выполняли предварительную обработку (края, углы, рулевое управление); это показывает, что само решение может перейти к датчику.
## В чем суть открытия Традиционные системы технического зрения отправляют полные видеокадры на центральный компьютер для обработки. В этом исследовании небольшой механизм нейронной сети с фиксированной логикой встраивается непосредственно в датчик камеры для локального принятия решений в режиме реального времени без участия центрального процессора. ## Как это устроено: принцип работы Система предварительно обрабатывает пиксели камеры по прибытии в оттенки серого с пониженной дискретизацией и применяет аппаратный этап контрастности для нормализации изменений освещения. Затем он выполняет четырехслойную бинаризованную сверточную нейронную сеть, используя простую логику XNOR и подсчета битов непосредственно внутри выделенного оборудования FPGA. Скользящий запас решения усредняет баллы по последовательным кадрам и применяет пороговый диапазон неопределенности, чтобы гарантировать высокую достоверность классификации. ## Что это меняет на практике Обеспечивает сверхнизкое энергопотребление, детерминированное компьютерное зрение для автономной навигации, портативную помощь для людей с нарушениями зрения и интеллектуальные датчики Интернета вещей, которые работают независимо, без хост-процессоров или подключения к облаку. ## Границы метода и риски Фиксированный аппаратный конвейер жестко привязан к единой бинаризованной сетевой топологии, требующей полного аппаратного повторного синтеза для изменения весов задач или структуры сети. Кроме того, точность сети ограничена 1-битным квантованием по сравнению с моделями с плавающей запятой полной точности. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Accuracy 79.1%-79.4% (90.2%-95.7% when answering), 34.04 ms latency (2,269,477 fixed clock cycles), 16 B host payload (38,400x reduction), 1,814 LUTs logic resource - **Размер выборки / валидация:** N = 11,281 images (7,552 crossing), hardware evaluated on 639 test images (524 dashcam T1 + 115 street T2) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)