Ускорение в 3900 раз: байесовские нейросети научились оценивать неопределенность за один прямой проход
Модели машинного обучения отлично подходят для таких приложений, как медицинская диагностика, прогнозирование погоды, обработка естественного языка и автономное вождение, однако их неадекватная обработка неопределенности остается решающей для приложений, критически важных для безопасности. Традиционные нейронные сети не могут распознавать данные вне домена (OOD), часто выдавая неправильные прогнозы без указания на неопределенность. Байесовские нейронные сети (БНС) предлагают принципиальную основу для оценки неопределенности, предоставляя статистически обоснованные вероятности наряду с прогнозами. Несмотря на эти преимущества, BNN страдают от высоких вычислительных затрат как при обучении, так и при прогнозировании. Прогнозы требуют выборки по распределениям веса и нескольких проходов вперед. Чтобы решить эту проблему, вероятностный прямой проход (PFP) служит крайним приближением стохастического вариационного вывода (SVI). В то время как SVI предполагает распределение весов по Гауссу без ограничений на активации, PFP распространяет это предположение на активации. Это обеспечивает полностью аналитическое распространение неопределенности, заменяя несколько прямых проходов одним, более сложным прямым проходом, работающим с распределениями вероятностей. Таким образом, PFP требует наличия специализированных операторов гауссовского распространения, отсутствующих в стандартных библиотеках глубокого обучения. Мы представляем комплексный конвейер для обучения, компиляции, оптимизации и развертывания BNN на основе PFP на встроенных процессорах ARM. Внедряя специальные операторы в компилятор глубокого обучения TVM, мы разрабатываем специальную библиотеку операторов для многослойных перцептронов и сверточных нейронных сетей. Для максимизации эффективности применяются различные реализации операторов, а также методы ручной и автоматической настройки. Исследования абляции показывают, что PFP неизменно превосходит SVI по вычислительной эффективности. Для небольших размеров мини-пакетов, критически важных для приложений с малой задержкой, наш подход обеспечивает ускорение до 3900 ×. Наши результаты показывают, что BNN на основе PFP достигают производительности, сравнимой с SVI-BNN, для распутывания неопределенности в наборе данных Dirty-MNIST и для сложного обнаружения OOD на CIFAR-10 против SVHN, при этом значительно сокращая вычислительные затраты. Эти результаты подчеркивают потенциал сочетания байесовских аппроксимаций с генерацией кода и настройкой операторов для ускор
## В чем суть открытия Как встроенные процессоры могут запускать байесовские нейронные сети в режиме реального времени без выборки и могут ли одиночные вероятностные прямые? ## Как это устроено: принцип работы Традиционные нейронные сети не могут распознавать данные вне домена (OOD), часто выдавая неправильные прогнозы без указания на неопределенность. Байесовские нейронные сети (БНС) предлагают принципиальную основу для оценки неопределенности, предоставляя статистически обоснованные вероятности наряду с прогнозами. ## Что это меняет на практике Обеспечивает оценку неопределенности в реальном времени и обнаружение выхода за пределы домена для встроенных систем, критически важных для безопасности, таких как автономные транспортные средства и медицинские устройства, работающие на маломощных микропроцессорах ARM, с ускорением до 3900x для небольших мини-партий. ## Границы метода и риски Предполагается гауссово распределение как по весам, так и по активациям, что может не выполняться для сильно негауссовских мультимодальных распределений; в настоящее время ограничено специальными операторами TVM для MLP и CNN на процессорах ARM. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)