Локальная резкость: как микроскопические нейросети преодолевают глобальную слепоту алгоритмов
Deep neural networks fitted by global empirical risk minimization commit to a single model for the entire covariate space. In a regression problem, if the regression function $f_0$ is inhomogeneous --- varying rapidly in one region, while being nearly flat in another --- no single model can be appropriate everywhere, and the fit degrades where the function varies most rapidly. Here we study an alternative in which, instead of fitting the network globally, we fit it locally. For each query point $x$, a \emph{local neural network} is trained on the $k$ nearest-neighbours of $x$ alone, making the training sample and the fitted function query-dependent. We analyze the performance of the resulting estimator through a localization approach, establishing that the pointwise risk of the estimator with an appropriate choice of $k$ attains the rate $n^{-2α/(2α+d^{*})}$, up to logarithmic factors, when $f_0$ is locally $α$-Hölder with $α\in(0,1]$ and the covariates are supported on a $d^{*}$-dimensional manifold embedded in $\mathbb{R}^{d}$. A matching Le Cam lower bound shows that this rate is pointwise minimax optimal. However, the local rate-optimality requires $k$ to be calibrated to the smoothness of $f_0$, which is unknown in practice. We therefore provide a locally adaptive choice of $k$ that makes the neural network adapt to the local Hölder exponent of $f_0$ and to the intrinsic dimension simultaneously, both of which are potentially varying over the covariate domain. An extensive simulation study demonstrates the dominance of the locally adaptive neural network over a globally trained network and several state-of-the-art methods.
## В чем суть открытия Десятилетиями парадигма глубокого обучения опиралась на фундаментальное допущение: единая архитектура нейросети, минимизирующая эмпирический риск по всей обучающей выборке, способна равномерно уловить закономерности любой сложности. Однако в реальных физических процессах гладкость сигнала распределена неравномерно. Функция может оставаться почти плоской на протяжении сотен километров, а затем сорваться в череду высокочастотных осцилляций или сингулярных разрывов. Глобальная минимизация среднеквадратичной ошибки усредняет потери по всему пространству: модель либо безжалостно сглаживает локальные всплески, принимая их за белый шум, либо, раздуваясь в параметрах, начинает дико переобучаться на спокойных интервалах. Статистики Билол Банерджи и Сохам Саркар сломали этот догмат, объединив аппарат глубоких сетей с принципом локального обучения. Вместо одной глобальной модели создается динамический ансамбль: для каждой отдельной точки запроса обучается собственная микросеть, опирающаяся исключительно на локальную выборку ближайших соседей. ## Как это устроено: принцип работы Архитектурная логика метода воспроизводит принцип адаптивного микроскопа. При поступлении запроса алгоритм локализует окрестность из нескольких ближайших точек обучающей базы и обучает компактную полносвязную нейросеть прямо в этом сжатом пространстве. Главный вызов состоял в выборе масштаба: слишком тесный радиус страдает от дисперсии случайного шума, а слишком широкий захватывает чужеродную геометрию и вносит систематическую погрешность. Авторы решили эту дилемму с помощью классического принципа Лепского, математически адаптированного под метрическую энтропию нейронных сетей. Алгоритм сканирует геометрическую сетку размеров окрестности от малых к крупным. Пока предсказания расширяющихся выборок согласуются между собой в пределах предсказанного стохастического шума, радиус увеличивается; как только накапливающееся искривление целевой функции приводит к статистически достоверному расхождению оценок, расширение немедленно останавливается. Вся процедура выполняется полностью автономно, не требуя априорных знаний о гладкости функции или скрытой размерности данных. ## Результаты и доказательства Строгий математический анализ доказал, что локализованный алгоритм достигает минимаксной оптимальности по Ле Каму, автоматически подстраиваясь под локальный показатель гладкости Гельдера и внутреннюю размерность многообразия. Эмпирические испытания подтвердили превосходство нового