Геометрия ортогональных шагов избавляет обучение нейросетей от изнурительного подбора параметров
Одноконтурные минимаксные методы привлекательны для современного машинного обучения, но стандартные обновления стохастических градиентов могут быть нестабильными и колебательными в условиях тесно связанной первично-двойственной динамики, что делает производительность общеизвестно чувствительной к размерам шагов. Чтобы существенно повысить стабильность, мы разрабатываем структуру ортогональных обновлений, адаптированную к минимаксной оптимизации, которая применяет обновления в ортогональных направлениях для уменьшения анизотропии обновлений. Однако ортогонализация изменяет геометрию оптимизации и делает координацию размеров простых и двойственных шагов еще более тонкой. Чтобы преодолеть эту проблему, мы разрабатываем AdaSGDA, который снабжает ортогональные обновления правилом адаптивного размера шага, основанным на накопленных нормах градиента. Этот механизм автоматически уравновешивает связанный прогресс первичного и двойственного при ортогонализации, создавая эффективно безпараметрический метод для невыпуклой, сильно вогнутой минимаксной оптимизации. Мы доказываем, что AdaSGDA позволяет избежать настройки, зависящей от проблемы, при этом достигая современной скорости сходимости $\mathcal{O}\left(T^{-1/4}\right)$. Мы также предлагаем AdaSGDA-VR, который включает в себя тщательно разработанную схему уменьшения дисперсии и обеспечивает более высокую скорость $\mathcal{O}\left(T^{-1/3}\right)$. Обширные эксперименты показывают, что наши методы обеспечивают конкурентоспособную производительность по сравнению с существующими методами минимаксной оптимизации.
## В чем суть открытия Двух акробатов, балансирующих на канате: вместо того, чтобы непредсказуемо броситься вперед, они соглашаются двигаться строго под прямым углом друг к другу, автоматически выравнивая шаг без выкрикивания инструкций тренером. ## Как это устроено: принцип работы Структура проецирует стохастические градиентные матрицы импульса на многообразие Стифеля ортонормированных матриц посредством итеративной полярной факторизации. Затем он управляет первично-двойственным прогрессом, используя аккумуляторы норм исторических градиентов, оснащенные пороговым ограничением. Знаменатель иерархического масштабирования заставляет первичное обновление идти против двойной нестабильности, поддерживая равновесие в двух временных масштабах. ## Что это меняет на практике Обеспечивает быстрое обучение генеративно-состязательных сетей и устойчивых к распределению моделей, вплоть до языковых преобразователей с миллиардом параметров, без хрупких графиков скорости ручного обучения. ## Границы метода и риски Теоретические графики сходимости по-прежнему зависят от заранее установленных горизонтов итераций и нижних границ минимального размера пакета, которые масштабируются в зависимости от общего количества шагов обучения. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Top-1 Accuracy, Inception Score, Fréchet Inception Distance, Cross-Entropy Validation Loss, First-Order Stationarity Measure - **Размер выборки / валидация:** N = MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, FineWeb (OPT-125M, OPT-350M, OPT-1.3B)