Параллельная оптимизация ускоряет сверхвысокоразмерный отбор признаков на порядки величины
Выбор лучшего подмножества — центральная проблема статистической регрессии, привлекающая все больше внимания со стороны более широких сообществ по оптимизации и машинному обучению. Непосредственное решение жесткого ограничения разреженности L0 было сложной вычислительной задачей; в результате в большинстве существующих работ предлагаются формулировки, которые не навязывают ограничение, а вместо этого используют сочетание штрафов L0/L1/L2 для поощрения разреженности. Современные методы решения таких штрафных формулировок применимы для p = 100 000, но отказываются от прямого контроля над разреженностью. В этой статье мы предлагаем двухэтапный подход, основанный на проксимальном градиентном спуске, который одновременно усиливает ограничение разреженности и включает штрафы L1/L2, используя графические процессоры для ускорения вычислений для поиска приближенных решений. Наш метод ParaDeAl предлагает пользователю возможность выбирать гиперпараметры задачи, параллельно решать все конфигурации и получать решения до 15x быстрее, чем лучшие современные процессоры конкурентов, при этом достигая почти идентичной точности испытаний для одного и того же размера поддержки для больших (p > 100 000) синтетических и реальных наборов данных.
## В чем суть открытия Поиск ключевых функций в гигантских наборах данных обычно занимает несколько часов, поскольку компьютеры проверяют настройки одну за другой. Этот метод тестирует тысячи настроек одновременно, выполняя масштабные статистические задачи за считанные минуты, а не часы. ## Как это устроено: принцип работы Алгоритм сочетает в себе двухэтапный подход проксимального градиентного спуска — жесткое и мягкое пороговое определение для выбора поддержки с последующей модификацией значений в выбранных подмножествах объектов — с динамическим сжатием массива и заменой локальных пар. Представляя траектории гиперпараметров в виде многомерных тензоров, он распараллеливает матричные операции и просмотр конфигурации непосредственно на графических процессорах. ## Что это меняет на практике Обеспечивает выбор функций в реальном времени и сжатие моделей в областях сверхвысокой размерности, включая прогнозирование рисков в здравоохранении, оптимизацию финансового портфеля и геномные исследования в течение 1–3 лет. ## Границы метода и риски Требует больших ресурсов памяти графического процессора для крупных объединений кандидатов, сталкивается с накладными расходами на запуск ядра при небольших размерах задач и полагается на плавающую запятую одинарной точности, что может вызвать небольшие несоответствия выбора поддержки. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Runtime speedup (up to 609.6x over iterative CPU), objective function value, test relative error, support selection overlap - **Размер выборки / валидация:** N = Synthetic datasets up to n=1,000, p=1,000,000; real-world expanded datasets up to n=2,500, p=302,743 across 16,807 configurations - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)