Кража чужих данных при совместном обучении нейросетей: послойное вычитание раскрывает скрытый текст
Злоумышленники могут использовать атаки с инверсией градиента для обратного проектирования частных данных с использованием обновлений модели раунда федеративного обучения. Хотя были разработки в области инверсии градиента для текста, точное восстановление текста вредоносным клиентом до сих пор остается невозможным, поскольку FedAvg запутывает градиентные вклады многих клиентов и скрывает сигнал любого отдельного предложения. Мы представляем новый конвейер атаки, который постепенно распутывает эту запутанность с помощью итеративного цикла, в котором градиентные вклады предложений, восстановленных ровно в одном раунде, вычитаются из совокупности, открывая оставшиеся предложения для восстановления в следующей итерации. Мы впервые показываем точное восстановление предложений с точностью 100%, а на агрегатах, содержащих до $4\times$ токенов больше, чем скрытое измерение модели, мы восстанавливаем точно до 80.2% клиентских предложений, режим, в котором существующие атаки не восстанавливают точно ни одного.
## В чем суть открытия Концепция федеративного обучения зародилась как ответ на фундаментальную дилемму цифровой эпохи: как обучать мощные централизованные нейросети на конфиденциальных данных клиник, банков и пользователей смартфонов, никогда не собирая эти данные воедино. Архитектура казалась безупречной — каждый участник тренирует локальную копию сети и отправляет серверу только математические поправки к весам, которые затем усредняются протоколом FedAvg. Считалось, что взаимное наложение векторов от десятков клиентов образует непреодолимый барьер энтропии. Все известные методы инверсии градиентов упирались в фундаментальный предел, получивший название стены размерности: как только суммарный объем токенов в батче превосходит скрытую размерность нейросети, отдельные градиентные следы теряются в коллективном шуме. В распределенных сетях эта стена перешагивается мгновенно даже при скромном числе участников. Новое исследование индийских исследователей разрушает эту догму, демонстрируя, что любой рядовой клиент сети способен извлечь дословный текст других участников прямо из усредненного обновления весов. ## Как это устроено: принцип работы Вектор атаки опирается на статус любопытного клиента. Поскольку глобальные веса модели до и после раунда общедоступны, атакующий вычитает собственный вклад и изолирует остаточный суммарный градиент всех остальных абонентов. Далее процесс разворачивается в три согласованные стадии. Сначала исследовательская группа извлекает используемый словарь. В моделях с параллельными остаточными блоками градиенты первого полносвязного слоя позволяют через решение задачи наименьших квадратов вычислить направляющие векторы токенов, указывающие на контекст их появления. Затем специальный лучевой поиск генерирует гипотезы предложений, сочетая внутреннее языковое правдоподобие с косинусным соответствием проекциям выходной матрицы, предварительно очищенным операцией отбеливания от общего фонового шума. Ключевая инновация заключается в процедуре проверки и пилинга, напоминающей реставрацию палимпсеста. Кандидат принимается только тогда, когда градиенты его якорных токенов идеально согласуются с наблюдаемым остатком под единым масштабирующим коэффициентом. Найденное предложение повторно дифференцируется, и его персональный вклад математически вычитается из общего градиента. В очищенном сигнале проявляются более слабые компоненты, запуская следующий цикл восстановления. ## Результаты и доказательства Эксперименты на языковых моделях сем