Синтез данных по одному вектору: как обучать искусственный интеллект на закрытых устройствах без передачи снимков
Одноразовое федеративное обучение (OSFL) привлекает все большее внимание благодаря своей способности существенно снизить накладные расходы на связь, ограничивая взаимодействие клиент-сервер одним раундом связи. Тем не менее, это ограниченное взаимодействие затрудняет обучение на гетерогенных клиентских дистрибутивах. Подходы OSFL, основанные на диффузии, направлены на решение этой проблемы путем синтеза данных, которые аппроксимируют распределение клиентов. Однако существующие подходы, основанные на диффузии, часто требуют от клиентов существенных вычислительных затрат и не имеют эффективных визуальных указаний для генерации данных, соответствующих распределениям клиентов. Чтобы устранить эти ограничения, мы предлагаем FedDoG, среду генерации доменов, не требующую обучения, которая использует предварительно обученные модели распространения на стороне сервера для синтеза данных, согласованных с клиентскими доменами. FedDoG извлекает компактные представления доменов с помощью кодировщика замороженных изображений, что существенно снижает затраты на вычисления и связь на стороне клиента. Эти представления включаются в модель диффузии через предварительно обученный адаптер формирования изображения, тем самым обеспечивая четкое визуальное руководство для генерации домена. Чтобы еще больше улучшить качество синтетических данных, FedDoG адаптирует силу визуального кондиционирования в соответствии с концентрацией доменов и фильтрует созданные образцы на основе согласованности классов и прогнозирующей энтропии. Эксперименты с тремя тестами показывают, что FedDoG генерирует синтетические изображения более высокого качества и превосходит существующие базовые показатели OSFL по точности классификации. Между тем, FedDoG сокращает время загрузки и вычислений клиента на 99.9% и 91.5% соответственно. Код доступен по адресу https://github.com/YXTong17/FedDoG.
## В чем суть открытия Классическое федеративное обучение строилось на изнурительном компромиссе: либо сотни распределенных устройств ведут бесконечные раунды обмена градиентами, сжигая батареи и перегружая сетевые каналы, либо центральный сервер пытается обучиться за один шаг, рискуя получить разрозненные, расходящиеся модели. Попытки развернуть генеративные диффузионные сети непосредственно на смартфонах и медицинских терминалах привели к вычислительному тупику: даже частичная оптимизация тяжелых генераторов на периферии требует гигабайтов оперативной памяти и минут тяжелых вычислений на каждом клиенте. Команда исследователей предложила радикальный отказ от локального обучения: фреймворк FedDoG переносит всю генеративную нагрузку на центральный сервер, а клиентские устройства обязывает выполнить лишь один статический прогон через замороженный визуальный кодировщик. Вместо пересылки весов нейросети или сырых фотографий клиент отправляет компактный агрегированный вектор доменного стиля и числовой показатель кучности признаков. ## Как это устроено: принцип работы Алгоритмический фундамент метода опирается на аналитическое решение задачи поиска доминантного направления. Каждое локальное изображение проецируется через неизменяемый кодировщик в нормализованное пространство признаков. Оптимальное представление домена, максимизирующее косинусное сходство со всей коллекцией снимков клиента, вычисляется в замкнутой форме — как нормированная векторная сумма признаков, без градиентных спусков и локальных итераций. Параллельно клиент вычисляет длину результирующего вектора, которая служит мерой доменной концентрации. Если снимки клиента стилистически однородны (например, строгие монохромные наброски), эта концентрация высока, что сервер транслирует в повышенную силу управления генератором. Если же данные пестрят разнообразием стилей, влияние вектора адаптивно снижается, давая диффузионной модели свободу для расширения вариативности. На сервере этот вектор подается в механизм адаптера изображений через развязанное перекрестное внимание: текстовый запрос задает семантику объекта (например, «самолет» или «яблоко»), а клиентский вектор диктует фактуру, палитру и освещение. Завершает конвейер двухступенчатый фильтр: сгенерированные кадры проверяются на совпадение предсказанного класса и отсеиваются, если энтропия их распределения превышает заданный порог надежности. ## Результаты и доказательства Эксперименты проводились на трех эталонных мультидоменных бенчмарках