Скрытый ритм видеоподделок: как одновременный анализ движения и формы разоблачает синтезированные кадры
Обобщение обнаружения дипфейков при манипулировании лицом и полностью созданном видео остается сложной задачей, поскольку следы подделки варьируются в зависимости от метода манипуляции и содержания сцены. Явные пространственные и временные различия признаков позволяют уловить это изменение, а также реагировать на естественную текстуру и движение, мотивируя их совместную интерпретацию особенностями внешнего вида. Мы исследуем, улучшает ли сочетание многомасштабных различий функций с адаптированными представлениями внешнего вида обнаружение подделок в обеих категориях. Мы представляем Multiscale Appearance-Residual Streams (MARS), двухпутевой видеодетектор. Остаточный путь применяет фиксированные пространственные и временные операторы разности гауссиан к замороженным промежуточным объектам и моделирует результирующие различия вместе с контекстом внешнего вида в разных кадрах. Семантический путь адаптирует параметры нормализации кодера для классификации кадров, а зависящий от клипа вентиль объединяет их прогнозы. При использовании общего протокола для семи наборов данных MARS достигает самого высокого среднего значения AUROC, равного 91,43%, что превосходит семь сравниваемых детекторов. При обучении только манипуляциям с лицом MARS достигает 93,99% AUROC на GenVideo и 75,50% на DF26, демонстрируя переход к сгенерированным видео без обучающих данных сгенерированного видео. MARS также предоставляет подписанные патчи и кадры, достоверность которых мы оцениваем посредством контролируемого пространственного и временного удаления со случайным контролем. MARS общедоступен для исследования: Страница проекта: https://vectorinstitute.github.io/mars/ Github: https://github.com/VectorInstitute/mars
## В чем суть открытия Себе, что вы рассматриваете произведение искусства, отступив назад, чтобы рассмотреть всю сцену, и при этом используете увеличительное стекло, чтобы уловить тонкие вибрации штрихов с течением времени. Смешение обеих точек зрения выявляет подделки, которые не замечает любой метод в отдельности. ## Как это устроено: принцип работы MARS соединяет два пути поверх застывшей визуальной базовой модели. Остаточный путь применяет фильтры разности гауссиан без параметров к пространственным фрагментам и временным интервалам для отслеживания высокочастотных расхождений через временной преобразователь, в то время как семантический путь настраивает только параметры нормализации слоя в выборочных кадрах. Адаптивная стробирующая сеть динамически взвешивает оба сигнала для классификации клипа. ## Что это меняет на практике Предоставляет унифицированный, эффективный в вычислительном отношении конвейер обнаружения для платформ хостинга контента, социальных сетей и групп криминалистики, позволяющий распознавать как целевые глубокие фейковые изменения лица, так и полностью синтетическое генеративное видео без поддержки отдельных специализированных архитектур. ## Границы метода и риски Точность обнаружения заметно ухудшается при сильном аддитивном гауссовском шуме, сильном размытии и уменьшении масштаба с низким разрешением; фильтры полагаются на фиксированные гауссовы октавные полосы, а не на изученные адаптивные вейвлеты, и система обрабатывает только визуальные данные без аудиоверификации. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** AUROC (91.43% avg), EER (13.26% avg), AP (95.15% avg) - **Размер выборки / валидация:** N = 7 benchmarks: 22,912+ evaluation videos across facial manipulation and AI-generated video - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)