Умные нейросети слепнут перед ботами-двойниками: почему простая школьная формула находит накрутки лучше ИИ
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка посредством обучения с обратным подкреплением), парной (Брэдли-Терри) байесовской структуры вывода вознаграждения по замороженным встраиваниям кодировщика, после байесовской парадигмы аудита для выравнивания LLM [1]: (A) апостериорное основание; (B) иерархическое расширение ARD с изученной достоверностью; и (C) смесь органического вещества и атакующего вещества, направленная по маркировке, используемая в качестве проверки накопления доказательств. Мы доказываем (предложение 1), что ни один детектор, построенный на представлении, инвариантном к некоторым преобразованиям профилей пользователей, не может противостоять атаке, неотличимой от органических профилей при такой инвариантности. Обнаружение почти идеально против атак с синтетической структурой (AUROC 0,936–1,000), но не работает при донорской мимикрии, которая клонирует набор элементов реального пользователя и объединяется в 1–3 целевых элемента: случайно на MovieLens-1M (0,48–0,51), частично на Amazon Musical Instruments и меньше всего на CiaoDVD. Мимикрия донора не является необнаружимой: необученная базовая линия, максимальное сходство Жаккара по набору необработанных элементов каждого профиля с любым другим, достигает AUROC 0,92–0,97 (средняя точность 0,50–0,57) во всех четырех конфигурациях мимикрии донора, включая ML-1M, где каждый балл, основанный на встраивании, является случайным. Сигнал находится в необработанных профилях; Представление LightGCN отбрасывает его, помещая введенные профили ближе к их истинному донору, чем это делает его сокращение MF с нулевым распространением (расстояние 1,98 против 3,09). Серьезность зависит от набора данных, кодера и метода обнаружения, при этом ни одна ось не предсказывает другие. Ограничение заключается в представлении, а не в атаке, а проверки необработанного подобия являются необходимым дополнением к любому обученному детектору.
## В чем суть открытия На протяжении десятилетия индустрия рекомендательных систем жила в убеждении, что глубокие нейросетевые эмбеддинги способны уловить любые манипуляции данными. В академических статьях детекторы накруток демонстрировали безупречные показатели надежности, приближающиеся к ста процентам. Однако индустриальная метрика площади под кривой ошибок скрывала фундаментальный изъян: никто не проверял калибровку уверенности этих алгоритмов в условиях, когда атакующий намеренно маскируется под легитимного пользователя. Возник концептуальный тупик, где триумфальные отчеты о победе над спам-ботами разошлись с реальностью скрытого манипулирования каталогами. Новое математическое исследование разрушило эту иллюзию, сформулировав строгое теоретическое положение: если пространство внутренних признаков алгоритма инвариантно к определенным изменениям пользовательских профилей, никакой детектор на основе этих признаков в принципе не способен работать лучше слепого угадывания против скоординированной атаки с аналогичной инвариантностью. ## Как это устроено: принцип работы Для аудита скрытого пространства представлений исследователи применили вероятностный аппарат вариационного обратного обучения с подкреплением на основе парных сравнений Брэдли–Терри с расширением автоматического определения релевантности признаков. Эта архитектура оценивает, как алгоритм взвешивает скрытые сигналы уверенности, разделяя органических пользователей и атакующих через смесь распределений. Парадокс обнаруживается в самой природе векторного сжатия. Сложные графовые сверточные сети сглаживают дискретную структуру взаимодействий ради обобщения вкусов аудитории. При атаке методом донорской мимикрии злоумышленник полностью копирует корзину реального человека-донора и добавляет в нее всего одну-три целевые позиции для продвижения. Графовый кодировщик схлопывает эту минимальную разницу, помещая поддельный профиль в скрытом пространстве даже ближе к донору, чем более простая факторизация матриц: евклидово расстояние составляет всего 1,98 против 3,09. Нейросеть воспринимает искусственный клон как естественное продолжение поведения органического пользователя. ## Результаты и доказательства Экспериментальная проверка проводилась на трех эталонных наборах данных: MovieLens-1M, Amazon Musical Instruments и CiaoDVD с охватом четырех конфигураций атак. Против синтетических шаблонных атак глубокие детекторы показали безупречную работу с показателем метрики от 0,936 до 1,000. Однако при с