Слепая тревога аудита: почему стандартные тесты пропускают сбои больших моделей прогнозирования
Базовые модели временных рядов с нулевым выстрелом (TSFM) стали привлекательной альтернативой моделям, ориентированным на конкретные задачи, поскольку они решают различные последующие задачи, включая обнаружение и прогнозирование аномалий, без обучения для каждой серии. Однако данные временных рядов претерпевают сдвиги в распределении, и несходство между двумя режимами обычно оценивается с помощью статистических показателей, таких как Вассерштейн-1, где более высокий балл считается более серьезным сдвигом. В систематических экспериментах с использованием трех установленных показателей серьезности при девяти сменах режимов из трех стандартных наборов данных о дорожном движении мы показываем, что эти меры не позволяют надежно прогнозировать ухудшение нормализованных по экземпляру TSFM. Режимы, оцененные как наиболее суровые, не являются режимами, которые больше всего ухудшают модели, а деградация достигает 29% в режиме с наименьшим баллом. В большинстве случаев аудит не показывает положительной связи между измеренной серьезностью и ухудшением модели. Мы предоставляем анализ стресс-тестирования на основе эквивалентности, который объясняет, почему показания серьезности могут быть отделены от деградации модели.
## В чем суть открытия Десятилетиями промышленный мониторинг машинного обучения опирался на фундаментальную аксиому: чем сильнее входящий поток данных отклоняется от обучающей выборки, тем опаснее ситуация для математической модели. Классическая метрика расстояния Васерштейна первого порядка и критерий Колмогорова — Смирнова служили непоколебимыми индикаторами надвигающейся катастрофы. Если датчики фиксировали резкий дрейф распределения, дежурные контуры били тревогу, сигнализируя о деградации предсказаний и требуя экстренного дообучения. С появлением универсальных нейросетей нулевого выстрела, способных прогнозировать временные ряды без предварительной подгонки, индустрия перенесла привычный инструментарий контроля на новые архитектуры без малейшей проверки. Исследователи из Университета Джорджии провели строгий стресс-тест этой парадигмы и выявили сокрушительный парадокс: общепринятые меры строгости сдвига совершенно не коррелируют с реальным падением точности замороженных базовых моделей. Более того, взаимосвязь оказалась парадоксально отрицательной. Режимы, которые статистические тесты клеймили как экстремально разрушительные, на деле проходили для нейросетей совершенно гладко. Напротив, сценарии с наименьшими показателями статистического расхождения приводили к глубокому коллапсу предсказательной силы, превращая доверие к внешним датчикам дрейфа в критическую уязвимость. ## Как это устроено: принцип работы В основе обнаруженного рассогласования лежит фундаментальное математическое свойство современных архитектур прогнозирования — аффинная эквивариантность. Передовые модели временных рядов стандартизируют каждое скользящее окно контекста в реальном времени, вычитая его локальное среднее значение и деля на стандартное отклонение. Нейросеть генерирует прогноз исключительно в безразмерных нормализованных координатах, после чего возвращает предсказанные точки на исходную шкалу обратным масштабированием. Классические метрики сходства оперируют сырыми распределениями наблюдаемых величин. Когда в системе меняется базовый уровень сигнала — например, общий трафик падает в ночные часы вдвое, — расстояние Васерштейна взлетает до пиковых значений. Однако механизм обратимой нормализации внутри модели полностью обнуляет этот сдвиг масштаба и уровня еще до передачи тензора в вычислительные блоки. В результате контрольный метр измеряет параметры, которые алгоритм попросту стирает. Когда же меняется не уровень, а внутренняя динамика процесса, традиционная статисти