Анатомия фантомных кликов: почему методы расшифровки нейросетей бессильны перед сбоями цифровых агентов
Механистическая интерпретация (MI) добилась значительного прогресса в объяснении внутренних вычислений моделей большого языка (LLM); однако эти достижения еще не продемонстрировали сопоставимый успех в объяснении процессов принятия решений агентами, основанными на LLM. В данной статье рассматриваются проблемы, с которыми сталкиваются инструменты МИ при их применении к реальным агентным сбоям. Мы сосредоточимся на одной из таких ошибок: веб-агенты галлюцинируют действия, которых нет на веб-сайте. Мы применяем серию механистического анализа к Qwen2.5-7B-Instruct, когда он взаимодействует с действующими веб-сайтами. Мы обнаружили, что линейный зонд, обученный на последнем жетоне подсказки, может предсказывать галлюцинации до начала генерации (0,80 AUC), а управление направлением зонда корректирует 85% галлюцинаций, но нарушает 7% действительных действий. Однако эти результаты лишь частично объясняют, почему агент галлюцинирует. Направление зондирования чувствительно к форматированию подсказок и теряет большую часть своего управляющего эффекта после незначительного изменения способа представления действий. Кроме того, идентификация схемы может быть затруднена, поскольку вычисления распределены по множеству компонентов и позиций, а информация, на которую полагается агент, варьируется в зависимости от примера. Мы обсуждаем, как эти наблюдения бросают вызов предположениям, лежащим в основе стандартных методов МИ для обнаружения цепей и идентификации функций, и намечаем будущие направления, чтобы сделать эти методы более подходящими для объяснения сбоев в агентах на основе LLM.
## В чем суть открытия Если мы можем предсказать фатальную галлюцинацию агента ИИ до того, как он введет хоть один токен, почему все известные инструменты, объясняющие ошибку, полностью терпят неудачу? ## Как это устроено: принцип работы Линейные датчики остаточных активаций обнаруживают галлюцинации элементов веб-агента на границе подсказки с AUC 0,80 до начала генерации токена. В то время как векторное управление на слое 17 корректирует до 85% этих галлюцинаций, целевые компоненты вмешательства в головы внимания и сети прямой связи терпят неудачу, поскольку принятие решений является диффузным и нестационарным на этапах динамической среды. ## Что это меняет на практике Демонстрирует, что межсетевые экраны безопасности во время выполнения могут упреждающе перехватывать и управлять действиями автономных агентов перед их выполнением, одновременно подчеркивая острую инженерную необходимость в разработке механистической интерпретируемости на уровне траектории и разреженных автокодировщиков для конкретных агентов. ## Границы метода и риски Векторы вмешательства неустойчивы к сдвигам синтаксического форматирования (теряют ~27 процентных пунктов при переключении JSON на списки уценок), контрфактическое исправление срывается из-за быстрого расхождения траектории (DOM Jaccard падает до 0,52 за один шаг), а предварительно обученные текстовые автокодировщики не могут идентифицировать концепции агентного планирования. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** ROC-AUC, коэффициент фиксации (%), коэффициент разрыва (%), дельта P причинного восстановления, сходство DOM Жаккара - **Размер выборки / валидация:** N = 300 web navigation episodes, 2,071 discrete actions (32.6% hallucinated)