Иллюзия взлома: почему стандартные тесты искажают реальную угрозу скрытых инструкций в базах знаний
Поисковая дополненная генерация (RAG) — это метод, обычно используемый для оснащения LLM нераспределенными знаниями путем сбора, индексации, извлечения и предоставления модели конкретной информации, полезной для ответов на вопросы пользователей. Знания часто собираются из общедоступных репозиториев документов, что обеспечивает шлюз для непрямого оперативного внедрения: злоумышленники могут создавать документы, специально оптимизированные для контроля сгенерированного ответа. В этой статье мы исследуем практическую эффективность методов оптимизации при перехвате выходных данных конвейеров RAG. Сначала мы рассмотрим платформы, обычно используемые для создания приложений RAG, создадим прототип архитектуры и определим критические параметры. Затем мы изучаем предыдущую работу в поисках методов выполнения непрямых подсказок. Мы использовали пять методов в двух макросемействах и оценили критерии, используемые для оценки их эффективности. Обладая этими знаниями, мы внедряем Rag-n-Roll, структуру для комплексной оценки результатов конвейеров на основе LLM, вводя новые метрики, чтобы лучше понять доброкачественную или вредоносную природу сгенерированных ответов. Наши результаты показывают, что сложившиеся практики оценки недостаточны для точной оценки атак на конвейеры на основе RAG, что приводит к переоценке их успеха. Более того, хотя атаки на конфигурацию по умолчанию могут успешно контролировать до 70% сгенерированных ответов, мы показываем, что эти характеристики сильно зависят от ранее игнорированных параметров конвейера. Наконец, мы превратили наши выводы в практические советы для разработчиков, желающих усилить свои конвейеры RAG.
## В чем суть открытия Библиотекаря-исследователя, обманутого фальшивыми заметками, засунутыми в библиотечные стопки. Rag-n-Roll проверяет, действительно ли библиотекарь распространяет дезинформацию или просто замечает мошенническую страницу на полке. ## Как это устроено: принцип работы Платформа систематически проверяет конвейеры генерации с расширенным поиском, разлагая их на этапы модульной индексации, поиска и генерации. Он использует пять непрямых методов быстрого внедрения в двух тактических семействах, чтобы оценить, как зараженные документы перемещаются по векторному хранилищу. Вместо сопоставления двоичных ключевых слов он вводит метрики контекстной оценки, которые различают действительно скомпрометированные выходные данные и безобидные ответы по умолчанию. ## Что это меняет на практике Позволяет корпоративным группам безопасности ИИ проводить стресс-тестирование систем RAG перед развертыванием в производстве, заменяя вводящие в заблуждение устаревшие проверки обоснованными метриками рисков и действенными рекомендациями по усилению защиты конвейера. ## Границы метода и риски Оценка во многом зависит от конкретных корпусов документов и моделей встраивания поиска, и ее результаты могут различаться при работе с мультимодальными конвейерами поиска или собственными ограждениями LLM. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Attack Success Rate (ASR), Output Hijacking Rate, Malicious vs Benign Classification Accuracy - **Размер выборки / валидация:** N = 5 attack techniques across 2 macro-families evaluated against prototypical RAG pipelines - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)