Новая архитектура рассуждений сокращает задержку поисковых запросов, сохраняя при этом высокую точность модели
Коррекция запросов — важнейшая точка входа в современные поисковые конвейеры, требующая высокой точности строго в пределах ограничений по задержке в реальном времени. Логика цепочки мыслей (CoT) повышает точность, но приводит к непомерно высокой задержке при корректировке запросов в реальном времени. Потенциальное решение — выдать ответ, прежде чем рассуждать о сокращении задержки; однако при авторегрессионном декодировании ранний ответ не зависит от последующих рассуждений, что не позволяет модели использовать свои возможности рассуждения для повышения точности. Для решения этой проблемы мы предлагаем сэндвич-рассуждение (SandwichR), новый подход, который явно согласовывает быстрый первоначальный ответ с апостериорным рассуждением, обеспечивая коррекцию запросов с малой задержкой без ущерба для точности рассуждений. SandwichR следует парадигме «Ответ-Рассуждение-Ответ», производя начальную коррекцию, явный процесс рассуждения и окончательную уточненную коррекцию. Чтобы согласовать первоначальный ответ с выводами, полученными после рассуждений, мы разрабатываем стратегию обучения с подкреплением (RL) с учетом согласованности: специальное вознаграждение за согласованность обеспечивает согласованность между первоначальными и окончательными исправлениями, в то время как выборка отклонений на основе маржи отдает приоритет пограничным образцам, где рассуждения обеспечивают наиболее эффективные корректирующие результаты. Кроме того, мы создаем высококачественный набор данных для коррекции запросов, устраняя недостаток специализированных тестов для комплексной коррекции запросов. Результаты экспериментов показывают, что SandwichR достигает точности SOTA, сравнимой со стандартным CoT, обеспечивая при этом сокращение задержки на 40-70%, устраняя компромисс между задержкой и точностью при онлайн-поиске.
## В чем суть открытия Сэндвич-рассуждение обеспечивает мгновенную корректировку поисковых запросов, генерируя быстрый первоначальный ответ, выполняя апостериорные рассуждения и обеспечивая согласованность посредством обучения с подкреплением для достижения высокой точности без чрезмерной задержки. ## Как это устроено: принцип работы Сэндвич-рассуждение использует структуру «Ответ-Рассуждение-Ответ», которая сначала выводит быструю начальную коррекцию, затем следует явный процесс рассуждения и производит окончательную уточненную коррекцию. Стратегия обучения с подкреплением, учитывающая согласованность, применяет специальное вознаграждение, чтобы согласовать ранний ответ с апостериорными выводами. Отбраковочная выборка на основе маржи дополнительно фильтрует пограничные выборки, где рассуждения дают наивысшую корректирующую ценность. ## Что это меняет на практике Обеспечивает коррекцию запросов в режиме реального времени с малой задержкой в коммерческих поисковых системах с высокой пропускной способностью, не прибегая к тяжелым вычислениям и многосекундным задержкам, необходимым для стандартных логических рассуждений. ## Границы метода и риски Первоначальный ответ вырабатывается до того, как будут сгенерированы жетоны рассуждения, поэтому согласование зависит от вознаграждений RL во время обучения; сложные многошаговые запросы все равно могут столкнуться с компромиссами, если первоначальные логиты не учитывают критические нюансы. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Latency reduction (40-70%), query correction accuracy (comparable to standard CoT SOTA) - **Размер выборки / валидация:** N = High-quality complex query correction dataset constructed for specialized benchmark evaluation