Зонды масштабирования во время тестирования терпят неудачу, выбирая повторяющиеся неверные ответы
Масштабирование времени тестирования стало ключевой стратегией вывода для моделей рассуждений, когда модель генерирует большое количество возможных решений в надежде найти хотя бы одно правильное решение. Выполнение всех возможных решений до завершения может потребовать больших вычислительных ресурсов, поэтому недавняя работа сокращает пул кандидатов после генерации только короткого префикса, передавая дальнейшие вычисления только выжившим кандидатам. Существующие стратегии сокращения в целом делятся на две категории: методы, основанные на качестве, присваивают балл каждому частичному решению и отбрасывают те, которые, по прогнозам, в конечном итоге приведут к неправильному окончательному решению, в то время как методы, основанные на разнообразии, выбирают частичные решения, которые следуют разным траекториям рассуждения и, следовательно, могут охватывать разные окончательные решения. Противоречие между этими двумя целями является примером противопоставления разведки и эксплуатации, однако предварительная работа по сокращению ресурсов практически не выявила этот компромисс напрямую, не говоря уже о его оптимизации. В этой статье мы представляем процедуру сокращения, которая напрямую устраняет этот компромисс путем оптимизации pass@$k$ для выбранного пула решений. В частности, он выбирает пул так, чтобы максимизировать вероятность того, что хотя бы одно из его частичных решений, если продолжить его до завершения, даст правильный ответ. Поскольку эта цель одновременно вознаграждает высококачественные частичные решения и наказывает за избыточность среди них, качество и разнообразие естественным образом уравновешиваются самим критерием, а не посредством отдельных специальных вариантов дизайна. На восьми моделях рассуждений с открытым весом наш метод превосходит существующие стратегии сокращения, основанные на качестве и разнообразии. Выгоды особенно заметны, когда процедура сокращения сохраняет умеренное количество частичных решений для продолжения генерации, что подчеркивает ценность прямого баланса качества и разнообразия во время сокращения.
## В чем суть открытия Почему зонды масштабирования во время тестирования терпят неудачу, выбирая повторяющиеся неверные ответы, и как субмодульная оптимизация pass@k может? ## Как это устроено: принцип работы Выполнение всех возможных решений до завершения может потребовать больших вычислительных ресурсов, поэтому недавняя работа сокращает пул кандидатов после генерации только короткого префикса, передавая дальнейшие вычисления только выжившим кандидатам. Существующие стратегии сокращения в целом делятся на две категории: методы, основанные на качестве, присваивают балл каждому частичному решению и отбрасывают те, которые, по прогнозам, в конечном итоге приведут к неправильному окончательному решению, в то время как методы, основанные на разнообразии, выбирают частичные решения, которые следуют разным траекториям рассуждения и, следовательно, могут охватывать разные окончательные решения. ## Что это меняет на практике Значительно сокращает количество вычислений во время тестирования для многоэтапных рассуждений LLM в области математики и кодирования за счет сокращения до 87.5% бесперспективных следов мысли на 4000 токенах без ущерба для точности. ## Границы метода и риски Опирается на экспоненциальные скользящие средние со скрытым состоянием, которые могут потерять ранний контекст, требует обучения показателям качества в пулах кандидатов и демонстрирует убывающую отдачу по сравнению со случайным сокращением при очень больших k. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)