Обучение роботов: контрфактическая дистилляция защитила ИИ от копирования ошибок наставника
Дистилляция политики в режиме онлайн (OPD) часто превосходит офлайн-методы, такие как контролируемая точная настройка (SFT), благодаря обучению на траекториях, выбранных непосредственно у учащегося. Однако стандартный OPD учит ученика следовать за учителем на каждом этапе траектории, предполагая, что руководство учителя всегда полезно. Вместо этого мы различаем то, что предпочитает учитель, и то, что на самом деле помогает нынешнему ученику добиться успеха. Мы вводим метод дистилляции политики на основе преимуществ (AOPD), который взвешивает действия учителя по его контрфактическому преимуществу перед учеником. Действия учителя, которые улучшают ожидаемый результат ученика, усиливаются, а те, которые этого не делают, уменьшаются. Для непосредственного расчета этих преимуществ необходимо пробовать альтернативные действия учителя на каждом этапе и запускать новые варианты каждого из них. Вместо этого мы показываем, что цель AOPD можно оценить, используя только стандартные наборы учащихся и их окончательные вознаграждения. Наш оценщик использует веса важности учителя в действиях учащихся, чтобы обеспечить беспристрастное руководство, взвешенное по преимуществам, без каких-либо дополнительных развертываний или оценок вознаграждения. Это позволяет AOPD сосредоточить внимание учителя на действиях, которые помогают текущему ученику, сохраняя при этом эффективность развертывания стандартного OPD. Эксперименты по математике, программированию и Medqa показывают преимущества по сравнению с базовыми уровнями дистилляции и RL как в условиях внешнего преподавателя, так и в условиях самоочистки.
## В чем суть открытия Почему имитация моделей учителей часто вредит студенческим программам LLM и как изменение веса токенов на основе преимуществ исправляет это? ## Как это устроено: принцип работы Однако стандартный OPD учит ученика следовать за учителем на каждом этапе траектории, предполагая, что руководство учителя всегда полезно. Вместо этого мы различаем то, что предпочитает учитель, и то, что на самом деле помогает нынешнему ученику добиться успеха. ## Что это меняет на практике Значительно повышает производительность рассуждений в небольших и экономичных LLM в областях математики, программирования и медицины. Обеспечивает эффективную самоочистку и постобучение в сложных областях без необходимости использования массивных моделей вознаграждения или дорогостоящих многоходовых развертываний. ## Границы метода и риски Требуется ограничение веса выборки по важности (c=4), чтобы предотвратить нестабильность дисперсии из-за редких выбранных токенов. Кроме того, отключение сокращения top-p/top-k во время развертывания необходимо для обеспечения полной поддержки весов важности. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)