Искусственный интеллект легко меняет убеждения из-за случайных мелочей: вскрыта главная уязвимость
Теория разума (ToM), способность делать выводы о психических состояниях других, имеет решающее значение для человеческого социального познания. Существующие оценки ToM в больших языковых моделях (LLM) в основном сосредоточены на статической атрибуции убеждений и рассуждениях, основанных на ложных убеждениях, оставляя недостаточно изученным критический аспект социального рассуждения: могут ли LLM решить, достаточны ли перцептивные доказательства для оправдания пересмотра убеждений другого человека? Чтобы восполнить этот пробел, мы представляем MuSeToM, проверенный человеком текстовый тест для оценки пересмотра эпистемических убеждений в рассуждениях ToM. MuSeToM содержит 2415 экземпляров, адаптированных из BigToM и OpenToM, с текстовыми подсказками, охватывающими шесть сенсорных категорий, и проверяет, могут ли модели определить, когда главный герой должен пересмотреть убеждение, и сделать вывод о полученном обновленном состоянии убеждения. Используя MuSeToM, мы систематически оцениваем современные LLM под прямыми и последовательными подсказками, выявляя выраженный диссонанс: хотя модели часто обнаруживают, что убеждение может измениться, они с трудом идентифицируют обновленное убеждение и часто переоценивают перцептивно значимые, но эпистемически недостаточные сигналы.
## В чем суть открытия Если вы увидите на соседнем столе коробку миндального молока, это не означает, что в вашем кувшине есть миндальное молоко. Однако современный ИИ видит коробку и сразу же отбрасывает то, что знал, принимая заметную деталь за убедительное доказательство. ## Как это устроено: принцип работы Модель моделирует теорию разума как пересмотр эпистемических убеждений, а не как статическую атрибуцию. В нем представлены повествовательные агенты, придерживающиеся предшествующих убеждений, наряду с мультисенсорными текстовыми сигналами, а также сложные модели, позволяющие отличить диагностические данные от заметных, но недостаточных отвлекающих факторов в чистых и шумных условиях. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** code_benchmark - **Бенчмарки и прирост:** Clean and noisy belief-change detection accuracy and Macro-F1, updated-belief identification accuracy and Macro-F1, true positive rate (TPR), hard-negative true negative rate (TNR-h), easy-negative true negative rate (TNR-e) - **Размер выборки / валидация:** N = 2,415 human-validated perceptual instances across 220 stories evaluating 18 LLMs - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода) ## Что это меняет на практике Предотвращает катастрофическую доверчивость и дрейф убеждений у встроенных роботов, автономных переговорщиков и медицинских диагностических помощников, работающих в перегруженных реальных средах. ## Границы метода и риски Сенсорное восприятие описывается как текстовые прокси, а не как непрерывные необработанные сенсорные потоки, а для оценки используются дискретные множественные варианты выбора и двоичные метки, а не полные субъективные распределения вероятностей.