Почему диалоговый ИИ слеп к экстренным вызовам: как первые фразы собеседника заманивают нейросеть в ловушку
Люди все чаще сообщают о проблемах психического здоровья потребительским чат-ботам с искусственным интеллектом. В таких беседах клинически значимая информация редко поступает сразу. Вместо этого он разворачивается в течение нескольких ходов, часто в ответ на вопросы, которые задает чат-бот. Таким образом, распознавание риска зависит от того, как чат-бот интегрирует недавно раскрытую информацию (вывод) и от вопросов, которые он задает на каждом этапе, чтобы получить эту информацию (поиск контекста). Здесь мы оценили эффективность сортировки диалогов 13 передовых чат-ботов с искусственным интеллектом, которым было поручено участвовать в десятиходовых беседах с симулированными пользователями. Имитированные пользователи были привязаны к одному из 112 структурированных файлов случаев психического здоровья, каждому из которых был присвоен подтвержденный врачом уровень срочности, от плановой помощи до неотложной помощи. Чат-ботам не удалось распознать одну из пяти чрезвычайных ситуаций в области психического здоровья (20.3%), что почти в четыре раза превышает показатель неудач, когда все соответствующие клинические подробности были представлены в одном сообщении (5.6%). Этот пробел не объяснялся отсутствием информации: к последнему повороту решающие факты почти всегда были раскрыты, и простое повторное представление тех же самых фактов в виде одного сообщения сводило аварийную сортировку до 12.1%. Вместо этого проблема заключалась в том, как разворачивался разговор, — феномен, который мы называем зависимостью от пути. Ранние процедуры сортировки все чаще закреплялись за более поздними, так что пропущенные на раннем этапе чрезвычайные ситуации редко восстанавливались по мере накопления доказательств. Поиск контекста сузился до небольшого количества стереотипных траекторий допроса, при этом чат-боты проявляли больше настойчивости, чем врачи-люди, получавшие те же стенограммы. Поскольку решение чат-бота определяло его следующий вопрос, эти два предубеждения были правдоподобно связаны между собой на разных ходах. Эта динамика невидима при одноэтапных тестах, но измерима при многоходовой оценке и указывает на конкретные меры по смягчению последствий для более безопасной диалоговой сортировки в ИИ для здоровья потребителей.
## В чем суть открытия Если ИИ-помощник правильно обнаруживает кризисную ситуацию по одной-единственной заметке, почему естественный разговор приводит к тому, что он пропускает одну из пяти? ## Как это устроено: принцип работы Передовые LLM страдают от зависимости от пути диалога, вызванной двумя связанными режимами сбоя: привязкой вывода и коллапсом поиска контекста. По мере развития многоходового диалога модели постепенно взвешивают свои неявно реконструированные предыдущие суждения над недавно раскрытыми пользовательскими фактами, упорно придерживаясь при этом стереотипных сценариев допроса. ## Что это меняет на практике Выявляет критические уязвимости безопасности при развертывании искусственного интеллекта для здоровья потребителей, подталкивая нормативные стандарты к динамическим многоэтапным агентным оценкам и обеспечивая смягчение последствий во время выполнения, таких как контрфактические подсказки и независимая проверка модели, в течение 1–3 лет. ## Границы метода и риски Оценки основывались на симулированных пользователях LLM (Claude Opus 4.6), а не на реальных пациентах, тестировались необработанные конечные точки API с настраиваемыми подсказками, а не коммерческие продукты с защитными оболочками, и были сосредоточены исключительно на сортировке по психическому здоровью. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)