ai_frontier · 2026-11-03
Автоматизированная «красная команда» выявляет скрытые предубеждения
Интеграция больших языковых моделей в медицинские приложения (Med LLM) подняла критические вопросы о справедливости и потенциальном предвзятом поведении, которые требуют тщательной оценки. Из-за высокой сложности существующие работы в этой области в основном опираются на наборы данных, созданные вручную для оценки систематической ошибки. В этом исследовании мы представляем новый метод увеличения таких оценок предвзятости путем создания случаев оценки на основе строгих медицинских данных. Мы используем графы знаний и медицинские онтологии в сочетании с базовым LLM в генеративном конвейере для создания сценариев оценки «красной командой». Такие сценарии обычно используются для оценки медицинских LLM и часто включают в себя случаи ответов на медицинские вопросы, в которых изменения в ответе LLM на один и тот же вопрос с перевернутым только чувствительным атрибутом (например, пациент со страховкой или без нее) могут указывать на несправедливое поведение. Мы специально нацелены на проблемы характеристики предвзятости в конкретной области (например, в профилактике или диагностике), галлюцинации и зависимости между показателями здоровья и чувствительными признаками (например, гендерно-зависимыми заболеваниями). Посредством обширных экспериментов мы показываем, что тестовые примеры, созданные с помощью предложенного нами метода, надежны и могут эффективно выявлять закономерности предвзятости в медицинских программах LLM. Кроме того, мы публикуем набор данных для оценки предвзятости, предоставляющий комплексную платформу для тестирования и повышения справедливости медицинских LLM, доступную по адресу https://github.com/healthylaife/autofair.
## В чем суть открытия
Исследователи создали автоматизированную систему, которая использует графики медицинских знаний для создания реалистичных тестовых примеров для пациентов, выявляя скрытые демографические и социально-экономические предубеждения в медицинских моделях ИИ.
## Как это устроено: принцип работы
Система сочетает медицинские онтологии и графы знаний с генеративной языковой моделью для построения научно обоснованных медицинских вопросов. Затем он выполняет «красную команду», меняя чувствительные атрибуты пациента, такие как страховой статус или пол, сохраняя при этом клинические факты постоянными. Измеряя изменения в реакции модели, он автоматически обнаруживает несправедливое поведение в контексте диагностики и профилактической помощи.
## Что это меняет на практике
Позволяет поставщикам медицинских услуг и разработчикам искусственного интеллекта систематически проверять медицинские LLM на предмет предвзятости перед клиническим развертыванием, предотвращая дискриминационные рекомендации по лечению.
## Границы метода и риски
Полагается на охват и точность основных графиков медицинских знаний и требует тщательного обращения с действительными медицинскими зависимостями, когда демографические факторы законно изменяют клинические рекомендации.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.5 / 10.0
- **Уровень доказательности:** программный бенчмарк и верификация
- **Бенчмарки и прирост:** Response variance under sensitive attribute flipping across medical QA domains
- **Размер выборки / валидация:** N = Automated generative suite scaling medical red-teaming across ontologies
- **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН