Медицинский ИИ копирует врачей-людей, вспоминая прошлые случаи пациентов и объясняя сложные визуальные диагнозы
В диагностике медицинских изображений достигнут значительный прогресс благодаря глубокому обучению, однако существующие методы часто полагаются на изолированные визуальные данные и не имеют возможности эффективно использовать аналогичные случаи и внешние знания. В клинической практике диагноз обычно подтверждается схожими историческими случаями и связанными с ними симптомами. Чтобы явно смоделировать этот научно-обоснованный диагностический процесс, мы предлагаем MKG-CARE, структуру, которая выполняет рассуждения с учетом случая, используя мультимодальные графы знаний для объяснимой диагностики медицинских изображений. В частности, мы строим мультимодальный граф знаний с учетом случаев как структурированную диагностическую память, в которой заболевания, изображения и симптомы иерархически организованы. Учитывая входное изображение, MKG-CARE адаптивно извлекает похожие случаи из этой памяти и извлекает соответствующие им подграфы, ориентированные на регистр. Далее мы представляем механизм распространения и внедрения знаний, в котором графическая сеть внимания, ориентированная на изображения, объединяет разнородную семантику в извлеченных подграфах случаев с последующим двунаправленным кросс-модальным вниманием для выравнивания и внедрения агрегированных знаний о случаях в визуальные представления. Чтобы уменьшить шум при извлечении, мы разрабатываем схему уточнения решений с калибровкой достоверности, которая оценивает надежность каждого извлеченного случая на основе достоверности прогноза и сходства выборки, а также повторно взвешивает его вклад в окончательный прогноз для интерпретируемой атрибуции доказательств на уровне случая. Обширные эксперименты на нескольких наборах данных медицинских изображений демонстрируют устойчивые улучшения по сравнению с сильными базовыми показателями, а абляция и качественный анализ подтверждают эффективность и интерпретируемость нашего метода. Код доступен по адресу https://github.com/lyxuan1022/MKG-CARE.
## В чем суть открытия MKG-CARE превращает медицинскую диагностику с помощью искусственного интеллекта в процесс рассуждения, подобный человеческому, запрашивая структурированную память о прошлых случаях пациентов, связывая визуальные признаки с симптомами и динамически отфильтровывая вводящие в заблуждение исторические записи. ## Как это устроено: принцип работы Структура создает иерархический мультимодальный граф знаний, связывающий заболевания, медицинские изображения и клинические симптомы в диагностическую память. При получении нового изображения ориентированная на изображение сеть внимания графов извлекает и агрегирует семантику подграфов из извлеченных исторических случаев, которые затем сопоставляются с визуальными особенностями посредством двунаправленного кросс-модального внимания. Наконец, схема уточнения с доверительной калибровкой оценивает надежность случая для фильтрации шума при поиске и взвешивания доказательств для окончательного диагноза. ## Что это меняет на практике Через 1–3 года мультимодальное рассуждение с учетом конкретного случая может предоставить врачам проверяемые диагностические прогнозы, привязанные к проверенным историческим случаям, повышая доверие и последовательность диагностики в радиологии и патологии. ## Границы метода и риски Система во многом зависит от качества и разнообразия базовой памяти случаев, в то время как построение графов и кросс-модальное внимание требуют дополнительных вычислительных затрат во время поиска в реальном времени. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Classification accuracy, diagnostic interpretability, and retrieval calibration across multiple medical imaging datasets - **Размер выборки / валидация:** N = Multiple medical imaging datasets evaluated against strong baseline models - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)