Почему объединение медицинских баз данных ослепляет искусственный интеллект и как визуальная память решает проблему
Системы компьютерной диагностики (CAD) на основе DeepLearning (DL) показали большие перспективы в поддержке врачей, но их производительность во многом зависит от наличия больших, хорошо аннотированных наборов данных. При обнаружении медицинских поражений нехватка всеобъемлющих стандартизированных аннотаций и неоднородность существующих наборов данных ограничивают разработку надежных базовых моделей. В этой работе мы представляем новый подход к построению многодоменной базовой модели для обнаружения поражений путем интеграции различных наборов данных медицинских изображений, аннотированных как для анатомических структур, так и для аномалий. Сначала мы предлагаем стратегию обучения студентов и преподавателей, позволяющую эффективно комбинировать наборы данных с гетерогенными пространствами меток, уменьшать катастрофическое забывание и улучшать обучение функциям. Кроме того, основываясь на ранее предложенной нами платформе EM-DETR на основе примеров, мы адаптируем ее для совместного обучения на нескольких наборах данных, специфичных для конкретной предметной области, что обеспечивает детальное обнаружение на основе примеров в разных модальностях. Наша модель достигает самых современных результатов (SOTA): показатели AUC на уровне изображения превышают предыдущие результаты SOTA на балл 1% по четырем ключевым результатам CXR. Мы достигли лидирующего показателя mAP50 в рентгенографии и маммографии, превзойдя EM-DETR, обученный на одном наборе данных, на 2-3% балла. Этот подход открывает путь к масштабируемым базовым моделям медицинской визуализации, которые используют разнородные данные, сохраняя при этом надежную и обобщаемую производительность.
## В чем суть открытия Себе, что вы изучаете шахматы по сводам правил с противоречивыми терминами; вы путаетесь. Вместо того, чтобы читать слова, вы изучаете фотоальбом мастер-ходов, чтобы мгновенно распознать закономерность на любой доске. ## Как это устроено: принцип работы Платформа извлекает локализованные фрагменты функций из медицинских рентгенограмм через магистраль Swin Transformer и модулирует их с помощью обучаемых пространственных координат. Эти функции преобразуются в визуальные прототипы для конкретного класса и сохраняются в банке динамической памяти. Во время обнаружения сохраненные визуальные образцы чередуются с текстовыми токенами и выравниваются с помощью вспомогательных потерь контрастности и соответствия характеристик, чтобы направлять региональное декодирование без конфликта меток. ## Что это меняет на практике Позволяет больничным сетям развертывать унифицированные базовые модели CAD, которые позволяют проверять как рентгенограммы грудной клетки, так и маммограммы, без использования отдельных разрозненных архитектур для каждой анатомической области. ## Границы метода и риски Демонстрирует застойный прогресс в отношении ателектазов из-за сильного визуального совпадения с консолидацией, требует тщательного хранения нормальных фоновых хранилищ для отрицательного анализа и остается непроверенным при объемном 3D-сканировании. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** mAP50, image-level AUC, FROC sensitivity at 0.5 FP - **Размер выборки / валидация:** N = 69,953 radiographic images (31,953 private CXRs, 18,000 VinDR-CXR, 20,000 VinDR-Mammo exams/views)