Гибридный ИИ в медицине: авторегрессионная диффузия сократила ошибки УЗИ-диагностики на 38%
Цель: разработать унифицированную модель визуального языка для количественных ультразвуковых измерений с подсказками, которая устраняет несоответствие между целями непрерывного измерения и числовым прогнозированием на основе дискретных токенов. Методы: В этой статье представлена HAD-VLM, гибридная авторегрессионно-диффузионная структура, которая сочетает в себе авторегрессионную генерацию текста с непрерывным прогнозированием измерений в рамках общей магистрали. Визуальная быстрая настройка адаптирует видеокодер к ультразвуковым изображениям. Процесс диффузии прогнозирует пятикомпонентное представление, включающее координаты конечной точки каверномера и длину измерения. Для уточнения оценок измерений представлена стратегия постобработки, сочетающая предложенный механизм согласованности длины координат с ансамблевым прогнозированием. Мы оцениваем четыре задачи эхокардиографических измерений на EchoNet-LVH с дополнительными оценками ответов на медицинские вопросы и рентгеновскими измерениями позвоночника. Результаты: HAD-VLM достигает средних абсолютных ошибок 1,36, 2,77, 3,05 и 1,16 мм для IVSd, LVIDd, LVID и LVPWd соответственно, уменьшая ошибки на 21,4-37,6% по сравнению с базовой линией авторегрессии на основе Vicuna. Он также превосходит точно настроенный Qwen3-VL и прямую регрессию MLP по всем четырем задачам. Качество ответов на медицинские вопросы сохраняется в оцениваемом наборе данных. При рентгеновских измерениях позвоночника HAD-VLM снижает среднюю абсолютную ошибку с 11,4 до 6,7 пикселей. Вывод: интеграция авторегрессионной генерации языка с непрерывным прогнозированием на основе диффузии улучшает количественное измерение медицинских изображений, сохраняя при этом гибкость задач, обусловленных подсказками. Значение: HAD-VLM обеспечивает унифицированный подход к сочетанию языкового взаимодействия с анатомически обоснованным числовым прогнозированием для количественного анализа медицинских изображений.
## В чем суть открытия Почему модели на языке видения не справляются с непрерывными медицинскими измерениями и как гибридная авторегрессионная диффузия устраняет потерю дискретных токенов? ## Как это устроено: принцип работы Методы: В этой статье представлена HAD-VLM, гибридная авторегрессионно-диффузионная структура, которая сочетает в себе авторегрессионную генерацию текста с непрерывным прогнозированием измерений в рамках общей магистрали. Визуальная быстрая настройка адаптирует видеокодер к ультразвуковым изображениям. ## Что это меняет на практике Автоматизирует кардиоэхокардиографические и радиологические измерения, обеспечивая точность, соответствующую экспертам-кардиологам, и одновременно сокращая ошибки до 37.6% при выполнении задач клинических измерений. ## Границы метода и риски В настоящее время ограничено линейными двумерными измерениями расстояний, а не объемной или площадной геометрией, и оценивается на однокадровых ультразвуковых изображениях, а не на динамических видео. ## Результаты и доказательства - **Комплексный скор значимости:** 9.6 / 10.0 - **Уровень доказательности:** Теоретическое обоснование