Умная память для хирургических роботов: как графическое зрение избавило ИИ от фатальных ошибок в операционной
Цель: Хирургические оперативные отчеты поддерживают процедурную документацию, хирургическую подготовку, оценку эффективности и анализ рабочего процесса. Однако извлечение значимой информации часто требует обширного ручного анализа и клинической экспертизы. Автоматизированные описания хирургических сцен могут уменьшить это бремя за счет использования повторяющихся хирургических операций и предварительных знаний. Методы: Мы предлагаем GRAC (Извлечение расширенных субтитров на основе графиков), структуру, которая представляет хирургические сцены в виде графиков, фиксирующих взаимосвязи между инструментами, действиями и анатомическими структурами. Учитывая входной граф сцены, GRAC учится извлекать соответствующие пары граф-заголовок из обучающих данных. Он сравнивает взаимодействие инструмента и ткани между извлеченными примерами и входной сценой, используя функции сравнения для определения условий представления извлеченных подписей во время генерации. Результаты: В тесте EndoVis-18 компания GRAC достигла показателя CIDEr-D 5,88 по сравнению с 4,23 для SGT и 3,36 для самого сильного базового стандартного трансформатора. Точная точность тройного набора «инструмент-действие-цель» достигла 52.6% по сравнению с 32.7% для SGT и 26.2% для самой сильной традиционной базовой линии. Эти результаты демонстрируют улучшение качества языка и фактического согласия. По TORS компания GRAC достигла показателя CIDEr-D 5,06 по сравнению с 3,80 для самого сильного базового уровня. Вывод: GRAC демонстрирует, что объединение структурированных представлений хирургических сцен с извлеченными примерами улучшает субтитры хирургических сцен и создает более контекстуально значимые описания.
## В чем суть открытия Хирурга, который просматривает визуальный атлас прошлых операций перед тем, как написать отчет: сопоставление современных хирургических инструментов с прошлыми случаями позволяет ему точно описать процедуру, не полагаясь только на память. ## Как это устроено: принцип работы GRAC создает граф хирургической сцены с учетом взаимодействия, используя слои GATv2 для фиксации взаимосвязей между инструментом и тканью. Он использует контрастивное обучение InfoNCE под контролем титров для извлечения трех наиболее релевантных прошлых пар график-заголовок из тренировочной памяти. Модуль сравнения, ориентированный на инструмент, сопоставляет запрашиваемые и полученные функции через вспомогательную головку совместимости, заставляя декодер Transformer генерировать фактически обоснованные хирургические описания. ## Что это меняет на практике Обеспечивает автоматизированное, высоконадежное создание отчетов о хирургических операциях в режиме реального времени, индексацию процедурного видео и автоматическую оценку навыков хирурга в течение следующих 1–3 лет. ## Границы метода и риски Требуются предварительно извлеченные графы сцен с аннотированными ограничивающими рамками; работает покадрово без временного контекста; борется с устранением неоднозначности действий (воспроизводя ошибочные действия 54-71% того времени); оценивалось на небольших одноцентровых тестах (392 тестовых кадра). ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** EndoVis-18: CIDEr-D 5.88 (vs 4.23 SGT), Exact Triplet Accuracy 52.6% (vs 32.7% SGT), Instrument Hallucination 3.7% (vs 4.7% SGT); TORS: CIDEr-D 5.06 (vs 3.80 Transformer) - **Размер выборки / валидация:** N = EndoVis-18 (1,516 frames across 14 robotic nephrectomy sequences: 1,124 train/dev, 392 test) and TORS (181 frames across 20 sequences: 115 train, 30 val, 36 test); 15.9M parameters - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)