Слепой допрос черного ящика: как независимый искусственный интеллект находит скрытые ошибки в медицинских алгоритмах
Большие языковые модели (LLM) используются для объяснения моделей клинического прогнозирования, поскольку они могут сказать, что вычисляет модель, найти ее недостатки и даже раскрыть в ней новые знания. Мы протестировали три обещания, ответы на которые можно было проверить. На основе Международного исследования инсульта мы обучили четыре вида моделей (логистическую регрессию, объяснимую бустер-машину, деревья с градиентным усилением, нейронную сеть) для двух результатов на пациентах, рандомизированных ранее, внедрили по одному недостатку в каждую из 24 копий (недопрогнозированная подгруппа, обратный фактор риска или неправдоподобный шаг) и смешали их с 8 чистыми моделями. GPT-6 Astra трижды проверяла каждую модель вслепую с помощью инструмента, который возвращал только прогнозы модели; правила судейства были зафиксированы перед любым заездом и применялись программой. Его суррогатные модели с медианой из 128 терминов воспроизводили логарифмические шансы проверяемых моделей со средним значением $R^2$ 0,976 (0,959 для аддитивного суррогата из 42 терминов, подобранного аналитиком). Установленный дефект был обнаружен в 69 из 72 запусков (96%; 95% CI от 80% до 99%); сценарий, написанный для этой цели, нашел все 24. Он также сообщил о многих других проблемах: 60% из 1089 проверяемых отчетов не прошел заранее заданную проверку на соответствие среднему поведению модели; после этого большинство из них были реальными, но небольшими шагами, и 15% проверяемых отчетов не был найден в модели. Из 601 неожиданной взаимосвязи, полученной из чистых моделей, 11% сохранялся у пациентов, рандомизированных позже (случайные пары 6%; более короткий список наиболее сильных кандидатов по регрессионному сканированию, 28%); после проверки данных обучения 33% против 30%. Имея только доступ к запросам, LLM может точно описать модель «черного ящика» и найти почти все обнаруженные недостатки, как это сделал и специально написанный сценарий; его отчеты о проблемах должны быть проверены на модели, а его открытия — на данных.
## В чем суть открытия Десятилетиями внедрение искусственного интеллекта в клиническую практику упиралось в фундаментальный парадокс доверия. Самые мощные прогностические модели по своей природе остаются закрытыми «черными ящиками»: коммерческие разработчики охраняют архитектуру и веса нейросетей коммерческой тайной, а стандартные методы апостериорной интерпретации нередко создают опасную иллюзию прозрачности. Врач или государственный регулятор видит только конечный результат расчета риска, не имея возможности узнать, не кроется ли внутри алгоритма скрытая систематическая ошибка — например, внезапное занижение угрозы для пожилых пациентов или абсурдная инверсия фактора риска. Исследователи из Тяньцзиньского медицинского университета предложили элегантный выход из тупика: превратить передовую языковую модель в беспристрастного внешнего ревизора, способного протестировать закрытую систему исключительно через интерфейс внешних запросов. ## Как это устроено: принцип работы Вместо попыток разобрать программный код или проникнуть во внутренние матрицы весов, аудитор ведет себя как дотошный клиницист на консилиуме. Используя изолированную вычислительную среду, ревизор генерирует серии синтетических профилей пациентов, целенаправленно варьируя клинические параметры — возраст, артериальное давление, неврологические дефициты — и фиксируя динамику прогнозов аудируемой модели. Подобно гидролокатору, картирующему рельеф морского дна по отраженным акустическим волнам, языковая модель считывает микроколебания функции риска и синтезирует прозрачную математическую модель-суррогат из линейных членов, пороговых функций и парных взаимодействий. Затем аудитор анализирует получившуюся аналитическую карту в поисках неестественных математических ступеней, противоречащих физиологии инверсий и слепых зон для конкретных подгрупп. ## Результаты и доказательства Для чистоты эксперимента авторы развернули ослепленное контролируемое испытание на базе Международного исследования инсульта (19 435 пациентов). Обучив 32 прогностические модели четырех разных классов (логистическая регрессия, аддитивные бустинговые машины, градиентный бустинг и нейросети), ученые намеренно внедрили в 24 из них скрытые дефекты: необъяснимый скачок риска, занижение вероятности исхода для специфической группы или инверсию клинического маркера. Языковая модель GPT-6 Astra выявила заложенные дефекты в 69 из 72 независимых сессий (96%; доверительный интервал от 80% до 99%), причем в 68 случаях опасный изъян ср