Как скрытые шпаргалки в научных базах годами завышали успехи биомедицинского интеллекта
Сводка генов может содержать те самые аннотации, которые используются для оценки встраивания ее текста. Alliance of Genome Resources преобразует аннотации Gene Ontology (GO) в предложения, которые NCBI Gene отображает, а GenePT включает в свои входные данные. Эти сводки охватывают 6172 из 19 256 генов, кодирующих человеческие белки (32.1%), включая 58% генов, на которые есть от одной до десяти связанных публикаций. Мы встроили один и тот же корпус со сгенерированными сводками и без них и переоборудовали зонд для прогнозирования функций в каждой версии. Среди генов, опубликованных от одной до десяти, удаление уменьшало заявленную площадь на один ген под кривой рабочей характеристики приемника (AUROC) на 0,078 с линейным зондом (интервал начальной загрузки 95% 0,072–0,084) и на 0,033 с многослойным перцептроном. В этих оценках используется исторический бомбардир GO, который неправильно учитывал ничьи. Исходные прогнозы недоступны для пересчета. Простой кодер TF-IDF также извлек пользу из сводок, как и модели, оцениваемые только на экспериментальных аннотациях. Замена сгенерированных сводок описаниями функций UniProt восстановила большую часть потерянной производительности, несмотря на небольшое дословное дублирование. UniProt также курирует многие оценочные ярлыки. У мышей и дрожжей мы обнаружили аналогичную зависимость от источника описания. Мы представляем GeneProv для сравнения кодировщиков совпадающего текста и для изучения того, как рейтинги представления меняются при восстановлении GO, конечных точках, не являющихся GO, и взаимной важности.
## В чем суть открытия Себе, что вы тестируете студента по клеточной биологии, но каждый экзаменационный вопрос включает в себя сводный абзац, который случайно содержит точные определения из оцениваемого учебника — они не разгадывают загадку, а просто копируют лист ответов. ## Как это устроено: принцип работы NCBI Gene заполняет описания малоизученных генов, используя предложения, сгенерированные по шаблонам, созданные Альянсом геномных ресурсов непосредственно из терминов Gene Ontology (GO). Когда встроенные модели обрабатывают эти сводки, простые последующие классификаторы легко извлекают встроенный целевой словарь, а не изучают биологические взаимосвязи. Этот замкнутый цикл оценки приводит к серьезной утечке данных, которая искусственно завышает критерии прогнозирования функций генов. ## Что это меняет на практике Обнажает системную цикличность в тестах базовых моделей, таких как GenePT и scELMo, подталкивая вычислительную биологию к платформам со строгим отслеживанием происхождения, таким как GeneProv, чтобы предотвратить нерациональное распределение капитала при открытии лекарств под руководством ИИ. ## Границы метода и риски Историческая ошибка ранжирования в коде эталонного теста обрабатывала связанные оценки как заказанные, оставляя точные числовые поправки временными до тех пор, пока не будут пересчитаны необработанные массивы, в то время как курируемые описания UniProt разделяют институциональную курацию с метками GO, несмотря на небольшое дословное перекрытие. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Per-gene and per-term GO AUROC, GeneProv Index (chance-corrected skill score), DepMap co-essentiality partner retrieval AUROC and Recall@10 - **Размер выборки / валидация:** N = 19,256 human protein-coding genes (HGNC), 16,421 mouse genes, 5,929 yeast ORFs, 4,949 GO terms - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)