Умная оболочка сокращает время повторной аннотации генома, сохраняя при этом точность статистических результатов
Биологи аннотируют геномы, просматривая белки в справочных базах данных, таких как Pfam, которые публикуют новые версии каждые несколько недель или месяцев. Каждый выпуск требует полного повторного поиска, хотя большая часть базы данных остается неизменной: 86.6% записей Pfam сопоставляется между выпусками 38.1 и 38.2 после исключения метаданных сборки и комментариев. Повторное использование старых результатов затруднено, поскольку программы поиска представляют собой фиксированные двоичные файлы, печатная статистика которых зависит от размера всей базы данных. Мы представляем TARE (Tool Annotation Replay with Evidence), оболочку, которая повторно запускает немодифицированную программу только для тех записей, которые могут иметь значение, привязывая настройку размера базы данных программы к новой версии, чтобы она печатала числа, которые будут напечатаны при полном запуске. Затем TARE тестирует воспроизведение, добавляя обратно пропущенные записи, и отказывается со статусом сбоя, если какая-либо строка изменяется, выгружая полное стандартное тело, когда инструмент все еще работает. Два утверждения остаются отдельными: условная точность в соответствии с заявленным контрактом (каждое обновление проверено, но не доказано) и гарантия времени выполнения как вероятностная проверка при заявленной распространенности, а не гарантия от отправки неверных результатов. За время всех записей TARE проверяет 299 записей из всех запросов, поэтому скрытая зависимость, затрагивающая как минимум 1% из этой совокупности, поставляется с вероятностью не более 5% (действительный оракул); более редкие разломы находятся за пределами этой границы. В Pfam 38.1->38.2 TARE 3.47x выполняется быстрее, чем полный повтор в рамках этого аудита (медиана для 8 геномов после исключения 1 помеченного генома; 95% CI 3,30–3,81). Исторические сроки появления популяции-кандидата для тех же девяти геномов были 4.24x (Бернулли; 95% CI 4,17–4,68) и 3.49x (ограниченное s = 299; 95% CI 3,32–4,10). Стоимость проверки и непроверенного воспроизведения составляет 1.58x (C/B). Из 715 704 выходных линий HMMER и Infernal ни одна не отличалась от полной версии. TARE отказалась от DIAMOND, первый фильтр которой считывает соседние байты базы данных, и BLAST+, чьи незакрепленные пробные строки не соответствуют ни одному из правил столбцов TARE.
## В чем суть открытия Обновление геномных аннотаций в разных версиях баз данных обычно требует повторного поиска всего с нуля. TARE заранее фиксирует глобальные показатели базы данных, повторно выполняя поиск только по измененным записям, гарантируя при этом нулевой статистический дрейф. ## Как это устроено: принцип работы TARE действует как интеллектуальная оболочка инструментов геномного поиска «черного ящика», заранее привязывая статистические настройки размера базы данных к значению новой версии. Затем он воспроизводит поиск исключительно по новым или измененным записям и совпадениям кандидатов, прежде чем проверять согласованность результатов с помощью дополненных проверок работоспособности и случайного аудита. ## Что это меняет на практике Крупные биологические хранилища и лаборатории секвенирования могут сократить вычислительные затраты и узкие места в вычислениях более чем на 3x при обновлении справочных баз данных каждые несколько недель, обеспечивая постоянное обновление огромных геномных коллекций без изменения устаревшего аналитического программного обеспечения. ## Границы метода и риски TARE не может ускорить программные инструменты, которые демонстрируют связь в пространственном порядке (например, DIAMOND, читающий соседние байты записи) или глобальные зависимости перекрестной записи, и возвращается к полному повторному запуску, когда изменения в выпуске превышают пороги безубыточности. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 3.47x median speedup on Pfam 38.1->38.2; 0/715,704 body line differences across HMMER/Infernal; s=299 audit bound (<=5% risk for >=1% fault prevalence) - **Размер выборки / валидация:** N = 8 unflagged bacterial genomes (headline benchmark), 48 diverse genomes (validation), 715,704 compared output lines - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)