Парадокс ДНК-моделей: почему отказ от легких геномных последовательностей ускоряет обучение
Сокращение данных может существенно снизить стоимость обучения за счет удаления примеров, которые вносят небольшой дополнительный обучающий сигнал, но это не изучалось для предварительного обучения языковой модели ДНК. Мы представляем Sequence Pruning (SP), динамическую структуру обрезки, которая удаляет геномные последовательности, когда их становится легче предсказать с помощью модели. SP использует точность предварительной подготовки для каждой последовательности, вычисляемую непосредственно на основе прямого прохода модели, не требуя отдельной модели оценки или дополнительного прохода по корпусу. Мы оцениваем SP в пяти условиях предварительного обучения, охватывающих два корпуса, три семейства моделей и цели MLM и CLM, с последующей оценкой по пяти геномным критериям. SP сокращает обработку данных перед обучением на величину до 96%, в значительной степени сохраняя при этом производительность последующих операций. При умеренной экономии сокращение повышает производительность до 1,2 пункта MCC по сравнению с предварительным обучением с использованием полных данных; при максимальной экономии при предварительном обучении используется только 4% базовых часов графического процессора с небольшой потерей производительности. SP также превосходит методы динамического сокращения InfoBatch и BPAS в большинстве сравнений. Помимо точности, наша структура поддерживает альтернативные критерии, такие как недоумение и EL2N, хотя точность обеспечивает максимальную производительность в дальнейшем при соответствующей экономии. Эти результаты показывают, что геномная предварительная подготовка не требует многократной обработки всех доступных последовательностей и что динамическая обрезка на уровне последовательностей может существенно улучшить получаемые данные и эффективность вычислений. Код доступен по адресу https://github.com/FaiasPromit/pruning-dna-sequence.
## В чем суть открытия Запоминание карточек: как только вы каждый раз легко запоминаете простое слово, вы перестаете повторять его и сосредотачиваетесь только на сложных словах, осваивая словарный запас за небольшую часть учебного времени. ## Как это устроено: принцип работы Функция Sequence Pruning отслеживает точность предварительной подготовки для каждой последовательности непосредственно на основе стандартного прямого прохода без использования вспомогательных сетей оценки. На каждой границе эпохи любая геномная последовательность с точностью прогнозирования между настраиваемым нижним порогом и 100% навсегда удаляется из активного корпуса. По мере обучения модели вновь освоенные последовательности пересекают порог, постоянно сокращая объем набора данных, сохраняя при этом неизученные закономерности. ## Что это меняет на практике Сокращает затраты на вычисления перед обучением геномного ИИ на величину 96% и время обучения на настенных часах на величину 25x без снижения точности в дальнейшем. Позволяет академическим лабораториям и группам больничных специалистов по геномике обучать специальные базовые модели на эталонных геномах, используя скромные аппаратные бюджеты, а не многомиллионные суперкомпьютеры. ## Границы метода и риски Требуются многоэтапные режимы обучения, поскольку решения по сокращению принимаются на границах эпох; несовместим со строгой однопроходной предварительной тренировкой без структурных модификаций корпуса. Случайный джиттер маскировки при моделировании замаскированного языка вызывает временные колебания точности вблизи пороговых границ. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** MCC, Spearman correlation, DSI (Dataset Sparsity Index), GPU hours - **Размер выборки / валидация:** N = 32.4M sequences (MSG), 2.75B bases / 2.7M sequences (HRG), evaluated on 5 downstream genomic benchmarks spanning 50+ tasks - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)