Как сжатые биологические алгоритмы обходят гигантские нейросети в расшифровке эволюции белков
Модели белкового языка (PLM) являются стандартными инструментами для прогнозирования вариантов эффектов, аннотации белков и проектирования, но вычислительные ресурсы, необходимые для их обучения и обслуживания, продолжают расти. Мы представляем HyPLM-Flash, эффективный и открытый PLM, обученный Hyra 2.0, исследовательским агентом, разработанным нашей командой. HyPLM-Flash — это языковая модель с 650 миллионами параметров, обученная на 726 миллиардах токенов, что в 0,73 раза больше данных ESM-2 650M и от пятой до восьмой данных E1-600M и ESM C 600M. Он работает на механизме вывода с объединенными ядрами и умножением матриц INT8, внедряя около 130 000 остатков в секунду на одном графическом процессоре NVIDIA H20, что в 1,9–2,7 раза быстрее, чем другие кодеры класса 600M. В сопоставленной оценке с 28 общедоступными контрольными точками для 32 задач HyPLM-Flash достигает корреляции Спирмена с нулевым выстрелом ProteinGym 0,409, что статистически связано с ESM-2 650M, ESM C 600M и E1-600M, а также самым высоким показателем приспособленности организма среди однопоследовательных моделей с самоконтролем. Он обеспечивает лучшую точность контакта на большом расстоянии среди всех оцененных моделей, включая ESM-2 15B и ESM C 6B, а также меньшие потери маскированного остатка, чем ESM-2 650M, ESM C 600M и E1-600M на отложенных последовательностях и на недавно выпущенных цепях PDB. HyPLM-Flash обеспечивает высочайшую точность при незначительной стоимости обучения и вывода и устанавливает новый уровень Парето для моделей белкового языка. Мы опубликовали веса моделей и механизм вывода по адресу https://github.com/Tencent-Hunyuan/hyra-results/tree/main.
## В чем суть открытия Себе, что вы читаете всю библиотеку, изучая основную грамматику и схемы складывания, вместо того, чтобы запоминать миллиарды повторяющихся страниц. ## Как это устроено: принцип работы Модель заменяет традиционные блоки трансформаторов встраиванием поворотных позиций, нормализацией ключей запроса и сетями прямой связи SwiGLU, оптимизированными с помощью алгоритма Muon. Вторичный этап обучения включает в себя 1,6 миллиона структурных цепей со вспомогательными головками 3D-координат и прогнозирования контактов. Во время выполнения пакетная обработка токенов без заполнения и объединенные 8-битные квантованные матричные операции исключают неиспользуемую пропускную способность памяти графического процессора. ## Что это меняет на практике Обеспечивает рутинное профилирование полнопротеомных и метагеномных вариантов эффектов на доступных рабочих станциях с одним графическим процессором, радикально снижая вычислительные барьеры для инженерии терапевтических белков и эволюции, управляемой ферментами. ## Границы метода и риски Работает строго с отдельными последовательностями без кондиционирования нескольких последовательностей в режиме реального времени, демонстрирует более низкую точность складки удаленной гомологии (0,322 против 0,373 для базовых линий) и требует резервного варианта BF16 для тонкой регрессии одноточечных мутаций. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** ProteinGym Spearman rho (0.409), ProteinNet long-range contact P@L/5 (0.650), CB513 SS Q3 (0.882), H20 embedding throughput (131k residues/s), held-out UniRef NLL (1.698) - **Размер выборки / валидация:** N = 2.6 billion protein sequences (726 billion tokens), 1.6 million structural chains, evaluated across 32 tasks and 28 baseline checkpoints - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)