biotech_bioengineering · 2026-11-02
Мультимодальный ИИ объединяет изображения патологии с пространственными профилями генов, чтобы раскрыть скрытую биологию опухоли
Пространственная транскриптомика отображает экспрессию генов в срезах ткани и при интеграции с целыми изображениями слайдов совместно фиксирует как морфологическую архитектуру, так и молекулярную активность, чтобы обеспечить богатое мультимодальное представление о биологии ткани. Подходы ML, сочетающие пространственную транскриптомику и WSI, обычно изучают сопоставление морфологических особенностей с молекулярными профилями посредством контрастного выравнивания или контролируемой точной настройки базовых моделей патологии. В обоих случаях транскриптомика служит обучающим сигналом, а не истинной модальностью ввода, в результате чего вывод в основном управляется изображением. Мы предлагаем архитектуру преобразователя видения раннего слияния, в которой токены транскриптов создаются с произвольным пространственным разрешением, объединяются с токенами патчей изображений и совместно обрабатываются через общий стек преобразователей для глубокого кросс-модального взаимодействия. Начиная с предварительно обученной базовой модели патологии только зрения, мы обучаем HistoTx, продолжая предварительное обучение с самоконтролем на парных изображениях и данных пространственной транскриптомики, и демонстрируем, что: 1) при выводе только с изображением производительность остается на уровне базового уровня в большинстве задач, одновременно улучшаясь в задачах, которые по своей сути выигрывают от молекулярных знаний, таких как прогнозирование экспрессии генов; 2) когда обе модальности доступны для вывода, совместное предоставление входных данных изображения и транскрипта превосходит любую модальность по отдельности.
## В чем суть открытия
Что, если обучение патологоанатомического ИИ на профилях молекулярных генов улучшит его предсказательную силу, но ухудшит его способность визуально определять подтипы рака молочной железы?
## Как это устроено: принцип работы
HistoTx преобразует пространственную транскриптомику в генные токены с гибким разрешением и объединяет их с токенами патчей изображения ткани внутри общего преобразователя зрения. Во время предварительной подготовки DINOv2 с самоконтролем глобальные представления получают как изображения, так и генные токены, в то время как локальные представления получают только изображения, перерабатывая молекулярные знания непосредственно в визуальное представление.
## Что это меняет на практике
Позволяет патологоанатомическим лабораториям делать выводы о пространственной экспрессии генов непосредственно на стандартных недорогих предметных стеклах H&E, одновременно повышая точность мультимодальной диагностики всякий раз, когда доступно пространственное транскриптомное профилирование.
## Границы метода и риски
Мультимодальное выравнивание смещает визуальное представление функций от тонких морфологических деталей, что приводит к снижению производительности при мелкозернистых тестах на подтипы рака молочной железы.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.6 / 10.0
- **Уровень доказательности:** Теоретическое обоснование
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН