Ученые расшифровали зрительные образы из медленного вспыхивания нейронов мозга
Реконструкция естественного зрительного опыта на основе активности кортикальной популяции является центральной задачей нейронного декодирования, особенно для визуализации кальция, где сигналы зашумлены, временно фильтруются, а парные данные нейронного видео ограничены. Здесь мы представляем Ca2REAL (активность кальция для реконструкции событий, внешнего вида и макета), структуру нейронно-видео, которая обуславливает предварительно обученную модель видеодиффузии посредством отдельного макета и семантических элементов управления, полученных на основе активности кальция. Используя измеренные ответы 7863 нейронов V1 у одной мыши, Ca2REAL реконструировал удерживаемые фрагменты естественных видеороликов с точностью идентификации всех пар стимулов 81.4%, с самым явным преимуществом по сравнению с детерминированными базовыми уровнями в перцептивных и семантических измерениях. Далее мы оценили структуру в виртуальной популяции из 116 705 нейронов, ориентированной на стимулы, собранной на основе ответов, предсказанных моделью кодирования, в 11 независимо записанных наборах данных. Анализ возмущений и абляции показал, что реконструкция зависит от распределенной, специфичной для стимулов структуры популяции, при этом расположение и семантические пути предоставляют дополнительную пространственную и идентификационную информацию. Временной анализ также показал улучшение сохранения семантической динамики в реконструированных клипах. Эти результаты показывают, что крупномасштабная активность кортикальной популяции ограничивает пространственную, семантическую и временную структуру естественного зрительного опыта, обеспечивая генеративную основу для высокоточной нейронной реконструкции динамических визуальных сцен.
## В чем суть открытия Читать снимки мозга, содержащие кальций, — все равно, что смотреть видео с низким разрешением сквозь туман; вместо того, чтобы угадывать каждый пиксель, ИИ использует узор тумана в качестве грубого наброска и позволяет видеогенератору заполнить реалистичные детали. ## Как это устроено: принцип работы Временной интерфейс использует адаптивные вейвлеты для разложения сигналов кальция на многомасштабную динамику, питая два независимых пути нейронного контроля. Путь компоновки предсказывает пространственно-временной каркас низкого разрешения для пространственного контроля, в то время как семантический путь выводит упорядоченные во времени визуальные токены. Эти нейронные ограничения обусловливают предварительно обученную модель диффузии видео посредством адаптации LoRA и потери контрастных пар. ## Что это меняет на практике Открывает путь к оптическим интерфейсам «мозг-компьютер» следующего поколения, позволяющим исследователям визуализировать непрерывный сенсорный опыт на основе оптических нейронных записей в режиме реального времени без необходимости массового сбора парных наборов данных. ## Границы метода и риски В значительной степени полагается на генеративные априоры, что означает, что тонкие визуальные текстуры могут быть синтезированы с помощью видеомодели, а не непосредственно измерены по нейронным спайкам. Масштабирование для одновременной записи живых млекопитающих в нескольких областях остается недоказанным. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** All-pairs ID accuracy: 81.4% (measured), 92.8% (virtual population); LPIPS: 0.444; SigLIP2 similarity: 0.953 - **Размер выборки / валидация:** N = 7,863 measured V1 neurons (178 test clips); 116,705 virtual neurons across 11 mouse datasets (946 test clips) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)