Изображений мозга показывает, что выравнивание ИИ происходит в микроскопическом репрезентативном подпространстве
Большие языковые модели (LLM) все чаще используются в качестве вычислительных моделей обработки человеческого языка, однако остается неясным, какие компоненты их представлений обеспечивают согласованность с нейронной активностью. Здесь мы используем регрессию с пониженным рангом гребня, чтобы идентифицировать предсказательное подпространство мозга представлений LLM: репрезентативные направления, которые поддерживают линейное предсказание нейронных реакций. На основе трех натуралистических наборов данных по прослушиванию языка, охватывающих внутричерепную электрофизиологию и фМРТ, а также шести модельных условий, охватывающих авторегрессионные, двунаправленные маскированные и случайно инициализированные языковые модели, мы обнаружили, что полную производительность линейного кодирования можно восстановить, используя только 1-3% исходной размерности встраивания. Эти низкоразмерные подпространства распространяются на удерживающихся участников и, в меньшей степени, на наборы данных, предполагая, что нейронная предсказательность сконцентрирована в компактном и частично общем репрезентативном пространстве. Затем мы сравниваем эти прогнозируемые мозгом направления с главными осями вариаций вложений. Анализ главных компонентов требует значительно большего количества измерений для восстановления нейронного прогнозирования, демонстрируя, что направления, наиболее полезные для прогнозирования нейронной активности, отличаются от тех, которые фиксируют наибольшую общую дисперсию внутри самих представлений LLM. Наконец, характеристика изученных подпространств позволяет нам выявить интерпретируемые особенности, которые чрезмерно представлены в нейронной активности за пределами представлений LLM. В совокупности эти результаты показывают, что согласование LLM-мозга поддерживается небольшим структурированным подмножеством представлений модели и обеспечивает основу для лучшего понимания того, почему именно эти представления совпадают. Код можно найти по адресу: https://github.com/thefinnlab/low-rank-alignment.
## В чем суть открытия Исследователи обнаружили, что модели ИИ и человеческий мозг совпадают во время прослушивания речи через крошечное подпространство 1-3% внутренних функций модели, которые полностью отличаются от основных осей отклонения модели. ## Как это устроено: принцип работы Используя регрессию пониженного ранга гребня, ученые выделили подразмерности вложений LLM, которые линейно предсказывают активность мозга, измеренную с помощью фМРТ и внутричерепной электрофизиологии. Это подпространство прогнозирования мозга компактно, распространяется на слушателей-людей и фундаментально отличается от основных компонентов, фиксирующих общую дисперсию модели. ## Что это меняет на практике Обеспечивает упрощенные в вычислительном отношении интерфейсы «мозг-компьютер» и методы целевого выравнивания для моделей нейро-ИИ, что позволяет исследователям декодировать речь и оптимизировать языковые модели с использованием компактных нейронных подпространств в течение 1–3 лет. ## Границы метода и риски Исследование опирается на модели линейного кодирования в натуралистических задачах на прослушивание, оставляя неисследованной динамику нелинейного выравнивания мозга, в то время как обобщение между наборами данных остается умеренным. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** Linear encoding correlation performance recovery (1-3% dimensionality), cross-participant generalization, cross-dataset transfer - **Размер выборки / валидация:** N = 3 naturalistic listening datasets (iEEG and fMRI across human participants); 6 LLM model conditions - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)