Нейропротезы речи избавляются от суперкомпьютеров: декодирование мозговых импульсов перенесли в обычный смартфон
Недавние достижения в области речевых нейропротезов открыли новые возможности общения для людей, потерявших способность говорить из-за неврологического заболевания или травмы. Эти системы могут декодировать нейронную активность во время попытки произнесения речи в текст, полагаясь на априорные особенности языка для достижения высокой точности декодирования. В настоящее время такая производительность достигается за счет использования стека языкового моделирования с интенсивными вычислениями, что представляет собой серьезное узкое место для реального использования. Кроме того, современные языковые модели приводят к очень переменным и разрушительным задержкам вывода, ограничивая пропускную способность коммуникации и не позволяя пользователям надежно участвовать в естественном разговоре. Мы представляем FETTUCCINE, комплексную систему преобразования мозга в текст, которая использует скорость и портативность моделей автоматического распознавания речи (ASR) для решения вышеупомянутых практических задач, обеспечивая при этом приемлемую (<10%) частоту ошибок в словах (WER), эффективную адаптацию к нейронным нестационарностям и надежную работу на мобильных устройствах. При оценке с использованием общедоступных данных пользователя интракортикального речевого нейропротеза FETTUCCINE превосходит предыдущие сквозные методы, достигая всего лишь 4.39% WER. В частности, наши модели успешно работают на коммерческих мобильных устройствах с пропускной способностью до 370x в режиме реального времени, обеспечивая первую демонстрацию декодирования «мозг-текст» на мобильном устройстве. Мы также показываем, что наши модели можно успешно настроить, чтобы продлить полезную производительность на будущее. Помимо производительности, наш подход позволяет локализовать нейронные функции, наиболее важные для декодирования, с помощью карт значимости на основе градиента, которые, как мы показываем, соответствуют хорошо известным физиологическим априорным данным в различных семействах моделей ASR. В совокупности наши результаты показывают, что FETTUCCINE преодолевает основные инфраструктурные и вычислительные барьеры, создавая новый класс портативной коммуникации между мозгом и текстом.
## В чем суть открытия Зачем системам преобразования мозга в текст понадобилось 300 гигабайт серверной оперативной памяти, когда стандартные аудиоречевые модели могли декодировать сигналы моторной коры на телефоне за миллисекунды? ## Как это устроено: принцип работы FETTUCCINE заменяет аудиоинтерфейс магистралей автоматического распознавания речи с открытым исходным кодом легким нейронным адаптером, который отображает 512 потоков нейронных функций в акустическое пространство встраивания. Двухэтапная оптимизация сначала прогревает адаптер, затем добавляет низкоранговую адаптацию (LoRA), ориентированную на кодировщик, оставляя остальную часть магистрали замороженной. Новые дополнения на уровне слов, откалиброванные с помощью динамического программирования отслеживания нейронных огибающих, позволяют модели реалистично изменять темп речи и амплитуду. ## Что это меняет на практике Отвязывание парализовало людей от громоздких серверных стоек и постоянных подключений к Интернету, обеспечив полностью конфиденциальное общение на устройстве с малой задержкой в повседневной жизни. ## Границы метода и риски Современные модели используют акаузальное двунаправленное внимание, требующее завершения полного предложения перед декодированием, не достигают WER sub-2% ансамблей тяжелых серверов и требуют краткой калибровки для отслеживания хронического многомесячного дрейфа электродов. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Эмпирическое исследование - **Бенчмарки и прирост:** Частота ошибок в словах (WER %), задержка вывода (мс), пропускная способность (обратный коэффициент реального времени, RTFx), пиковая унифицированная архитектура памяти/ОЗУ (МБ) - **Размер выборки / валидация:** N = 2 clinical participants (T15: 10,948 sentences across 45 sessions over 20 months; T12: ~10,000 sentences across 25 sessions over 4 months) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)