Конец эпохи вокодеров: нейросеть научилась синтезировать чистый человеческий голос напрямую из текста
В этой работе предлагается WaveGen, полностью основанная на диффузии структура преобразования текста в сигнал, основанная на Spectral Forcing, которая совместно изучает внутреннюю спектральную траекторию и траекторию целевой формы сигнала в рамках одной модели, обеспечивая прямую сквозную генерацию сигнала в форме сигнала. В отличие от недавних конвейеров TTS, WaveGen не полагается на отдельно обученные или внешне декодированные промежуточные представления, такие как нейронные аудиокодеки, вокодеры Mel-спектрограмм или скрытые модели на основе VAE. Кроме того, WaveGen выполняет внутреннее выравнивание текста и речи в рамках одной модели, устраняя необходимость во внешних модулях выравнивания, таких как предикторы длительности. Чтобы сохранить действительно сквозную формулировку, наша структура дополнительно избегает зависимости от представлений с самоконтролем, таких как встраивание текста на основе BERT и семантические представления на основе Wav2Vec 2.0, а также методы семантической дистилляции для оптимизации обучения. Для достижения этой цели мы тщательно разрабатываем Spectral Forcing, модельную архитектуру с распутанными диффузионными головками и цель обучения, основанную на многомасштабных спектральных потерях $v$. Далее мы проверяем масштабируемость сквозных моделей TTS, масштабируя размер модели с 0,1B до 0,6B параметров. Используя единую архитектуру, данные с открытым исходным кодом и одноэтапное обучение без внешних модулей, таких как предсказатель продолжительности или REPA, WaveGen демонстрирует полностью сквозную генерацию сигналов, достигая самой современной производительности на наборе обучающих данных Emilia. В частности, WaveGen достигает WER 1,47 и SIM 0,75 в тесте Seed-en. Исходный код и контрольные точки доступны по адресу https://github.com/sh-lee-prml/WaveGen.
## В чем суть открытия Себе, что вы лепите статую прямо из необработанного мрамора: вместо того, чтобы сначала вырезать глиняные модели, вы держите в уме внутренний каркасный эскиз, одновременно вырезая из камня реалистичную фигуру. ## Как это устроено: принцип работы WaveGen обучает общий диффузионный преобразователь непосредственно на необработанных аудиосигналах, временно субдискретизированных посредством линейного изменения формы, исключая нейронные вокодеры и кодеки. Вместо того, чтобы позволять модели бороться только с динамикой необработанных волн, внутренняя траектория спектрального воздействия обеспечивает многомасштабное управление частотой внутри распутанных диффузионных головок. Раздельное прогнозирование чистой цели в сочетании с многомасштабной потерей спектральной скорости стабилизирует градиентный поток, не требуя состязательного обучения GAN. ## Что это меняет на практике Значительно упрощает стеки синтеза речи за счет объединения моделей преобразования текста в акустику, нейронных кодеков и вокодеров в единый одноэтапный конвейер, сокращая накладные расходы на обучение, накопление ошибок и задержку вывода для создания голосовых агентов с нулевым выстрелом. ## Границы метода и риски Обучался всего 4–11 эпох из-за огромных требований к вычислительным ресурсам; модели, обученные на наборах данных MP3, демонстрируют высокочастотные потери выше 8 кГц по сравнению с несжатым звуком; отсутствует потоковая генерация без будущей дистилляции потока. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** WER 1.47, SIM 0.75 (Seed-en); CER 1.75, SIM 0.80 (Seed-zh); DNSMOS 3.72; UTMOS 3.68 - **Размер выборки / валидация:** N = 100,000 to 120,000 hours of multi-speaker speech audio (Emilia, LibriTTS) - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)