多年来,语音生成在规模和通用性上都落后于文本和图像生成——每项任务都有自己的定制模型。Meta AI的VoiceBox打破了这种模式。这是一个在超过50,000小时的未经过滤的语音上训练的非自回归流匹配模型,用于做好一件事:在给定周围上下文和文本的情况下进行音频填充。这个单一目标解锁了零样本TTS、跨语言合成、噪声去除、内容编辑和风格转移,都来自同一个检查点。

该评论介绍了为什么流匹配(以及其下面的神经ODE机制)非常适合语音——连续、非自回归,并且在可比质量下比扩散快得多。它还把标题数字放在背景中:VoiceBox在可理解性(1.9% vs 5.9% WER)和说话人相似性上都击败了VALL-E,同时运行速度快20倍。如果你正在追踪VALL-E和Whisper之后语音基础模型的发展方向,或者你想真正理解流匹配在做什么,而不仅仅是阅读这个流行词,这个深入研究值得一听。