T5 在单一的编码器-解码器预训练框架下统一了文本到文本的任务，成为 NLP 的主力。SpeechT5 提出了一个显而易见的后续问题：相同的技巧能否统一语音任务？来自 Microsoft Research 的答案基本上是肯定的。一个共享的编码器-解码器被包装在六个模态特定的前置网络和后置网络中，因此相同的核心网络可以处理语音或文本并输出语音或文本——能够通过单一预训练检查点实现 ASR、TTS、语音转换、语音翻译、语音增强和说话人识别。

该回顾介绍了将语音和文本对齐到共享潜在空间的跨模态向量量化技巧，以及为什么该对齐是使一个模型能够跨不同任务进行泛化的原因。它还涵盖了 SpeechT5 在每个下游基准上的表现，以及统一方法与单任务专家模型之间的差距。如果您正在考虑多任务语音基础模型——或者想看一个早期、清晰的设计模式示例，该模式后来出现在 Voicebox 和 SeamlessM4T 中——这个回顾是一个坚实的基础。