AudioLM 是一篇论文，使许多人相信音频生成应该更像语言建模而不是信号处理。Google 的框架将原始波形映射到离散令牌，然后在其上训练语言模型，将音频延续作为下一令牌预测。巧妙之处在于混合令牌化：来自掩码音频语言模型的语义令牌处理长期结构，而来自神经编解码器的声学令牌实现高保真合成。它们共同解决了困扰早期方法的权衡。

在没有转录或标签的原始波形上训练，AudioLM 生成语音延续，在语法和语义上保持一致，同时为未见过的声音保留说话者身份和韵律。它也超越语音推广，在没有任何符号音乐表示的情况下生成看似合理的钢琴延续。这是 VALL-E、MusicLM 和一波基于令牌的 TTS 系统的直接智力祖先，所以理解两阶段令牌化设计在阅读其后出现的任何内容时都会获得回报。如果你正在构建或评估基于令牌的生成式音频，这篇评论是对塑造该领域的想法的值得一读的入门书。