3秒間のリファレンスクリップからのゼロショットTTSは実現不可能に思えましたが、VALL-Eがリリースされるまで、この詳細なレビューはMicrosoftがどのようにそれを実現したかを正確に解説しています。このモデルは既成のニューラルオーディオコーデックをトークナイザーとして扱い、テキストと短いスピーカープロンプトに条件付けされた音響トークンを予測する言語モデルを訓練します。連続信号回帰ではなく条件付きの次トークン予測として合成を再フレーミングすることが、文脈内スピーカー適応を可能にする概念的なターニングポイントです。

このレビューは2段階の自動回帰プラス非自動回帰デコーディングスキーム、60,000時間のLibriLight派生学習コーパス、およびVALL-Eが自然性とスピーカー類似性で従来の最先端技術を上回ることを示す評価について説明しています。また、驚くべき創発的な振る舞いもカバーしています。モデルはスピーカーの感情と記録の音響環境をプロンプトから出力に引き継ぎます。TTSエンジニア、音声クローニングスタートアップ、およびコーデック-LMアプローチを拡散またはフローマッチング代替案と比較検討している誰もが、これは参照ウォークスルーです。完全なアーキテクチャツアーの時間があるときにそれをキューに入れてください。