「グラウンドトゥルースより優れた」という主張は、目をむくか再生ボタンを押すかのどちらかだ。RefineGANはそれを、ピッチと強度の応答が非常に正確な波形を再構成するニューラルボコーダで実証する。リスナーが合成出力を元の録音より好む場合もあり、これはGANボコーダの領域では初めてのことだ。秘訣は、粗いテンプレート信号から始まり、マルチスケール・スペクトルおよび敵対的損失の下で反復的に鋭くするピッチ誘導型の改善アーキテクチャである。

印象的なMOS数字を超えて、RefineGANは再トレーニングなしでシンガー、スピーカー、そして未見の言語全体で汎化する。これはTTSまたは音声変換を大規模に展開する場合に重要である。このトークでは、テンプレートベースのジェネレータ、ピッチコンディショニングがなぜ忠実度ゲインを解き放つのか、そしてモデルがHiFi-GANとその子孫の中でどこに適合するかを説き明かす。メル・スペクトログラムをオーディオに戻すものを構築しているなら、TTS、歌声合成、音声クローニング、ここで得られた設計アイデアは借りる価値がある。