音声事前学習のためのコントラスティブ学習とマスク言語モデリングのどちらかを選ぶ必要があるでしょうか？両方を同じネットワークに接続できるなら、その必要はありません。Google による W2v-BERT は、wav2vec スタイルのコントラスティブ モジュールを BERT スタイルの MLM モジュールの上にスタックして、エンドツーエンドで訓練します。そのため、コントラスティブ損失によって学習された離散コードブックが MLM ヘッドの予測対象となります。オフライン クラスタリングは不要であり、2 段階のパイプラインも必要ありません。

この単一ループ設計は、単なるエンジニアリングの成功以上の価値があることがわかりました。Librispeech test-other では、W2v-BERT は公開時に新しい最低 WER を達成し、Google の大規模多言語音声検索データにうまく一般化され、同等のパラメーター数で wav2vec 2.0 と HuBERT を上回ります。このトークでは、2 つの損失項を分解し、共同訓練がコードブック利用を安定させる理由、およびモデルが下流のファイン チューニング用に余裕を残している部分について説明しています。本番 ASR 構築の基盤として使う自己教師あり バックボーンを評価する場合、この統合レシピは真剣に検討する価値があります。