Tutorials
HuBERT: 隠れユニットのマスク予測による自己教師あり音声表現学習
wav2vec 2.0 はコントラスティブ自己教師あり学習でゲームを変えましたが、HuBERT はより鋭い質問を投げかけました。コントラスティブなトリックをスキップして、単に音声に対して BERT スタイルのマスク予測を行ったらどうでしょうか？
Tutorials
W2v-BERT: コントラスティブ学習とマスク言語モデリングを組み合わせた自己教師あり学習
音声事前学習のためのコントラスティブ学習とマスク言語モデリング、どちらか一方を選ぶ必要があるでしょうか？両方を同じネットワークに接続できるなら、その必要はありません。
Tutorials
多言語 ASR のための共同無教師学習と教師あり学習
事前学習-ファイン チューニングは多言語 ASR のデフォルト レシピになってきましたが、改善の余地があります。2 つのステージは損失を共有していないため、教師あり段階により有用な自己教師あり構造が静かに洗い流される可能性があります。
Tutorials
地理的モデルを使用したローカルPOI音声認識精度の向上
ボイスアシスタントに小さなローカルレストランへのナビゲーションを依頼すると、ASRが失敗する場所がすぐにわかります—LMトレーニングコーパスに登場しなかったロングテールPOI名。
Tutorials
UniSpeech-SAT: スピーカー認識事前学習による汎用音声表現学習
自己教師あり音声モデルは音韻内容を見事に学習する傾向があるが、スピーカーアイデンティティは後付けになる傾向がある。これはASRには問題ないが、スピーカー検証、ダイアリゼーション、音声クローニングには最悪である。
Tutorials
SNRi ターゲット学習による音声強調と認識の結合学習
音声強調とASRの結合学習は明らかに見える。デノイザーを通じて認識損失をバックプロップするだけだ。しかし実際には、積極的なノイズ除去が音響モデルが依存する機能をしばしば歪めるので、複雑である。
