BERTはNLPではほぼ紹介の必要がありませんが、スピーチエンジニアの目を通して読むと、標準的な「マスク言語モデリングがすべてを変えた」という要約とは異なるレッスンが明らかになります。このレビューは「BERT：言語理解のための深い双方向Transformersの事前トレーニング」を再訪し、マスクトークン目的、次文予測、およびファインチューニングレシピがASR再スコアリング、スポーク言語理解、またはスピーチ言語事前トレーニングに取り組む人にとって何を意味するかを尋ねます。

アーキテクチャ、2つの事前トレーニング目的、およびGLUE番号を一夜にして上げたファインチューニング結果をウォークスルーすることを期待してください。wav2vec 2.0、HuBERT、およびaudio-BERTバリアントのようなモデルに何が引き継がれるかに焦点を当てたコメンテーション付きです。スピーチエンコーダーの事前トレーニング方法を決定したり、BERTスタイルのLM再スコアラーをASRパイプラインに追加したりする場合、このパースペクティブはBERTのどの設計選択が本当に転送可能かを確認し、どれがテキストの特性かを識別するのに役立ちます。スピーチ事前トレーニングがあなたのデスクに置かれている場合は見る価値があります。