ウォルター・ホワイト、ジェシー・ピンクマン、そしてラベルなしオーディオのバッチに共通することは何か？Wav2vec 2.0がスピーチ表現を96.3%の純度で「調理」する方法に対する驚くほど良い比喩です。このウォークスルーは、Breaking Badのキャストを、Meta AIのランドマーク自己教師あり学習モデルの中核要素（量子化、コンテキスト化されたTransformers、対照的損失、ドロップアウト）の代役として使用し、生のウェーブフォームからほぼトランスクリプトなしで学習する方法を示します。

ユーモアの下には真摯なフレームワークがあります。Wav2vec 2.0は潜在的なスピーチユニットをマスクし、ネットワークに気を散らすものから真のユニットを識別させ、わずか10分のラベル付きデータでビルドインすることができるスピーチ認識へのファインチューニング埋め込みを生成します。その単一の結果は、フィールドが低リソース言語、ドメイン適応、および事前トレーニング予算についてどのように考えるかを変え、HuBERT、XLS-R、およびWavLMのような下流モデルの全世代の基盤となります。ファインチューニングする前にエンコーダー内で何が起こるかを実際に理解することを意図していた場合は、再生をヒットしてください - 類推は数学を成功させます。