Walter White, Jesse Pinkman, 그리고 레이블이 없는 오디오 배치가 공통점이 뭘까요? wav2vec 2.0이 96.3% 순도에서 음성 표현을 어떻게 만드는지에 대한 놀랍도록 좋은 비유입니다. 이 설명은 Breaking Bad의 주인공들을 Meta AI의 획기적인 자기-지도 모델의 핵심 재료인 양자화, 문맥화된 Transformer, 대조 손실, 그리고 드롭아웃의 대역으로 사용하고, 거의 성적이 없이 원시 파형에서 학습하는 방법을 보여줍니다.

유머 아래에 진지한 프레임워크가 있습니다. wav2vec 2.0은 잠재 음성 단위를 마스크하고, 네트워크가 방해물로부터 참된 것들을 식별하도록 강제하고, 단 10분의 레이블이 지정된 데이터로 최신의 ASR로 미세 조정할 수 있는 임베딩을 생성합니다. 그 단일 결과는 현장이 저-리소스 언어, 도메인 적응, 그리고 사전 훈련 예산에 대해 생각하는 방식을 재형성했으며 - HuBERT, XLS-R, 및 WavLM과 같은 전체 세대의 다운스트림 모델의 기초입니다. 인코더 내부에서 미세 조정하기 전에 무슨 일이 일어나는지 실제로 이해하고 싶다면, 재생을 누르십시오 — 비유는 수학을 기억에 남기게 합니다.