Tutorials
HuBERT: 숨겨진 단위의 마스킹 예측을 통한 자체 지도 음성 표현 학습
wav2vec 2.0이 대조적 자체 지도로 게임을 바꿨지만, HuBERT는 더 날카로운 질문을 제시했습니다: 대조적 트릭을 완전히 건너뛰고 음성에서 BERT 스타일의 마스킹 예측을 수행하면 어떨까요?
Tutorials
W2v-BERT: 대조 학습과 마스킹된 언어 모델링을 결합한 자체 지도
음성 사전 학습을 위해 대조 학습과 마스킹된 언어 모델링 중에 선택해야 할 때 둘을 같은 네트워크에 연결할 수 있다면 왜 선택해야 할까요?
Tutorials
다국어 ASR을 위한 공동 비지도학습 및 지도학습 훈련
사전 훈련 후 미세 조정이 다국어 ASR의 기본 레시피가 되었지만, 많은 잠재력을 남기고 있습니다: 두 단계가 손실을 공유하지 않으며, 지도 단계가 유용한 자체 지도 구조를 조용히 제거할 수 있습니다