BERT는 NLP에서 거의 소개가 필요 없지만, 음성 엔지니어의 관점에서 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨다"는 요약과는 다른 교훈들을 발견합니다. 이 리뷰는 "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"을 다시 검토하고 마스크된-토큰 목표, 다음 문장 예측, 그리고 미세 조정 레시피가 ASR 리스코어링, 음성-언어 이해, 또는 음성-언어 사전 훈련에 종사하는 모든 사람에게 무엇을 의미하는지 묻습니다.

아키텍처, 두 가지 사전 훈련 목표, 그리고 GLUE 수치를 하룻밤 사이에 올린 미세 조정 결과에 대한 설명을 기대하십시오. 이는 wav2vec 2.0, HuBERT, 및 오디오-BERT 변형과 같은 모델에 무엇이 옮겨지는지에 대한 논평이 포함됩니다. 음성 인코더를 사전 훈련하는 방법을 결정하거나 ASR 파이프라인에 BERT 스타일 LM 리스코어러를 추가할 때, 이 관점은 어떤 BERT 설계 선택이 진정으로 이전 가능하고 어떤 것이 텍스트의 특성인지 파악하는 데 도움이 됩니다. 음성 사전 훈련이 당신의 책상에 있다면 시청할 가치가 있습니다.