T5는 단일 인코더-디코더 사전 훈련 방식 아래에서 텍스트-텍스트 작업을 통합했으며 NLP의 핵심 도구가 되었습니다. SpeechT5는 명백한 후속 질문을 제시합니다: 동일한 기법으로 음성 작업을 통합할 수 있을까요? Microsoft Research의 이 연구로부터의 답변은 대체로 긍정적입니다. 공유된 인코더-디코더는 6개의 모달리티별 사전 네트워크와 사후 네트워크로 감싸져 있으므로, 동일한 핵심 네트워크는 음성이나 텍스트를 입력받아 음성이나 텍스트를 출력할 수 있습니다 — 하나의 사전 훈련된 체크포인트에서 ASR, TTS, 음성 변환, 음성 번역, 음성 향상 및 화자 인식을 가능하게 합니다.

이 리뷰는 음성과 텍스트를 공유 잠재 공간으로 정렬하는 교차 모달 벡터 양자화 기법을 설명하고, 왜 이러한 정렬이 하나의 모델이 이러한 다양한 작업들에 걸쳐 일반화될 수 있게 해주는지를 다룹니다. 또한 SpeechT5가 각 다운스트림 벤치마크에서 어떻게 성능을 내는지, 그리고 통합 접근법이 여전히 단일 작업 전문 모델보다 뒤지는 부분이 어디인지도 다룹니다. 다중 작업 음성 기초 모델에 대해 생각하고 있거나, 나중에 Voicebox와 SeamlessM4T에 나타난 설계 패턴의 초기의 명확한 예시를 보고 싶다면, 이 리뷰는 견고한 기초 지식이 될 것입니다.