현대 제로샷 음성 클로닝 물결을 시작한 Google 논문은 아름답게 깔끔한 아키텍처를 가지고 있습니다: verification에 학습된 speaker encoder, 텍스트와 speaker 임베딩을 mel spectrogram으로 변환하는 Tacotron 2 synthesizer, 그리고 파형을 렌더링하는 WaveNet vocoder. 새로운 음성의 몇 초를 제공하면 그 음성으로 새로운 텍스트를 말할 것이며, 그 speaker로 학습한 적이 없습니다.

Jia et al.의 이 숏 리뷰는 필수 사항들을 다룹니다: 세 가지 모듈 파이프라인이 어떻게 함께 작동하는지, 판별적으로 학습된 speaker encoder가 왜 그렇게 잘 전이되는지, 그리고 무작위로 샘플링된 임베딩도 그럴듯한 합성 음성을 생성한다는 인상적인 발견. 당신의 제품 로드맵이 개인화된 TTS, 음성 클로닝, 또는 speaker 적응에 포함된다면, 이것은 전체 논문으로의 빠른 진입로로서 5분의 가치가 있습니다.