VALL-E는 TTS가 신호 회귀처럼 보이기를 멈추고 언어 모델링처럼 보이기 시작한 순간이며, 이 빠른 설명은 당신을 신속하게 이해하도록 도와줍니다. Microsoft는 기성품 코덱으로 생성된 개별 오디오 토큰에서 신경 코덱 언어 모델을 훈련하고, 훈련 데이터를 60,000시간의 영어 음성으로 확장했으며, 텍스트 음성 변환을 조건부 다음 토큰 예측으로 재구성했습니다. 그 결과는 3초 음향 프롬프트에서 처음 보는 스피커를 최고 성능의 자연성과 스피커 유사성으로 클론하는 모델입니다.

더 깊은 이야기는 오디오 도메인에서 문맥 내 학습의 출현입니다. VALL-E는 스피커의 감정과 프롬프트의 음향 환경을 보존하는데, 이는 더 이전의 연결형 및 신경 TTS 시스템이 이러한 품질로 일치시킬 수 없는 행동입니다. 음성 클로닝, 더빙, 또는 개인화된 어시스턴트를 제공하는 모든 사람을 위해, 이것은 지도를 다시 그린 논문이며, codec-LM TTS의 물결을 촉발했습니다. 3분이 있고 전체 논문 없이 핵심 직관을 원한다면, 재생하세요.