Tacotron 이전에, VALL-E 이전에, 신경 코덱이 오디오를 토큰으로 변환하기 이전에, DeepMind의 WaveNet은 신경망이 원본 오디오 파형을 샘플 단위로 생성할 수 있음을 보여준 논문이었고 자연스러움 측면에서 모든 매개변수식 및 연결식 TTS 시스템을 능가했습니다. 이제 GPT 모양의 안경을 끼고 이를 바라봅시다. 그 유사성은 놀라울 정도입니다: 완전히 확률론적인 자동회귀 모델이 모든 이전 샘플에 대한 조건을 지정합니다 — LLMs가 일반적인 용어가 되기 5년 전의 오디오를 위한 언어 모델입니다.

이 리뷰는 16 kHz에서 작동하게 한 아키텍처를 설명합니다: 수용 영역을 지수적으로 확장하기 위한 확장된 인과 컨볼루션, 게이트 활성화, 잔차 및 스킵 연결. 또한 WaveNet이 TTS 이상으로 시연한 것을 다룹니다 — 음성을 교체하기 위한 화자 조건화, 부산물로서의 음악 생성, 그리고 판별 모델로서의 경쟁력 있는 음소 인식. 현대 음성 생성 AI가 실제로 어디서 시작되었고, 자동회귀-토큰-오버-오디오 패러다임이 최신 TTS 시스템에서 계속 돌아오는 이유를 알고 싶다면, 이 회고는 좋은 기초 지식이 될 것입니다.