RefineGAN: Universally Generating Waveform Better than Ground Truth with Highly Accurate Pitch and

Tutorials

RefineGAN: 높은 정확도의 피치와 함께 기본 진실보다 더 나은 파형을 보편적으로 생성

"기본 진실보다 나음"은 눈을 굴리거나 재생하게 만드는 종류의 주장입니다.

"기본 진실보다 나음"은 눈을 굴리거나 재생하게 만드는 종류의 주장입니다. RefineGAN은 피치와 강도 반응이 정확해서 청자들이 때때로 합성된 출력을 원본 녹음보다 선호하는 파형을 재구성하는 신경 보코더로 이를 뒷받침합니다. 이는 GAN-보코더 분야에서 처음입니다. 트릭은 거친 템플릿 신호에서 시작하여 멀티 스케일 스펙트럼 및 대항적 손실 하에서 반복적으로 개선하는 피치 안내 정제 아키텍처입니다.

인상적인 MOS 수치를 넘어, RefineGAN은 재훈련 없이 가수, 스피커 및 심지어 보이지 않은 언어까지 일반화됩니다. 이는 TTS 또는 음성 변환을 대규모로 배포하는 경우 중요합니다. 이 발표는 템플릿 기반 생성기, 피치 조건화가 충실도 이득을 잠금 해제하는 이유, 그리고 모델이 HiFi-GAN 및 그 후손과 어디에 적합한지를 분석합니다. mel-스펙트로그램을 다시 오디오로 바꾸는 무언가를 만드는 경우 - TTS, 노래 합성, 음성 복제 - 여기의 설계 아이디어는 차용할 가치가 있습니다.