OpenAI가 Whisper를 오픈소스로 공개했을 때, 자체 ASR 서비스가 어떻게 보이는지에 대한 기준선을 조용히 재설정했습니다. 강력한 다국어 기초 모델을 자신의 도메인에서 미세 조정하는 것은 더 이상 불가능한 일이 아닙니다 — 어떤 레버를 당길지 알면 주말 프로젝트입니다. 이 시리즈의 첫 번째 편은 Whisper 체크포인트에서 자신의 언어, 억양, 어휘에 맞춘 프로덕션 ASR 엔드포인트로의 전체 경로를 제시합니다.

개요는 문제를 세 가지 범주로 나눕니다. 컴퓨팅: OpenAI 및 Microsoft의 자동 미세 조정 서비스와 GPU 대여 대 자신의 클러스터 실행. 데이터: 기존의 모든 클린 스튜디오 녹음 접근 방식보다는 대규모 약하게 레이블이 지정된 도메인 오디오와 더 작은 잘 레이블이 지정된 프로덕션 샘플 풀의 결합. 알고리즘 및 배포: PEFT 레시피 및 기존 제공 스택은 이미 충분히 좋아서 처음부터 작성할 필요가 없습니다. 시리즈의 나머지 부분은 각 부분을 자세히 다루지만, 먼저 정신적 모델을 원한다면 이 개요가 올바른 입구점입니다.