Whisper는 즉시 인상적이지만, 실제로 프로덕션에 배포한 사람이라면 누구나 고통을 알고 있습니다: 고유명사, 제품 이름, 의료 용어, 법률 용어, 그리고 도메인 어휘의 전체 긴 꼬리를 잘못 처리합니다. 이것은 OpenAI의 Whisper를 진정한 자체 ASR 서비스로 전환하는 시리즈의 제6부이며, 전체를 처음부터 다시 훈련할 필요 없이 모델이 명명된 엔티티 및 도메인별 용어를 안정적으로 인식하도록 만드는 방법을 정확하게 다룹니다.

이 에피소드는 custom vocabularies로 인식을 편향시키는 실용적인 기법, entity lists를 decoding pass에 통합하기, 그리고 generic foundation 모델과 실제로 도메인의 jargon을 이해하는 시스템 사이의 accuracy gap을 좁히는 방법을 보여줍니다. 시리즈의 이전 부분인 개요, ROI 분석, long-audio 및 streaming handling, postprocessing, external language modeling, 및 timestamp accuracy를 다루는 것에 기반하므로, 완전히 프로덕션 준비 완료된 파이프라인에 깔끔하게 맞습니다. cloud ASR API를 고수할지 아니면 Whisper 위에 자신의 것을 구축할지 평가하고 있다면, 이것이 vocabulary 질문에 답하는 부분입니다.