From OpenAI's Whisper Model to Your Own In-House ASR Service: Overview (Part 1)

Tutorials

从OpenAI的Whisper模型到自研ASR服务:概述(第1部分)

当OpenAI开源Whisper时,它悄悄地重置了自研ASR服务外观的基准。

当OpenAI开源Whisper时,它悄悄地重置了自研ASR服务外观的基准。在您自己的领域微调强大的多语言基础模型不再是遥不可及的梦想——如果您知道要拉哪些杠杆,这是一个周末项目。本系列的第一部分阐述了从Whisper检查点到针对您的语言、口音和词汇调整的生产ASR端点的完整路径。

该概述将问题分为三个方面。计算:OpenAI和Microsoft的自动微调服务、租赁GPU与运行自己的集群的比较。数据:大规模弱标记的领域音频与较小池的高质量标记生产样本配对,而不是经典的全清洁工作室录音方法。算法和部署:PEFT配方和现有服务堆栈已经足够好,您不应该从头开始编写自己的。系列的其余部分深入探讨每一片段,但如果您首先想要心智模型,这个概述是正确的入口点。