Whisper引起了轰动，但它并没有像GPT-3改造NLP那样改造ASR，这个十分钟的评论论证原因就在论文本身。该模型在680,000小时的多语言、多任务监督数据上进行了训练，这些数据从网络上抓取，它真正提高了对口音、背景噪音和技术词汇的鲁棒性，同时作为额外功能增加了英文翻译。然而与ChatGPT对文本所做的相比，这个进步感觉是渐进式的。

视频深入探讨了原因：来自网络转录的弱监督有不同的失败模式，不同于干净标记数据的情况，ASR的上限由声学歧义设定，但下一个token预测并不这样，该模型的零样本泛化不能像LLMs中的上下文学习那样复合。对于任何决定是否微调Whisper、换用NeMo或ESPnet模型，或者等待下一代语音基础模型的人来说，这里的框架是有用的。一个快速、有观点的看法，如果你在生产中发布ASR，值得花五分钟。