How Does the All-New Dictation in iOS 16 Work? Reveal Apple's Secret Sauce by a Speech Researcher!

Tutorials

iOS 16 全新听写功能如何工作?一位语音研究员揭秘苹果的秘制配方!

苹果 iOS 16 的听写功能完全在设备本地运行,这一设计选择对延迟、隐私以及手机上可行的 ASR 架构类型产生连锁影响。

苹果 iOS 16 的听写功能完全在设备本地运行,这一设计选择对延迟、隐私以及手机上可行的 ASR 架构类型产生连锁影响。一位语音研究员分解了苹果可能在幕后采取的方案,以及为什么 A15 Bionic 的神经引擎终于足够强大,可以省去往返服务器的过程。

这次讲解涵盖工程师真正关心的实际问题:A15 基于 ARM 的芯片与用于神经推理的 Intel Xeon 相比表现如何、你是否可以在 iOS 上实际部署自定义 ASR 模型,以及设备上语音识别对模型大小、量化和流式解码的约束。对于任何考虑采用边缘优先语音栈或好奇主要平台厂商如何悄悄改变语音的客户端-服务器分界线的人来说,这是一份有用的入门指南。如果你在为产品决策权衡设备端和云端 ASR,值得一看。