利用野生数据进行高投资回报率的语音研发 - 我们的 ICASSP 2024 聚焦
我们的创始人兼首席执行官 Wei Chu 的 ICASSP 2024 聚焦演讲探讨了为什么传统语音服务构建的投资回报率较低,以及如何使用大型开源语音模型过滤野生数据 + 自动标记私人数据来翻转等式。
在 IEEE ICASSP 2024 在首尔,我们的创始人兼首席执行官 卫楚 发表了一场关于使企业语音研发成本大幅降低的转变的焦点演讲:停止为人工标记和现成数据集付费,开始利用野生数据和开源基础模型。
为什么传统的语音服务构建投资回报率低
每个构建语音人工智能的企业都面临着同样的三个诱人的捷径。每个都有一个隐藏的投资回报率上限:
调用云API 原型制作速度快,研发成本极低。但无法针对您的产品进行定制,特定数据的性能不令人满意,规模昂贵,并且每个请求都是潜在的数据泄露向量。
从供应商处购买 比纸质 DIY 便宜。在实践中:来自数据+系统供应商的巨额费用,由于公司内部通信开销而导致的性能低于标准,并且仍然存在数据泄露风险。
像科技巨头一样 DIY (Alexa、Siri、谷歌语音搜索) 内部堆栈、全面的数据安全 - 以及在发货前对研发团队、数据管理和基础设施进行为期五年、数千万美元的投资。
其他“廉价”替代品的情况也好不到哪儿去。海外合同团队、现成的模拟数据集或收购陷入困境的初创公司都会牺牲投资回报率来节省现金。
高投资回报率的替代方案——站在大型语音模型的肩膀上
Olewave 方法有两个转变:
遵循缩放定律。 自 2022 年以来,科技巨头一直在开源 CC-BY 大型语音模型——Whisper、SeamlessM4T 等。您不再需要重新发明轮子。 微调 适合您的利基市场的基础模型,而不是从头开始培训。这消除了大部分研发团队、数据管理和培训基础设施支出。
过滤野生数据并自动标记私人数据。 过滤后的野生数据——由人工智能驱动的标签系统生成的经过验证的转录、时间戳和主题标签——用于微调 域 模型。然后该域模型标记您的 专有的 具有置信度分数的数据。没有人工贴标签。没有数据离开您的基础设施。无违规风险。并且无需支付预模拟数据集的费用。
我们的四步定制标签流程
- 快速启动 — 从与客户相同的域中选择野生数据,并从大型语音/语言基础模型中微调域模型。
- 自动标签 — 领域模型用每个单词和每个话语的置信度分数来标记客户的专有数据。不需要人工贴标签——因此也不存在数据泄露风险。
- 迭代学习 — 编译一组标记的私有和公共数据,再次微调领域模型,然后用改进的模型重新标记私有数据。重复直到质量达到稳定水平。
- 好去吧 — 当质量足够时停止迭代。我们许可了 Tycho SDK,以便您可以继续在自己的基础设施上进行标记和构建。
为什么这很重要
- 在没有人工标记的情况下对特定领域模型进行监督训练 ——企业语音项目中最大的经常性成本。
- 无数据泄露风险 — 私人数据永远不会离开您的环境。
- 显着降低标签成本 ——模型来做工作;人类会审查边缘情况。
- 相同的微调工作流程规模 随着产品的成熟,新的领域、语言和用例。
与我们交谈
如果您正在评估语音人工智能产品的构建与购买,或者试图减少现有产品的数据标签支出,我们很乐意进行比较。
电子邮件 [email protected] 或 通过网站联系 — 我们将在一个工作日内回复。
