是什么让

Olewave 的语音数据清理管道 有效且独特

Olewave 的最先进且高度可定制 语音数据清洗管道 与其无缝集成 语音数据采集管道，共同形成 Olewave 的语音数据管理管道。该端到端系统经过精心设计，可大规模提供高质量、一致且经济高效的语音数据集，专为各种下游应用量身定制。此外，我们还提供 大规模、经济高效的语音数据集 通过我们的渠道策划，提供多种语言版本并涵盖不同的主题。

Olewave 的最先进且高度可定制 语音数据清洗管道 与其无缝集成 语音数据采集管道，共同形成 Olewave 的语音数据管理管道。

下图展示了我们的语音数据清理管道的简化工作流程，展示了其将原始的、非结构化的语音数据转换为精美的、可操作的数据集的能力。

我们的管道具有以下几个优势：

• 有效：与 Whisper 和其他开源解决方案等工具相比，它可以生成经过验证的说话者标签和转录、准确的单词时间戳和不过分自信的置信度分数。
• 稳健性：它处理即兴对话语音，包括说话者重叠的场景和包含 ASR 错误的转录内容。
• 可扩展：它利用可选的元数据，并且可以升级以纳入附加模式以提高标签可靠性。该管道还支持各种 Olewave 或客户自己的标签标记模型（例如情感、语义等）的即插即用集成。
• 效率：它运行速度快且经济高效，因为它不需要或很少需要 GPU 资源。

• 通过准确的时间信息精确突出显示单词，使注释者能够快速定位和审查含糊不清或不清楚的片段，而无需重复收听整个音频。

• 指导注释者关注具有中等置信度分数的单词，最大限度地减少审查每个单词的需要并简化纠正过程。

通过提供这些有针对性的见解，我们的管道提高了效率，减少了手动工作量，并确保了更具成本效益的注释工作流程。

以下是管道输出的可视化示例，展示了说话者标签、单词级时间戳和置信度分数：

图 1。对话来自现实世界的交互，而不是合成或提示语音。转录本是由人类手动上传的，而不是由 ASR 生成的。说话人标签也是由人类手动添加的，而不是从说话人分类算法中得出的。随附的 JSON 文件包含详细的转录内容，包括讲话者时间间隔、对话记录、单词级时间戳和置信度分数。电话级时间戳和置信度分数也可根据要求提供。

图2.噪声自发语音后处理的示例，其中每个单词下面的值代表其发音分数，这与语音评估密切相关。以下是部分单词分数的解释： 一） “together”这个词：它的发音像“togeth-”，结尾的“-er”不出现，并且“-o-”元音持续时间非常短，几乎消失。 b) 起始词“it”：虽然频谱图上有一个摩擦音，但我几乎听不到它。它的得分较低，为 0.47，这意味着该单词可能会丢失。 c)最后插入的“lt”一词：这个人没有说出来。这是因为文字记录错误地包含了“&lt”（HTML 中使用的“<”符号）。非常低的分数 0.13 表明它是一个插入的单词，可以通过我们的数据清理管道删除。

学术界和工业界普遍认为，大 端到端 (E2E) 框架 和 大型E2E ASR模型 在生产方面存在固有的局限性 准确的字级时间戳 和 可靠的词级置信度得分，分别。 

为了解决这些限制，我们利用我们深厚的专业知识 非端到端语音到文本对齐技术 并制定了复杂的程序，其中包括 元数据信息。这种方法使我们能够有效地清除文字记录中的非口语内容（例如填充词、背景噪声转录），确保最终输出具有更高的准确性和可靠性。  

以下是数据管道的字级 json 输出的片段。 “speaker”字段表示该录音中说话者的 ID。 “start_time”和“end_time”字段以秒为单位，表示讲话者讲话的时间跨度。 “块”字段包含来自同一说话者的一个或多个连续的话语。每个话语都有自己的开始时间、结束时间、文字记录、说话者重叠指示器和置信度分数。当“重叠”字段为真时，意味着当前片段与相邻片段有扬声器重叠。置信度得分范围为 0 到 1。

{

        “演讲者”： 0,

        “开始时间”： “47.18”,

        “结束时间”： “49.83”,

        “阻止”：[

            {

                “开始时间”： “47.18”,

                “结束时间”： “49.83”,

                “成绩单”： “与纽约和洛杉矶相比，音乐相关的工作。”,

                “重叠”： 假的,

                “单词详细信息”：[

                    {

                        “开始时间”： “47.18”,

                        “结束时间”： “47.53”,

                        “词”： “音乐”,

                        “信心”： “0.97”

                    },

                    {

                        “开始时间”： “47.53”,

                        “结束时间”： “47.89”,

                        “词”： “相关”,

                        “信心”： “0.79”

                    },

                    {

                        “开始时间”： “47.89”,

                        “结束时间”： “48.44”,

                        “词”： “工作”,

                        “信心”： “0.98”

                    },

                    {

                        “开始时间”： “48.44”,

                        “结束时间”： “48.90”,

                        “词”： “比较”,

                        “信心”： “0.96”

                    },

                    {

                        “开始时间”： “48.90”,

                        “结束时间”： “48.96”,

                        “词”： “到”,

                        “信心”： “0.17”

                    },

                    {

                        “开始时间”： “48.96”,

                        “结束时间”： “49.08”,

                        “词”： “新”,

                        “信心”： “0.97”

                    },

                    {

                        “开始时间”： “49.08”,

                        “结束时间”： “49.37”,

                        “词”： “约克”,

                        “信心”： “0.98”

                    },

                    {

                        “开始时间”： “49.37”,

                        “结束时间”： “49.49”,

                        “词”： “和”,

                        “信心”： “0.92”

                    },

                    {

                        “开始时间”： “49.49”,

                        “结束时间”： “49.83”,

                        “词”： “啦”,

                        “信心”： “0.56”

                    }

                ]

            }

        ]

    },