是什麼讓

Olewave 的語音資料清理管道有效且獨特

Olewave 的最先進且高度可定制語音資料清洗管路 與其無縫集成語音數據擷取管道，共同形成Olewave 的語音資料管理管道。此端到端系統經過精心設計，可大規模提供高品質、一致且經濟高效的語音資料集，專為各種下游應用量身定制。此外，我們也提供大規模、經濟高效的語音資料集 透過我們的管道策劃，提供多種語言版本並涵蓋不同的主題。

Olewave 的最先進且高度可定制語音資料清洗管路與其無縫集成語音數據擷取管道，共同形成Olewave 的語音資料管理管道。

下圖展示了我們的語音資料清理管道的簡化工作流程，展示了其將原始的、非結構化的語音資料轉換為精美的、可操作的資料集的能力。

我們的管道具有以下幾個優點：

• 有效：與 Whisper 和其他開源解決方案等工具相比，它可以產生經過驗證的說話者標籤和轉錄、準確的單字時間戳和不過分自信的置信度分數。
• 穩健性：它處理即興對話語音，包括說話者重疊的場景和包含 ASR 錯誤的轉錄內容。
• 可擴充：它利用可選的元數據，並且可以升級以納入附加模式以提高標籤可靠性。該管道還支援各種 Olewave 或客戶自己的標籤標記模型（例如情緒、語義等）的即插即用整合。
• 效率：它運行速度快且經濟高效，因為它不需要或很少需要 GPU 資源。

• 透過準確的時間資訊精確突出顯示單字，使註釋者能夠快速定位和審查含糊不清或不清楚的片段，而無需重複收聽整個音訊。

• 指導註釋者專注於具有中等置信度分數的單字，最大限度地減少審查每個單字的需要並簡化糾正過程。

透過提供這些有針對性的見解，我們的管道提高了效率，減少了手動工作量，並確保了更具成本效益的註釋工作流程。

以下是管道輸出的可視化範例，展示了說話者標籤、單字級時間戳和置信度分數：

圖 1。對話來自現實世界的交互，而不是合成或提示語音。轉錄本是由人類手動上傳的，而不是由 ASR 產生的。說話者標籤也是由人類手動添加的，而不是從說話者分類演算法中得出的。隨附的 JSON 檔案包含詳細的轉錄內容，包括講話者時間間隔、對話記錄、單字層級時間戳記和置信度分數。電話級時間戳和置信度分數也可根據要求提供。

圖2.噪音自發語音後處理的範例，其中每個單字下面的值代表其發音分數，這與語音評估密切相關。以下是部分單字分數的解釋：一） “together”這個字：它的發音像“togeth-”，結尾的“-er”不出現，並且“-o-”元音持續時間非常短，幾乎消失。 b) 起始字「it」：雖然頻譜圖上有一個摩擦音，但我幾乎聽不到它。它的得分較低，為 0.47，這意味著該單字可能會丟失。 c)最後插入的「lt」這個字：這個人沒有說出來。這是因為文字記錄錯誤地包含了「&lt」（HTML 中使用的「<」符號）。非常低的分數 0.13 表示它是一個插入的單字，可以透過我們的資料清理管道刪除。

學術界和工業界普遍認為，大端對端 (E2E) 框架 和大型E2E ASR模型 在生產方面存在固有的局限性準確的字級時間戳 和可靠的詞級置信度得分，分別。 

為了解決這些限制，我們利用我們深厚的專業知識非端對端語音到文字對齊技術 並製定了複雜的程序，其中包括元數據資訊。這種方法使我們能夠有效地清除文字記錄中的非口語內容（例如填充詞、背景噪音轉錄），確保最終輸出具有更高的準確性和可靠性。  

以下是資料管道的字級 json 輸出的片段。 「speaker」欄位表示該錄音中說話者的 ID。 「start_time」和「end_time」欄位以秒為單位，表示說話者講話的時間跨度。 「塊」欄位包含來自同一說話者的一個或多個連續的話語。每個話語都有自己的開始時間、結束時間、文字記錄、說話者重疊指標和置信度分數。當「重疊」欄位為真時，表示目前片段與相鄰片段有揚聲器重疊。置信度得分範圍為 0 到 1。

{

        “演講者”：0,

        “開始時間”：“47.18”,

        “結束時間”：“49.83”,

        “阻止”：[

            {

                “開始時間”：“47.18”,

                “結束時間”：“49.83”,

                “成績單”：“與紐約和洛杉磯相比，音樂相關的工作。”,

                “重疊”：假的,

                “单词详细信息”：[

                    {

                        “開始時間”：“47.18”,

                        “结束时间”：“47.53”,

                        “詞”：“音樂”,

                        “信心”：“0.97”

                    },

                    {

                        “開始時間”：“47.53”,

                        “结束时间”：“47.89”,

                        “词”：“相关”,

                        “信心”：“0.79”

                    },

                    {

                        “开始时间”：“47.89”,

                        “結束時間”：“48.44”,

                        “詞”：“工作”,

                        “信心”：“0.98”

                    },

                    {

                        “开始时间”：“48.44”,

                        “结束时间”：“48.90”,

                        “詞”：“比較”,

                        “信心”：“0.96”

                    },

                    {

                        “開始時間”：“48.90”,

                        “結束時間”：“48.96”,

                        “詞”：“到”,

                        “信心”：“0.17”

                    },

                    {

                        “開始時間”：“48.96”,

                        “結束時間”：“49.08”,

                        “詞”：“新”,

                        “信心”：“0.97”

                    },

                    {

                        “開始時間”：“49.08”,

                        “結束時間”：“49.37”,

                        “詞”：“約克”,

                        “信心”：“0.98”

                    },

                    {

                        “開始時間”：“49.37”,

                        “結束時間”：“49.49”,

                        “詞”：“和”,

                        “信心”：“0.92”

                    },

                    {

                        “開始時間”：“49.49”,

                        “結束時間”：“49.83”,

                        “詞”：“啦”,

                        “信心”：“0.56”

                    }

                ]

            }

        ]

    },