何がそうさせるのか

Olewave の音声データ クリーニング パイプライン 効果的かつユニーク

Olewave の最先端かつ高度にカスタマイズ可能 音声データ クリーニング パイプライン とシームレスに統合します 音声データ収集パイプライン、一緒に形成されます Olewave の音声データ キュレーション パイプライン。このエンドツーエンド システムは、高品質で一貫性があり、コスト効率の高い音声データセットを大規模に提供できるように細心の注意を払って設計されており、幅広い下流アプリケーションに合わせて調整されています。。さらに、私たちが提供しているのは、 大規模でコスト効率の高い音声データセット 当社のパイプラインを通じて厳選され、複数の言語で利用でき、多様なトピックをカバーしています。

Olewave の最先端かつ高度にカスタマイズ可能 音声データ クリーニング パイプライン とシームレスに統合します 音声データ収集パイプライン、一緒に形成されます Olewave の音声データ キュレーション パイプライン。

以下の図は、音声データ クリーニング パイプラインの合理化されたワークフローを示しており、生の非構造化音声データを洗練された実用的なデータセットに変換する機能を示しています。

私たちのパイプラインにはいくつかの利点があります。

• 効果的：Whisper や他のオープンソース ソリューションと比較して、検証済みの話者ラベルと文字起こし、正確な単語のタイムスタンプ、および過信のない信頼度スコアを生成します。
• 堅牢性: 話者が重複するシナリオや ASR エラーを含むトランスクリプトなど、即興の会話音声を処理します。
• 拡張可能: オプションのメタデータを活用し、ラベルの信頼性を高めるために追加のモダリティを組み込むようにアップグレードできます。このパイプラインは、さまざまな Olewave またはクライアント独自のラベルタグ付けモデル (感情、セマンティクスなど) のプラグアンドプレイ統合もサポートしています。
• 効率: GPU リソースをまったくまたはほとんど必要としないため、高速に実行され、コスト効率が高くなります。

• 正確なタイミング情報を使用して単語を正確に強調表示するこれにより、アノテーターは、音声全体を繰り返し聞くことなく、つぶやかれたセグメントや不明瞭なセグメントをすばやく見つけてレビューできるようになります。

• アノテーターが中程度の信頼スコアを持つ単語に焦点を当てるようにガイドする、すべての単語を確認する必要性を最小限に抑え、修正プロセスを合理化します。

これらの対象を絞った洞察を提供することで、当社のパイプラインは効率を高め、手作業を軽減し、よりコスト効率の高い注釈ワークフローを保証します。

以下はパイプラインの出力の視覚化された例で、話者ラベル、単語レベルのタイムスタンプ、信頼スコアを示しています。

図 1. 会話は現実世界のやり取りからのものであり、合成音声や指示された音声ではありません。トランスクリプトは人間によって手動でアップロードされたものであり、ASR によって生成されたものではありません。話者ラベルも、話者ダイアライゼーション アルゴリズムから派生したものではなく、人間によって手動で追加されました。付属の JSON ファイルには、話者の時間間隔、会話のトランスクリプト、単語レベルのタイムスタンプ、信頼スコアを含む詳細なトランスクリプトが含まれています。リクエストに応じて、電話レベルのタイムスタンプと信頼度スコアも利用できます。

図 2. 騒々しい自発音声の後処理の例。各単語の下の値はその発音スコアを表しており、音声評価と密接に関連しています。いくつかの単語のスコアの説明は次のとおりです。 a) 「together」という単語: 「togeth-」のように発音され、語尾の「-er」は表示されず、「-o-」の母音は長さが非常に短く、ほとんどありません。 b) 始まりの単語「それ」: スペクトログラムには摩擦音がありますが、ほとんど聞こえません。スコアは 0.47 と低く、単語が欠落している可能性が高いことを意味します。 c)最後に挿入された単語「lt」: その人はそれを言いませんでした。これは、トランスクリプトに「&lt」（HTML で使用される「<」記号）が誤って含まれているためです。非常に低いスコア 0.13 は、それがデータ クリーニング パイプラインによって削除できる挿入された単語であることを示しています。

学界と産業界の両方で広く認識されています。 エンドツーエンド (E2E) フレームワーク そして 大規模な E2E ASR モデル 生産に関しては固有の制限がある 正確なワードレベルのタイムスタンプ そして 信頼できる単語レベルの信頼スコア、それぞれ。 

これらの制限に対処するために、私たちは次の分野における深い専門知識を活用しています。 非エンドツーエンドの音声とテキストの調整技術 を組み込んだ洗練された手順を開発しました。 メタデータ情報。このアプローチにより、トランスクリプトから非音声コンテンツ (つなぎ言葉、背景ノイズの転写など) を効果的に除去できるようになり、最終出力の精度と信頼性が高まります。  

以下は、データ パイプラインのワードレベルの JSON 出力のスニペットです。 「スピーカー」フィールドは、この録音のスピーカーの ID を示します。 「start_time」フィールドと「end_time」フィールドは、話者が話している時間を秒単位で示します。 「ブロック」フィールドには、同じ話者からの 1 つまたは複数の連続した発話が含まれます。各発話には、独自の開始時刻、終了時刻、トランスクリプト、話者の重複インジケーター、および信頼スコアがあります。 「オーバーラップ」フィールドが true の場合、現在のセグメントに隣接するセグメントとスピーカーのオーバーラップがあることを意味します。信頼度スコアの範囲は 0 から 1 です。

{

        「スピーカー」: 0、

        「開始時間」: 「47.18」、

        「終了時間」: 「49.83」、

        「ブロック」: [

            {

                「開始時間」: 「47.18」、

                「終了時間」: 「49.83」、

                「転写物」: 「ニューヨークやロサンゼルスと比較した音楽関連の仕事」、

                「重なる」: 偽、

                「単語の詳細」: [

                    {

                        「開始時間」: 「47.18」、

                        「終了時間」: 「47.53」、

                        「言葉」: 「音楽」、

                        「自信」: 「0.97」

                    }、

                    {

                        「開始時間」: 「47.53」、

                        「終了時間」: 「47.89」、

                        「言葉」: 「関連する」、

                        「自信」: 「0.79」

                    }、

                    {

                        「開始時間」: 「47.89」、

                        「終了時間」: 「48.44」、

                        「言葉」: 「仕事」、

                        「自信」: 「0.98」

                    }、

                    {

                        「開始時間」: 「48.44」、

                        「終了時間」: 「48.90」、

                        「言葉」: 「比べた」、

                        「自信」: 「0.96」

                    }、

                    {

                        「開始時間」: 「48.90」、

                        「終了時間」: 「48.96」、

                        「言葉」: 「に」、

                        「自信」: 「0.17」

                    }、

                    {

                        「開始時間」: 「48.96」、

                        「終了時間」: 「49.08」、

                        「言葉」: 「新しい」、

                        「自信」: 「0.97」

                    }、

                    {

                        「開始時間」: 「49.08」、

                        「終了時間」: 「49.37」、

                        「言葉」: 「ヨーク」、

                        「自信」: 「0.98」

                    }、

                    {

                        「開始時間」: 「49.37」、

                        「終了時間」: 「49.49」、

                        「言葉」: 「そして」、

                        「自信」: 「0.92」

                    }、

                    {

                        「開始時間」: 「49.49」、

                        「終了時間」: 「49.83」、

                        「言葉」: 「ラ」、

                        「自信」: 「0.56」

                    }

                】

            }

        】

    }、