데이터 클리닝 파이프라인
Olewave의 Olign 파이프라인이 원본 오디오를 사람이 라벨을 붙이지 않고도 검증된 대본, 단어 수준 타임스탬프, 신뢰도 점수 등 프로덕션에 바로 사용할 수 있는 ASR/TTS 교육 데이터로 변환하는 방법입니다.
무엇이 만드는가
Olewave의 음성 데이터 클리닝 파이프라인 효과적이고 독특함
Olewave의 최첨단 기술과 고도로 맞춤화된 음성 데이터 정리 파이프라인 완벽하게 통합됩니다. 음성 데이터 수집 파이프라인, 함께 형성 Olewave의 음성 데이터 큐레이션 파이프라인. 이 엔드투엔드 시스템은 광범위한 다운스트림 애플리케이션에 맞게 조정된 고품질의 일관되고 비용 효율적인 음성 데이터 세트를 대규모로 제공하도록 세심하게 설계되었습니다.. 추가적으로, 우리는 제공하고 있습니다 대규모의 비용 효율적인 음성 데이터 세트 다양한 언어로 제공되고 다양한 주제를 다루는 파이프라인을 통해 선별되었습니다.
Olewave의 최첨단 기술과 고도로 맞춤화된 음성 데이터 정리 파이프라인 완벽하게 통합됩니다. 음성 데이터 수집 파이프라인, 함께 형성 Olewave의 음성 데이터 큐레이션 파이프라인.
아래 그림은 음성 데이터 정리 파이프라인의 간소화된 워크플로를 보여주며, 구조화되지 않은 원시 음성 데이터를 세련되고 실행 가능한 데이터 세트로 변환하는 기능을 보여줍니다.
우리 파이프라인은 다음과 같은 몇 가지 장점을 제공합니다.
- 효과적인: Whisper 및 기타 오픈 소스 솔루션과 같은 도구에 비해 검증된 화자 레이블 및 전사, 정확한 단어 타임스탬프 및 과신하지 않은 신뢰도 점수를 생성합니다.
- 견고성: 화자가 겹치는 시나리오와 ASR 오류가 포함된 대본을 포함하여 즉석 대화 음성을 처리합니다.
- 확장 가능: 선택적 메타데이터를 활용하고 라벨 신뢰성 향상을 위해 추가 양식을 통합하도록 업그레이드할 수 있습니다. 파이프라인은 또한 다양한 Olewave 또는 고객의 자체 라벨 태깅 모델(예: 감정, 의미 체계 등)의 플러그 앤 플레이 통합을 지원합니다.
- 효율성: GPU 리소스가 전혀 또는 거의 필요하지 않으므로 빠르게 실행되고 비용 효율적입니다.
- 정확한 타이밍 정보로 단어를 정확하게 강조 표시, 주석 작성자는 전체 오디오를 반복해서 듣지 않고도 중얼거리거나 불분명한 세그먼트를 빠르게 찾고 검토할 수 있습니다.
- 어노테이터가 신뢰도 점수가 중간 범위인 단어에 집중하도록 안내, 모든 단어를 검토할 필요성을 최소화하고 수정 프로세스를 간소화합니다.
이러한 목표에 맞는 통찰력을 제공함으로써 우리의 파이프라인은 효율성을 향상시키고 수동 작업을 줄이며 보다 비용 효율적인 주석 작업 흐름을 보장합니다.
다음은 화자 라벨, 단어 수준 타임스탬프 및 신뢰도 점수를 보여주는 파이프라인 출력의 시각화된 예입니다.
그림 1. 대화는 합성 또는 프롬프트된 음성이 아닌 실제 상호 작용에서 나온 것입니다. 성적표는 ASR이 생성한 것이 아니라 사람이 수동으로 업로드한 것입니다. 화자 라벨은 화자 분할 알고리즘에서 파생되지 않고 사람이 수동으로 추가했습니다. 함께 제공되는 JSON 파일에는 화자 시간 간격, 대화 내용, 단어 수준 타임스탬프 및 신뢰도 점수가 포함된 자세한 내용이 포함되어 있습니다. 요청 시 전화 수준 타임스탬프와 신뢰도 점수도 제공됩니다.
그림 2. 각 단어 아래의 값은 음성 평가와 밀접한 관련이 있는 발음 점수를 나타내는 시끄러운 자발적 음성 후처리의 예입니다. 다음은 일부 단어의 점수에 대한 설명입니다. 가) 'together'라는 단어: 'togeth-'처럼 발음되었으며 어미 '-er'가 표시되지 않고 '-o-' 모음이 길이가 매우 짧아 거의 누락되었습니다. 비) 시작 단어 'it': 스펙트로그램에 마찰음이 있지만 거의 들리지 않습니다. 0.47의 낮은 점수를 가지며 이는 단어가 누락될 가능성이 있음을 의미합니다. 다)끝에 삽입된 단어 'lt': 그 사람이 말하지 않았습니다. 스크립트에 '<'(HTML에서 사용되는 '<' 기호)가 잘못 포함되어 있기 때문입니다. 0.13이라는 매우 낮은 점수는 데이터 정리 파이프라인에 의해 제거될 수 있는 삽입된 단어임을 나타냅니다.
학계와 산업계 모두에서 널리 인정받고 있습니다. 엔드투엔드(E2E) 프레임워크 그리고 대형 E2E ASR 모델 생산할 때 본질적인 한계가 있습니다. 정확한 단어 수준 타임스탬프 그리고 신뢰할 수 있는 단어 수준 신뢰도 점수, 각각.
이러한 한계를 해결하기 위해 우리는 심층적인 전문 지식을 활용합니다. 비종단간 음성-텍스트 정렬 기술 다음을 포함하는 정교한 절차를 개발했습니다. 메타데이터 정보. 이 접근 방식을 사용하면 녹취록에서 비음성 콘텐츠(예: 필러 단어, 배경 소음 전사)를 효과적으로 정리하여 최종 출력에서 더 높은 정확성과 신뢰성을 보장할 수 있습니다.
다음은 데이터 파이프라인의 단어 수준 json 출력 스니펫입니다. '화자' 필드는 이 녹음에서 화자의 ID를 나타냅니다. 'start_time' 및 'end_time' 필드는 말하는 화자의 시간 범위를 나타내는 초 단위입니다. '블록' 필드에는 동일한 화자의 하나 이상의 연속 발화가 포함됩니다. 각 발화에는 고유한 시작 시간, 종료 시간, 스크립트, 화자 중복 표시기 및 신뢰도 점수가 있습니다. 'overlap' 필드가 true인 경우 현재 세그먼트에 인접한 세그먼트와 스피커 중첩이 있음을 의미합니다. 신뢰도 점수의 범위는 0~1입니다.
{
"스피커": 0,
"시작_시간": "47.18",
"종료_시간": "49.83",
"차단": [
{
"시작_시간": "47.18",
"종료_시간": "49.83",
"대본": "뉴욕, LA에 비해 음악 관련 직업.",
"중복": 거짓,
"단어_세부사항": [
{
"시작_시간": "47.18",
"종료_시간": "47.53",
"단어": "음악",
"자신감": "0.97"
},
{
"시작_시간": "47.53",
"종료_시간": "47.89",
"단어": "관련",
"자신감": "0.79"
},
{
"시작_시간": "47.89",
"종료_시간": "48.44",
"단어": "일자리",
"자신감": "0.98"
},
{
"시작_시간": "48.44",
"종료_시간": "48.90",
"단어": "비교",
"자신감": "0.96"
},
{
"시작_시간": "48.90",
"종료_시간": "48.96",
"단어": "에",
"자신감": "0.17"
},
{
"시작_시간": "48.96",
"종료_시간": "49.08",
"단어": "새로운",
"자신감": "0.97"
},
{
"시작_시간": "49.08",
"종료_시간": "49.37",
"단어": "요크",
"자신감": "0.98"
},
{
"시작_시간": "49.37",
"종료_시간": "49.49",
"단어": "그리고",
"자신감": "0.92"
},
{
"시작_시간": "49.49",
"종료_시간": "49.83",
"단어": "라",
"자신감": "0.56"
}
]
}
]
},