خط أنابيب تنظيف البيانات
كيف يقوم خط أنابيب Olewave's Olewave بتحويل الصوت الخام إلى بيانات تدريب ASR/TTS جاهزة للإنتاج - نصوص تم التحقق من صحتها، وطوابع زمنية على مستوى الكلمات، ودرجات الثقة، بدون أدوات وضع العلامات البشرية.
ما الذي يجعل
خط أنابيب تنظيف بيانات الكلام الخاص بـ Olewave فعالة وفريدة من نوعها
Olewave متطور وقابل للتخصيص بدرجة كبيرة خط أنابيب تنظيف بيانات الكلام يتكامل بسلاسة مع خط أنابيب جمع بيانات الكلام، معا تشكيل خط أنابيب معالجة بيانات الكلام الخاص بـ Olewave. تم تصميم هذا النظام الشامل بدقة لتقديم مجموعات بيانات كلامية عالية الجودة ومتسقة وفعالة من حيث التكلفة على نطاق واسع، ومصمم خصيصًا لمجموعة واسعة من التطبيقات النهائية. بالإضافة إلى ذلك، نحن نقدم مجموعات بيانات الكلام واسعة النطاق وفعالة من حيث التكلفة تم تنسيقه من خلال خط أنابيبنا، وهو متاح بلغات متعددة ويغطي موضوعات متنوعة.
Olewave متطور وقابل للتخصيص بدرجة كبيرة خط أنابيب تنظيف بيانات الكلام يتكامل بسلاسة مع خط أنابيب جمع بيانات الكلام، معا تشكيل خط أنابيب معالجة بيانات الكلام الخاص بـ Olewave.
يوضح الشكل أدناه سير العمل المبسط لخط أنابيب تنظيف بيانات الكلام لدينا، ويعرض قدرته على تحويل بيانات الكلام الأولية غير المنظمة إلى مجموعات بيانات مصقولة وقابلة للتنفيذ.
يقدم خط الأنابيب الخاص بنا العديد من المزايا:
- فعالة: إنه ينتج تسميات للمتحدثين ونسخًا تم التحقق من صحتها، وطوابع زمنية دقيقة للكلمات، ودرجات ثقة غير مفرطة مقارنة بأدوات مثل Whisper والحلول مفتوحة المصدر الأخرى.
- المتانة: يتعامل مع الكلام التحادثي المرتجل، بما في ذلك السيناريوهات التي تحتوي على تداخل بين المتحدثين والنصوص التي تحتوي على أخطاء ASR.
- قابلة للتوسعة: يستفيد من بيانات التعريف الاختيارية ويمكن ترقيته لدمج طريقة إضافية لزيادة موثوقية الملصق. يدعم المسار أيضًا تكامل التوصيل والتشغيل للعديد من نماذج علامات العلامات الخاصة بـ Olewave أو العميل (على سبيل المثال، العاطفة، الدلالات، ...).
- الكفاءة: يعمل بسرعة وهو فعال من حيث التكلفة، لأنه لا يتطلب أي موارد GPU أو القليل منها.
- إبراز الكلمات بدقة مع معلومات توقيت دقيقة، مما يمكّن المعلقين من تحديد ومراجعة المقاطع الغمغمة أو غير الواضحة بسرعة دون الاستماع بشكل متكرر إلى الصوت بأكمله.
- توجيه المعلقين للتركيز على الكلمات ذات درجات الثقة متوسطة المدىوتقليل الحاجة إلى مراجعة كل كلمة وتبسيط عملية التصحيح.
من خلال توفير هذه الرؤى المستهدفة، يعمل مسارنا على تحسين الكفاءة، وتقليل الجهد اليدوي، ويضمن سير عمل التعليقات التوضيحية بشكل أكثر فعالية من حيث التكلفة.
فيما يلي الأمثلة المرئية لمخرجات المسار، وإظهار تسمية المتحدث، والطوابع الزمنية على مستوى الكلمة، ودرجات الثقة:
الشكل 1. المحادثة ناشئة عن تفاعلات في العالم الحقيقي، وليست كلامًا اصطناعيًا أو مدفوعًا. تم تحميل النصوص يدويًا بواسطة البشر، ولم يتم إنشاؤها بواسطة ASR. تمت أيضًا إضافة تسميات المتحدثين يدويًا بواسطة البشر، وهي غير مستمدة من خوارزميات diariazation للمتحدث. يتضمن ملف JSON المصاحب نسخًا تفصيلية، مع فترات زمنية للمتحدث، ونصوص المحادثة، والطوابع الزمنية على مستوى الكلمات، ودرجات الثقة. تتوفر الطوابع الزمنية على مستوى الهاتف ونتائج الثقة عند الطلب أيضًا.
الشكل 2. مثال على المعالجة اللاحقة للكلام العفوي الصاخب، حيث تمثل القيمة الموجودة أسفل كل كلمة درجة النطق الخاصة بها، والتي ترتبط ارتباطًا وثيقًا بتقييم الكلام. وفيما يلي شرح درجات بعض الكلمات: أ) كلمة "معًا": تم نطقها مثل "togeth-"، ولم يتم عرض النهاية "-er"، وحرف العلة "-o-" قصير جدًا في المدة، ويكاد يكون مفقودًا. ب) الكلمة الأولى "it": بالكاد أستطيع سماعها على الرغم من وجود هاتف احتكاكي على المخطط الطيفي. حصلت على درجة منخفضة 0.47 مما يعني أن الكلمة من المحتمل أن تكون مفقودة. ج)الكلمة المدرجة "lt" في النهاية: الشخص لم يقلها. يرجع ذلك إلى أن النص يتضمن بشكل خاطئ "<" (الرمز "<" المستخدم في HTML). تشير الدرجة المنخفضة جدًا 0.13 إلى أنها كلمة مدرجة ويمكن إزالتها عن طريق مسار تنظيف البيانات الخاص بنا.
ومن المعترف به على نطاق واسع في كل من الأوساط الأكاديمية والصناعة بهذا الحجم أطر العمل الشاملة (E2E). و نماذج E2E ASR كبيرة لها قيود متأصلة عندما يتعلق الأمر بالإنتاج طوابع زمنية دقيقة على مستوى الكلمة و درجات ثقة موثوقة على مستوى الكلماتعلى التوالي.
ولمعالجة هذه القيود، فإننا نستفيد من خبرتنا العميقة في تقنيات محاذاة الكلام إلى النص غير الشاملة وقد طوروا إجراءات متطورة تتضمن معلومات البيانات الوصفية. يتيح لنا هذا النهج تنظيف المحتوى غير المنطوق بشكل فعال (على سبيل المثال، كلمات الحشو، ونسخ ضوضاء الخلفية) من النصوص، مما يضمن دقة وموثوقية أعلى في المخرجات النهائية.
فيما يلي مقتطف من إخراج json على مستوى الكلمة لخط أنابيب البيانات. يشير حقل "مكبر الصوت" إلى هوية المتحدث في هذا التسجيل. يظهر الحقلان "start_time" و"end_time" بالثواني للإشارة إلى الفترة الزمنية للمتحدث المتحدث. يحتوي حقل "الكتلة" على عبارة واحدة أو عدة عبارات متتالية من نفس المتحدث. كل كلام له وقت البدء الخاص به، ووقت الانتهاء، والنص، ومؤشر تداخل المتحدث، ودرجة الثقة. عندما يكون حقل "التداخل" صحيحًا، فهذا يعني أن المقطع الحالي به مكبر صوت يتداخل مع المقاطع المجاورة. وتتراوح درجة الثقة من 0 إلى 1.
{
"المتحدث": 0,
"وقت_البدء": "47.18",
"نهاية_الوقت": "49.83",
"كتلة": [
{
"وقت_البدء": "47.18",
"نهاية_الوقت": "49.83",
"نسخة": "الوظائف المتعلقة بالموسيقى مقارنة بنيويورك ولوس أنجلوس.",
"تداخل": كاذبة,
"كلمة_تفاصيل": [
{
"وقت_البدء": "47.18",
"نهاية_الوقت": "47.53",
"كلمة": "موسيقى",
"الثقة": "0.97"
},
{
"وقت_البدء": "47.53",
"نهاية_الوقت": "47.89",
"كلمة": "ذات صلة",
"الثقة": "0.79"
},
{
"وقت_البدء": "47.89",
"نهاية_الوقت": "48.44",
"كلمة": "الوظائف",
"الثقة": "0.98"
},
{
"وقت_البدء": "48.44",
"نهاية_الوقت": "48.90",
"كلمة": "مقارنة",
"الثقة": "0.96"
},
{
"وقت_البدء": "48.90",
"نهاية_الوقت": "48.96",
"كلمة": "إلى",
"الثقة": "0.17"
},
{
"وقت_البدء": "48.96",
"نهاية_الوقت": "49.08",
"كلمة": "جديد",
"الثقة": "0.97"
},
{
"وقت_البدء": "49.08",
"نهاية_الوقت": "49.37",
"كلمة": "يورك",
"الثقة": "0.98"
},
{
"وقت_البدء": "49.37",
"نهاية_الوقت": "49.49",
"كلمة": "و",
"الثقة": "0.92"
},
{
"وقت_البدء": "49.49",
"نهاية_الوقت": "49.83",
"كلمة": "لا",
"الثقة": "0.56"
}
]
}
]
},