من نموذج OpenAI Whisper إلى خدمة ASR الخاصة بك: المعالجة اللاحقة والنمذجة اللغوية
مخرجات Whisper الخام مثيرة للإعجاب خارج الصندوق، لكن أي شخص قام بنشرها لدى مستخدمين حقيقيين يعرف الفجوة بين نسخة توضيحية وشيء يمكن لنظام المعالجة اللاحقة أن يستهلكه فعلاً.
مخرجات Whisper الخام مثيرة للإعجاب خارج الصندوق، لكن أي شخص قام بنشرها لدى مستخدمين حقيقيين يعرف الفجوة بين نسخة توضيحية وشيء يمكن لنظام المعالجة اللاحقة أن يستهلكه فعلاً. يتم كتابة الأرقام بالكلمات بدلاً من الأرقام، والأسماء الخاصة تصبح مشوهة، والترقيم غير متسق، والمصطلحات المتخصصة تظهر كأقرب تخمين صوتي. يركز الجزء الرابع من سلسلة Whisper إلى ASR الخاصة على طبقة المعالجة اللاحقة والنمذجة اللغوية التي تسد هذه الفجوة.
يغطي الشرح المفصل تطبيع النص العكسي، واستعادة علامات الترقيم وحالة الأحرف، والانحياز نحو المفردات المخصصة، وكيفية تكوين نموذج لغة خارجي مع فك تشفير Whisper — بما في ذلك المقايضات بين الدمج السطحي وإعادة التصحيح وفك التشفير المشروط بالموجه. كما أنه يشير إلى حيث قد تعود الإصلاحات الساذجة بنتائج عكسية (الانحياز المفرط يضر الدقة العامة، ITN العدوانية تكسر الطوابع الزمنية) وكيفية تقييم خط الأنابيب بشكل صحيح. إذا كنت تحدق في مجلد من نسخ Whisper متسائلاً لماذا يبدو WER جيداً لكن شكاوى العملاء تستمر في الوصول، فإن الغوص العميق يستحق وقتك.
