لوحة متصدرين FA-Bench · github.com/olewave/fa-bench · الورقة البحثية على arXiv

تم التحديث في 28 أكتوبر 2026 بنتائج أكتوبر.

أطلقنا FA-Bench في 17 أغسطس 2026. وهو يقيس مدى قرب الطوابع الزمنية للكلمات والفونيمات من الحدود التي وضعها اللغويون البشريون.

يقيّم FA-Bench أنظمة التعرف على الكلام التي تعيد كلماتها الخاصة مع أزمنتها. ويقيّم أيضاً أدوات المحاذاة القسرية التي تُعطى نصاً جاهزاً. يعمل كل نظام عبر الشيفرة نفسها وعلى مجموعات الاختبار نفسها، لذا يمكنك مقارنة أي رقمين مباشرة. تصنف لوحة متصدرين FA-Bench عدد 17 نظام ASR و15 أداة محاذاة قسرية.

لماذا نحتاج إلى معيار

من الصعب إعادة إنتاج نتائج أدوات المحاذاة القسرية. فكل ورقة بحثية تختار مجموعة الفونيمات وتقسيم الاختبار الخاصين بها، وتقيّم بمقياسها الخاص. لذلك نادراً ما يقيس رقم في ورقة الشيء نفسه الذي يقيسه رقم في الورقة التالية. ولا يستطيع باحث الكلام إجراء دراسة استئصال نظيفة، ولا يستطيع مهندس الذكاء الاصطناعي الصوتي معرفة أي نظام عليه نشره.

ينشر FA-Bench التقييم كاملاً على شكل شيفرة، بدءاً من كيفية دمج التسميات وصولاً إلى كيفية تقييم كل حد. وأنت تشغّل خط المعالجة نفسه الذي نشغّله.

ما الذي يختبره FA-Bench

يقيّم FA-Bench مجموعتين صحّح اللغويون البشريون حدودهما يدوياً. تضم مجموعة TIMIT core test عدد 192 جملة مقروءة من 24 متحدثاً. وتضم مجموعة Buckeye test عدد 4,513 مقطعاً من المحادثات من 8 متحدثين. لا يضيف FA-Bench أي تأشير خاص به. فهو يحتفظ بأزمنة الحدود تماماً كما تقدمها المجموعات، ويدمج تسميات الفونيمات في مجموعة TIMIT-39 المشتركة.

تعمل كل مجموعة اختبار نظيفة وفي أربع نسخ متدهورة، بُنيت بوصفات الزيادة في Kaldi من بذور ثابتة. فنسخة الضوضاء مثلاً تشغّل مقاطع ضوضاء MUSAN عند نسبة إشارة إلى ضوضاء 15 و10 و5 و0 dB. والدرجة الرئيسية لأي نظام هي متوسط أربع خلايا اختبار. وهي TIMIT core test وBuckeye test، كل منهما نظيف ومشوّش.

مهمتان

ASR مع الطوابع الزمنية يسمع الصوت فقط ويعيد كلماته الخاصة، لكل منها زمن بداية وزمن نهاية. والكلمة التي تُسمع خطأً تكلّف النظام زمنيها معاً. لذا تحتسب الدرجة أخطاء التعرف وأخطاء التوقيت معاً.

المحاذاة القسرية تُعطى النص المرجعي، فيكون توقيتها هو كل ما يُقيَّم. ويعطي FA-Bench كل أداة محاذاة أيضاً الكلمات التي تعرّف عليها Qwen3-ASR. F1 Drop هو مقدار هبوط درجتها عندما تحصل على تلك الكلمات. فمثلاً يسجل MFA 3.4 الدرجة 0.658 على النص المرجعي و0.628 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.030.

كيف يقيّم FA-Bench

F1 للطابع الزمني للكلمة عند 20 ms يصنف لوحات الكلمات. تملك كل كلمة مرجعية زمن بداية وزمن نهاية. ويُحتسب الزمن إصابة عندما ينتج النظام الكلمة نفسها ويضع ذلك الزمن ضمن 20 ms من زمن المؤشِّر.

F1 لحد الفونيم عند 20 ms يصنف لوحات الفونيمات. ويُحتسب حد الفونيم إصابة عندما يطابق الفونيمان على جانبيه المرجع ويقع زمنه ضمن 20 ms من زمن المؤشِّر.

تأتي كل درجة مع فاصل ثقة 95% من 2,000 سحب بوتستراب لعبارات الاختبار. ويحصل كل نظام أيضاً على نطاق الرتب الذي يشغله عبر تلك السحوبات. أي نظامين يتداخل نطاقاهما يتعادلان على مجموعات الاختبار هذه. فمثلاً لدى Google Chirp 3 وCrisperWhisper نطاق من 2 إلى 3 لكل منهما.

يشرح نظرة عامة على FA-Bench كل رقم في لوحة المتصدرين، مع شكل توضيحي.

نتائج أكتوبر 2026

هذه هي F1 للطابع الزمني للكلمة عند 20 ms، أي متوسط خلايا الاختبار الأربع، من نتائج أكتوبر 2026 في لوحة المتصدرين.

في ASR مع الطوابع الزمنية، يحتل Google Chirp 2 المرتبة الأولى بدرجة 0.486، مع فاصل ثقة 95% من 0.475 إلى 0.498. ويتشارك CrisperWhisper بدرجة 0.455، وGoogle Chirp 3 بدرجة 0.452، المرتبتين الثانية والثالثة.

في المحاذاة القسرية مع النص المرجعي، يحتل MFA 3.4 المرتبة الأولى بدرجة 0.658 ويأتي PocketSphinx ثانياً بدرجة 0.648. وعند إعطائه الكلمات التي تعرّف عليها Qwen3-ASR، يبقى MFA 3.4 في المرتبة الأولى بدرجة 0.628. وعلى مستوى الفونيمات، المقيَّمة بـ F1 لحد الفونيم عند 20 ms، يحتل MFA 3.4 المرتبة الأولى بدرجة 0.436.

تصنع Olewave كلاً من FA-Bench وOlign. لم يعد Olign يشارك في FA-Bench، لذا لا تصنفه أي لوحة، وتعرض لوحة المتصدرين آخر نتائجه دون ترتيب. ويُقيَّم كل نظام على اللوحات بالشيفرة العامة نفسها مقابل التأشيرات البشرية نفسها.

شغّله بنفسك

يمكنك التحقق من سلسلة القياس كاملة قبل أن تلمس أي صوت مرخَّص. يبني الاختبار الذاتي مجموعة اصطناعية ويشغّل كل خطوة عليها. وتقارن كل بوابة نتيجةً بإجابة محددة مسبقاً، لذا تفشل السلسلة المعطلة عند بوابتها.

git clone https://github.com/olewave/fa-bench && cd fa-bench
uv venv --python 3.12 .venv && . .venv/bin/activate
uv pip install -e ".[test]"
fabench selftest
fabench gates

لتقييم أنظمة حقيقية، احصل على TIMIT من LDC وعلى Buckeye عبر تسجيل OSU، بموجب تراخيصهما الخاصة. ثم شغّل fabench init وسيسألك عن مكان كل مجموعة. وتقدم كل لوحة في لوحة المتصدرين أرقامها بصيغة CSV، لتتمكن من مقارنة أرقامك بأرقامنا.

يصدر FA-Bench بموجب Apache License 2.0 بدءاً من الإصدار 2.0.0. يمكن لأي شخص استخدام الشيفرة وتعديلها ومشاركتها، بما في ذلك الاستخدام التجاري. ويبقى اسم FA-Bench ملكاً لـ Olewave، ويمكن وصف النتائج التي تحصل عليها بهذه الشيفرة بأنها مُقيَّمة بأداة تقييم FA-Bench، الإصدار 2.0.