Name: FA-Bench leaderboard
Creator: Olewave

التعرف على الكلام مع الطوابع الزمنية، قيمة F1 للطوابع الزمنية للكلمات عند 20 ms

الترتيب	النطاق	النظام	الوصول	متوسط F1	فاصل الثقة 95%	TIMIT نظيف	TIMIT ضوضائي	Buckeye نظيف	Buckeye ضوضائي	WER TIMIT	WER Buckeye	السعر، بالدولار لكل ساعة صوت
1	1–2	IBM Granite Speech 4.1 Plus	مفتوح	0.489	0.477–0.500	0.597	0.531	0.450	0.379	2.9	10.4	–
2	1–2	Google Chirp 2	تجاري	0.486	0.475–0.498	0.488	0.497	0.492	0.469	4.2	13.1	$0.96
3	3–4	CrisperWhisper ⚠	مفتوح	0.455	0.442–0.466	0.484	0.472	0.463	0.399	3.6	11.5	–
4	3–4	Google Chirp 3 ‡	تجاري	0.452	0.442–0.462	0.460	0.438	0.479	0.431	5.2	13.5	$0.96
5	5	Qwen3-ASR-Flash	تجاري	0.363	0.353–0.374	0.398	0.355	0.376	0.322	1.8	10.1	$0.13
6	6	Mistral Voxtral Mini	تجاري	0.308	0.298–0.319	0.315	0.294	0.325	0.299	2.4	13.4	$0.18
7	7–8	ElevenLabs Scribe v2	تجاري	0.281	0.275–0.288	0.304	0.297	0.267	0.256	2.1	10.7	$0.22
8	7–8	Amazon Transcribe	تجاري	0.273	0.263–0.284	0.259	0.264	0.289	0.281	2.7	10.3	$0.36
9	9–10	AssemblyAI Universal-3.5 Pro	تجاري	0.213	0.204–0.222	0.237	0.218	0.211	0.185	2.0	9.0	$0.21
10	9–10	TorchAudio (ASR)	مفتوح	0.209	0.203–0.216	0.254	0.213	0.211	0.159	10.8	27.8	–
11	11–12	Deepgram Nova-3 ‡	تجاري	0.170	0.161–0.178	0.191	0.185	0.155	0.148	2.4	10.8	$0.26
12	11–12	Parakeet-TDT	مفتوح	0.164	0.155–0.172	0.172	0.174	0.156	0.153	2.4	11.0	–
13	13	IBM Watson STT en-US	تجاري	0.149	0.142–0.157	0.135	0.132	0.176	0.155	5.1	12.4	$1.27
14	14–15	Azure AI Speech	تجاري	0.100	0.094–0.107	0.117	0.112	0.089	0.083	3.4	11.5	$1.00
15	14–15	Speechmatics Enhanced	تجاري	0.097	0.091–0.103	0.110	0.088	0.107	0.083	2.5	11.4	$0.75
16	16–17	Whisper large-v3	مفتوح	0.049	0.046–0.052	0.029	0.029	0.067	0.069	2.9	13.7	–
17	16–17	Whisper-timestamped	مفتوح	0.049	0.046–0.052	0.021	0.022	0.075	0.076	2.5	13.4	–
–	–	Olewave Olign v1	تجاري	0.681	0.673–0.690	0.786	0.695	0.660	0.585	2.2	10.2	$0.18

⚠ استخدم مؤلفو CrisperWhisper مجموعة TIMIT لبناء توقيت الكلمات فيه، ولم يذكروا أي ملفات من TIMIT استخدموا. يختبر FA-Bench على ملفات الاختبار في TIMIT، فإذا استخدمها المؤلفون أيضًا، فإن نتائجه على TIMIT تأتي من صوت سبق أن رآه النموذج.

‡ ينهي Chirp 3 الكلمة الأخيرة في 15% من جمل اختبار Buckeye النظيفة بعد انتهاء الصوت بأكثر من 0.3 s.

‡ ينهي Deepgram الكلمة الأخيرة في 24% من جمل اختبار Buckeye النظيفة بعد انتهاء الصوت بأكثر من 0.3 s.

كل صف يمثل نظامًا واحدًا كما يُقدَّم للمستخدم. لا يُرتَّب هنا النظام المتتالي المكوَّن من أداة تعرّف ومحاذٍ قسري. يظهر في لوحات المحاذاة القسرية ضمن الكلمات المتعرَّف عليها، وفي F1 Drop في صف المحاذي الخاص به. سعر Olign هو 0.18$ للساعة، وهو سعر العرض الترويجي عند الإطلاق. أما سعره المعتمد فهو 0.21$.

Google Chirp 2 هو chirp_2, Speech-to-Text API v2. Google Chirp 3 هو chirp_3, Speech-to-Text API v2. Qwen3-ASR-Flash هو qwen3-asr-flash-filetrans, DashScope API v1. Mistral Voxtral Mini هو voxtral-mini-2602, API v1. ElevenLabs Scribe v2 هو scribe_v2, API v1. Amazon Transcribe هو en-US, batch API 2017-10-26. AssemblyAI Universal-3.5 Pro هو universal-3-5-pro, API v2. Deepgram Nova-3 هو nova-3, build 2025-07-31.0, API v1. IBM Watson STT en-US هو en-US large speech model, API v1. Azure AI Speech هو en-US, short audio REST API v1. Speechmatics Enhanced هو enhanced, builds 16.0.0 and 16.1.0, API v2. Olewave Olign v1 هو olign-1.0, Olign API v1.

لم يعد Olign يشارك في FA-Bench. نتائجه الأخيرة، من أكتوبر 2026، مدرجة بلا ترتيب في أسفل الجدول.

تنزيل ملف CSV.

المحاذاة القسرية، قيمة F1 للطوابع الزمنية للكلمات عند 20 ms

الترتيب	النطاق	النظام	الوصول	متوسط F1	فاصل الثقة 95%	انخفاض F1	TIMIT نظيف	TIMIT ضوضائي	Buckeye نظيف	Buckeye ضوضائي	MAE TIMIT	MAE Buckeye	السعر، بالدولار لكل ساعة صوت
1	1	MFA 3.4	مفتوح	0.658	0.650–0.667	0.030	0.685	0.649	0.706	0.594	21.8	21.3	–
2	2	PocketSphinx	مفتوح	0.648	0.639–0.658	0.033	0.645	0.594	0.728	0.627	30.5	22.1	–
3	3	NeuFA ⚠	مفتوح	0.599	0.589–0.607	–	0.600	0.493	0.712	0.589	56.9	33.9	–
4	4	Charsiu	مفتوح	0.563	0.553–0.573	0.024	0.597	0.532	0.627	0.497	28.1	28.1	–
5	5	MAPS ⚠	مفتوح	0.547	0.537–0.556	0.024	0.712	0.412	0.642	0.421	25.5	37.9	–
6	6	CrisperWhisper ⚠	مفتوح	0.473	0.461–0.485	0.017	0.489	0.480	0.491	0.434	34.1	43.1	–
7	7	Meta UnitY2	مفتوح	0.439	0.428–0.449	0.022	0.380	0.393	0.495	0.486	52.2	40.6	–
8	8	Qwen3-FA	مفتوح	0.402	0.391–0.413	0.013	0.416	0.386	0.426	0.380	32.2	33.8	–
9	9	Meta MMS-FA	مفتوح	0.345	0.338–0.352	0.014	0.353	0.350	0.344	0.332	31.1	37.1	–
10	10	ElevenLabs-FA	تجاري	0.295	0.289–0.302	0.015	0.299	0.300	0.293	0.288	31.9	35.5	$0.22
11	11–13	BFA	مفتوح	0.272	0.264–0.280	0.009	0.276	0.255	0.285	0.272	51.0	57.2	–
12	11–13	WhisperX	مفتوح	0.271	0.264–0.277	0.014	0.280	0.267	0.281	0.254	37.2	41.7	–
13	12–13	TorchAudio	مفتوح	0.265	0.258–0.272	0.013	0.273	0.255	0.275	0.256	39.8	42.4	–
14	14	stable-ts	مفتوح	0.251	0.243–0.260	0.015	0.197	0.210	0.301	0.297	96.8	71.2	–
15	15	NVIDIA NeMo-FA †	مفتوح	0.155	0.149–0.163	0.008	0.157	0.158	0.151	0.156	79.2	91.4	–
–	–	Olewave Olign v1	تجاري	0.735	0.726–0.743	–	0.805	0.710	0.755	0.668	18.2	22.4	$0.18

F1 Drop هو مقدار انخفاض متوسط F1 للمحاذي عندما يُعطى الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. على سبيل المثال، يسجّل MFA 3.4 القيمة 0.658 على النص المرجعي والقيمة 0.628 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.030.

⚠ دُرّب NeuFA على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

⚠ دُرّب MAPS على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

⚠ استخدم مؤلفو CrisperWhisper مجموعة TIMIT لبناء توقيت الكلمات فيه، ولم يذكروا أي ملفات من TIMIT استخدموا. يختبر FA-Bench على ملفات الاختبار في TIMIT، فإذا استخدمها المؤلفون أيضًا، فإن نتائجه على TIMIT تأتي من صوت سبق أن رآه النموذج.

† NeMo-FA هنا هو نموذجه بدقة 80 ms. متوسط F1 للنموذج بدقة 40 ms هو 0.199.

يعرض مفتاح النص المحاذي الذي أُعطي الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. تبلغ WER لهذه الكلمات 2.0% على مجموعة اختبار TIMIT الأساسية و10.2% على مجموعة اختبار Buckeye بالصوت النظيف. لم يُشغَّل NeuFA على الكلمات المتعرَّف عليها. يسجّل MFA 3.4 على كلمات Parakeet-TDT القيمة 0.625، ويسجّل WhisperX على كلمات Whisper large-v3 القيمة 0.234. سعر Olign هو 0.18$ للساعة، وهو سعر العرض الترويجي عند الإطلاق. أما سعره المعتمد فهو 0.21$.

NeuFA هو trained with its open-source code on GitHub, not released. ElevenLabs-FA هو forced-alignment, API v1. Olewave Olign v1 هو olign-1.0, Olign API v1.

لم يعد Olign يشارك في FA-Bench. نتائجه الأخيرة، من أكتوبر 2026، مدرجة بلا ترتيب في أسفل الجدول.

تنزيل ملف CSV.

المحاذاة القسرية، قيمة F1 لحدود الوحدات الصوتية (phones) عند 20 ms

الترتيب	النطاق	النظام	الوصول	متوسط F1	فاصل الثقة 95%	انخفاض F1	TIMIT نظيف	TIMIT ضوضائي	Buckeye نظيف	Buckeye ضوضائي	PER TIMIT	PER Buckeye	السعر، بالدولار لكل ساعة صوت
1	1	MFA 3.4	مفتوح	0.436	0.431–0.443	0.008	0.393	0.372	0.518	0.463	34.8	26.1	–
2	2	PocketSphinx	مفتوح	0.402	0.396–0.408	0.007	0.338	0.326	0.494	0.450	33.9	26.0	–
3	3	MAPS ⚠	مفتوح	0.383	0.377–0.389	0.005	0.454	0.319	0.445	0.313	30.7	34.9	–
4	4	Charsiu	مفتوح	0.372	0.367–0.378	0.003	0.360	0.347	0.424	0.359	30.3	31.7	–
5	5	NeuFA ⚠	مفتوح	0.366	0.360–0.371	–	0.326	0.277	0.460	0.399	36.0	28.0	–
6	6	TorchAudio	مفتوح	0.235	0.230–0.240	0.005	0.208	0.206	0.266	0.261	35.9	28.5	–
7	7	BFA	مفتوح	0.217	0.212–0.221	0.004	0.183	0.178	0.255	0.251	36.2	32.1	–
–	–	Olewave Olign v1	تجاري	0.452	0.446–0.459	–	0.410	0.393	0.523	0.483	35.4	28.2	$0.18

F1 Drop هو مقدار انخفاض متوسط F1 للمحاذي عندما يُعطى الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. على سبيل المثال، يسجّل MFA 3.4 القيمة 0.436 على النص المرجعي والقيمة 0.428 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.008.

⚠ دُرّب MAPS على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

⚠ دُرّب NeuFA على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

استُبعد FALCON من هذه اللوحة لأنه يُعطى الأصوات المرجعية (phones)، وهو ما لا يحصل عليه أي محاذٍ آخر هنا. متوسط F1 له هو 0.560. يعرض مفتاح النص المحاذي الذي أُعطي الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. تبلغ WER لهذه الكلمات 2.0% على مجموعة اختبار TIMIT الأساسية و10.2% على مجموعة اختبار Buckeye بالصوت النظيف. لم يُشغَّل NeuFA على الكلمات المتعرَّف عليها. يسجّل MFA 3.4 على كلمات Parakeet-TDT القيمة 0.429.

NeuFA هو trained with its open-source code on GitHub, not released. Olewave Olign v1 هو olign-1.0, Olign API v1.

لم يعد Olign يشارك في FA-Bench. نتائجه الأخيرة، من أكتوبر 2026، مدرجة بلا ترتيب في أسفل الجدول.

تنزيل ملف CSV.

المحاذاة القسرية بالكلمات المتعرَّف عليها، قيمة F1 للطوابع الزمنية للكلمات عند 20 ms

الترتيب	النطاق	النظام	الوصول	متوسط F1	فاصل الثقة 95%	انخفاض F1	TIMIT نظيف	TIMIT ضوضائي	Buckeye نظيف	Buckeye ضوضائي	MAE TIMIT	MAE Buckeye	السعر، بالدولار لكل ساعة صوت
1	1	MFA 3.4	مفتوح	0.628	0.619–0.637	0.030	0.677	0.642	0.649	0.545	21.8	22.7	–
2	2	PocketSphinx	مفتوح	0.615	0.605–0.624	0.033	0.632	0.585	0.669	0.573	30.6	22.6	–
3	3	Charsiu	مفتوح	0.539	0.529–0.550	0.024	0.587	0.522	0.586	0.463	28.2	26.1	–
4	4	MAPS ⚠	مفتوح	0.523	0.514–0.532	0.024	0.702	0.407	0.595	0.387	25.5	39.8	–
5	5	CrisperWhisper ⚠	مفتوح	0.456	0.443–0.468	0.017	0.485	0.472	0.464	0.403	33.8	39.2	–
6	6	Meta UnitY2	مفتوح	0.417	0.406–0.428	0.022	0.375	0.385	0.461	0.447	52.4	39.8	–
7	7	Qwen3-FA	مفتوح	0.389	0.377–0.399	0.013	0.408	0.383	0.405	0.358	32.6	30.6	–
8	8	Meta MMS-FA	مفتوح	0.331	0.324–0.337	0.014	0.349	0.346	0.323	0.305	31.1	34.3	–
9	9	ElevenLabs-FA	تجاري	0.280	0.274–0.287	0.015	0.295	0.293	0.271	0.261	31.9	34.0	$0.22
10	10–11	BFA	مفتوح	0.263	0.255–0.271	0.009	0.272	0.251	0.283	0.247	51.0	48.6	–
11	10–12	WhisperX	مفتوح	0.257	0.250–0.263	0.014	0.276	0.263	0.259	0.230	37.3	39.7	–
12	11–12	TorchAudio	مفتوح	0.252	0.245–0.260	0.013	0.269	0.252	0.254	0.234	39.9	39.8	–
13	13	stable-ts	مفتوح	0.236	0.228–0.244	0.015	0.193	0.204	0.278	0.270	97.8	70.8	–
14	14	NVIDIA NeMo-FA †	مفتوح	0.147	0.140–0.154	0.008	0.154	0.154	0.139	0.140	79.3	88.8	–
–	–	Olewave Olign 0.9	تجاري	0.704	0.694–0.712	0.031	0.791	0.697	0.703	0.623	18.3	20.8	–

F1 Drop هو مقدار انخفاض متوسط F1 للمحاذي عندما يُعطى الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. على سبيل المثال، يسجّل MFA 3.4 القيمة 0.658 على النص المرجعي والقيمة 0.628 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.030.

⚠ دُرّب MAPS على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

⚠ استخدم مؤلفو CrisperWhisper مجموعة TIMIT لبناء توقيت الكلمات فيه، ولم يذكروا أي ملفات من TIMIT استخدموا. يختبر FA-Bench على ملفات الاختبار في TIMIT، فإذا استخدمها المؤلفون أيضًا، فإن نتائجه على TIMIT تأتي من صوت سبق أن رآه النموذج.

† NeMo-FA هنا هو نموذجه بدقة 80 ms. متوسط F1 للنموذج بدقة 40 ms هو 0.189.

تبلغ WER لكلمات Qwen3-ASR 2.0% على مجموعة اختبار TIMIT الأساسية و10.2% على مجموعة اختبار Buckeye بالصوت النظيف. لم يُشغَّل NeuFA على الكلمات المتعرَّف عليها. ولم يُشغَّل Olign v1 على الكلمات المتعرَّف عليها، لذا فإن صف Olign غير المرتَّب هنا هو Olign 0.9.

ElevenLabs-FA هو forced-alignment, API v1. Olewave Olign 0.9 هو olign-0.9.

لم يعد Olign يشارك في FA-Bench. نتائجه الأخيرة، من أكتوبر 2026، مدرجة بلا ترتيب في أسفل الجدول.

تنزيل ملف CSV.

المحاذاة القسرية بالكلمات المتعرَّف عليها، قيمة F1 لحدود الوحدات الصوتية (phones) عند 20 ms

الترتيب	النطاق	النظام	الوصول	متوسط F1	فاصل الثقة 95%	انخفاض F1	TIMIT نظيف	TIMIT ضوضائي	Buckeye نظيف	Buckeye ضوضائي	PER TIMIT	PER Buckeye	السعر، بالدولار لكل ساعة صوت
1	1	MFA 3.4	مفتوح	0.428	0.423–0.434	0.008	0.394	0.372	0.502	0.446	34.8	28.2	–
2	2	PocketSphinx	مفتوح	0.395	0.389–0.401	0.007	0.337	0.325	0.482	0.436	34.0	27.2	–
3	3	MAPS ⚠	مفتوح	0.378	0.372–0.384	0.005	0.455	0.319	0.435	0.303	30.7	35.8	–
4	4	Charsiu	مفتوح	0.369	0.363–0.375	0.003	0.361	0.347	0.417	0.352	30.3	32.7	–
5	5	TorchAudio	مفتوح	0.230	0.226–0.235	0.005	0.207	0.205	0.260	0.250	35.9	30.0	–
6	6	BFA	مفتوح	0.213	0.208–0.217	0.004	0.183	0.177	0.253	0.238	36.2	33.6	–
–	–	Olewave Olign 0.9	تجاري	0.447	0.440–0.453	0.005	0.410	0.393	0.513	0.470	35.4	29.2	–

F1 Drop هو مقدار انخفاض متوسط F1 للمحاذي عندما يُعطى الكلمات التي تعرّف عليها Qwen3-ASR بدلًا من النص المرجعي. على سبيل المثال، يسجّل MFA 3.4 القيمة 0.436 على النص المرجعي والقيمة 0.428 على الكلمات المتعرَّف عليها، أي F1 Drop قدره 0.008.

⚠ دُرّب MAPS على 7 من أصل 8 متحدثين في مجموعة اختبار Buckeye ضمن FA-Bench، لذا فإن معظم صوت اختبار Buckeye لديه يعود إلى متحدثين دُرّب عليهم.

تبلغ WER لكلمات Qwen3-ASR 2.0% على مجموعة اختبار TIMIT الأساسية و10.2% على مجموعة اختبار Buckeye بالصوت النظيف. لم يُشغَّل NeuFA على الكلمات المتعرَّف عليها. ولم يُشغَّل Olign v1 على الكلمات المتعرَّف عليها، لذا فإن صف Olign غير المرتَّب هنا هو Olign 0.9.

Olewave Olign 0.9 هو olign-0.9.

لم يعد Olign يشارك في FA-Bench. نتائجه الأخيرة، من أكتوبر 2026، مدرجة بلا ترتيب في أسفل الجدول.

تنزيل ملف CSV.