Name: FA-Bench leaderboard
Creator: Olewave

타임스탬프 ASR, 20 ms 기준 단어 타임스탬프 F1

순위	범위	시스템	접근 방식	평균 F1	95% 구간	TIMIT 깨끗한 음성	TIMIT 잡음 음성	Buckeye 깨끗한 음성	Buckeye 잡음 음성	WER TIMIT	WER Buckeye	가격, 오디오 1시간당 $
1	1–2	IBM Granite Speech 4.1 Plus	오픈	0.489	0.477–0.500	0.597	0.531	0.450	0.379	2.9	10.4	–
2	1–2	Google Chirp 2	상용	0.486	0.475–0.498	0.488	0.497	0.492	0.469	4.2	13.1	$0.96
3	3–4	CrisperWhisper ⚠	오픈	0.455	0.442–0.466	0.484	0.472	0.463	0.399	3.6	11.5	–
4	3–4	Google Chirp 3 ‡	상용	0.452	0.442–0.462	0.460	0.438	0.479	0.431	5.2	13.5	$0.96
5	5	Qwen3-ASR-Flash	상용	0.363	0.353–0.374	0.398	0.355	0.376	0.322	1.8	10.1	$0.13
6	6	Mistral Voxtral Mini	상용	0.308	0.298–0.319	0.315	0.294	0.325	0.299	2.4	13.4	$0.18
7	7–8	ElevenLabs Scribe v2	상용	0.281	0.275–0.288	0.304	0.297	0.267	0.256	2.1	10.7	$0.22
8	7–8	Amazon Transcribe	상용	0.273	0.263–0.284	0.259	0.264	0.289	0.281	2.7	10.3	$0.36
9	9–10	AssemblyAI Universal-3.5 Pro	상용	0.213	0.204–0.222	0.237	0.218	0.211	0.185	2.0	9.0	$0.21
10	9–10	TorchAudio (ASR)	오픈	0.209	0.203–0.216	0.254	0.213	0.211	0.159	10.8	27.8	–
11	11–12	Deepgram Nova-3 ‡	상용	0.170	0.161–0.178	0.191	0.185	0.155	0.148	2.4	10.8	$0.26
12	11–12	Parakeet-TDT	오픈	0.164	0.155–0.172	0.172	0.174	0.156	0.153	2.4	11.0	–
13	13	IBM Watson STT en-US	상용	0.149	0.142–0.157	0.135	0.132	0.176	0.155	5.1	12.4	$1.27
14	14–15	Azure AI Speech	상용	0.100	0.094–0.107	0.117	0.112	0.089	0.083	3.4	11.5	$1.00
15	14–15	Speechmatics Enhanced	상용	0.097	0.091–0.103	0.110	0.088	0.107	0.083	2.5	11.4	$0.75
16	16–17	Whisper large-v3	오픈	0.049	0.046–0.052	0.029	0.029	0.067	0.069	2.9	13.7	–
17	16–17	Whisper-timestamped	오픈	0.049	0.046–0.052	0.021	0.022	0.075	0.076	2.5	13.4	–
–	–	Olewave Olign v1	상용	0.681	0.673–0.690	0.786	0.695	0.660	0.585	2.2	10.2	$0.18

⚠ CrisperWhisper의 개발진은 단어 타이밍 모델을 만들 때 TIMIT를 사용했지만, 어떤 TIMIT 파일을 썼는지는 밝히지 않았습니다. FA-Bench는 TIMIT의 테스트 파일로 평가하므로, 개발진이 같은 파일을 썼다면 이 모델의 TIMIT 점수는 이미 학습한 음성에서 나온 것입니다.

‡ Chirp 3는 깨끗한 Buckeye 테스트 발화의 15%에서 마지막 단어의 끝 시점이 오디오 끝보다 0.3 s 넘게 늦습니다.

‡ Deepgram은 깨끗한 Buckeye 테스트 발화의 24%에서 마지막 단어의 끝 시점이 오디오 끝보다 0.3 s 넘게 늦습니다.

각 행은 출시된 상태 그대로의 시스템 하나입니다. 인식기와 강제 정렬기를 연결한 캐스케이드는 여기에서 순위를 매기지 않습니다. 캐스케이드는 강제 정렬 보드의 인식된 단어 항목에, 그리고 해당 정렬기 행의 F1 하락폭에 나타납니다. Olign의 가격은 시간당 $0.18이며, 이는 출시 프로모션 가격입니다. 정가는 $0.21입니다.

Google Chirp 2은(는) chirp_2, Speech-to-Text API v2입니다. Google Chirp 3은(는) chirp_3, Speech-to-Text API v2입니다. Qwen3-ASR-Flash은(는) qwen3-asr-flash-filetrans, DashScope API v1입니다. Mistral Voxtral Mini은(는) voxtral-mini-2602, API v1입니다. ElevenLabs Scribe v2은(는) scribe_v2, API v1입니다. Amazon Transcribe은(는) en-US, batch API 2017-10-26입니다. AssemblyAI Universal-3.5 Pro은(는) universal-3-5-pro, API v2입니다. Deepgram Nova-3은(는) nova-3, build 2025-07-31.0, API v1입니다. IBM Watson STT en-US은(는) en-US large speech model, API v1입니다. Azure AI Speech은(는) en-US, short audio REST API v1입니다. Speechmatics Enhanced은(는) enhanced, builds 16.0.0 and 16.1.0, API v2입니다. Olewave Olign v1은(는) olign-1.0, Olign API v1입니다.

Olign은 더 이상 FA-Bench에 참여하지 않습니다. 2026년 10월의 마지막 결과는 표 맨 아래에 순위 없이 표시됩니다.

CSV 다운로드.

강제 정렬, 20 ms 기준 단어 타임스탬프 F1

순위	범위	시스템	접근 방식	평균 F1	95% 구간	F1 하락	TIMIT 깨끗한 음성	TIMIT 잡음 음성	Buckeye 깨끗한 음성	Buckeye 잡음 음성	MAE TIMIT	MAE Buckeye	가격, 오디오 1시간당 $
1	1	MFA 3.4	오픈	0.658	0.650–0.667	0.030	0.685	0.649	0.706	0.594	21.8	21.3	–
2	2	PocketSphinx	오픈	0.648	0.639–0.658	0.033	0.645	0.594	0.728	0.627	30.5	22.1	–
3	3	NeuFA ⚠	오픈	0.599	0.589–0.607	–	0.600	0.493	0.712	0.589	56.9	33.9	–
4	4	Charsiu	오픈	0.563	0.553–0.573	0.024	0.597	0.532	0.627	0.497	28.1	28.1	–
5	5	MAPS ⚠	오픈	0.547	0.537–0.556	0.024	0.712	0.412	0.642	0.421	25.5	37.9	–
6	6	CrisperWhisper ⚠	오픈	0.473	0.461–0.485	0.017	0.489	0.480	0.491	0.434	34.1	43.1	–
7	7	Meta UnitY2	오픈	0.439	0.428–0.449	0.022	0.380	0.393	0.495	0.486	52.2	40.6	–
8	8	Qwen3-FA	오픈	0.402	0.391–0.413	0.013	0.416	0.386	0.426	0.380	32.2	33.8	–
9	9	Meta MMS-FA	오픈	0.345	0.338–0.352	0.014	0.353	0.350	0.344	0.332	31.1	37.1	–
10	10	ElevenLabs-FA	상용	0.295	0.289–0.302	0.015	0.299	0.300	0.293	0.288	31.9	35.5	$0.22
11	11–13	BFA	오픈	0.272	0.264–0.280	0.009	0.276	0.255	0.285	0.272	51.0	57.2	–
12	11–13	WhisperX	오픈	0.271	0.264–0.277	0.014	0.280	0.267	0.281	0.254	37.2	41.7	–
13	12–13	TorchAudio	오픈	0.265	0.258–0.272	0.013	0.273	0.255	0.275	0.256	39.8	42.4	–
14	14	stable-ts	오픈	0.251	0.243–0.260	0.015	0.197	0.210	0.301	0.297	96.8	71.2	–
15	15	NVIDIA NeMo-FA †	오픈	0.155	0.149–0.163	0.008	0.157	0.158	0.151	0.156	79.2	91.4	–
–	–	Olewave Olign v1	상용	0.735	0.726–0.743	–	0.805	0.710	0.755	0.668	18.2	22.4	$0.18

F1 하락폭은 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력했을 때 정렬기의 평균 F1이 떨어지는 정도입니다. 예를 들어 MFA 3.4은(는) 참조 전사에서 0.658점, 인식된 단어에서 0.628점을 기록하여 F1 하락폭이 0.030입니다.

⚠ NeuFA는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

⚠ MAPS는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

⚠ CrisperWhisper의 개발진은 단어 타이밍 모델을 만들 때 TIMIT를 사용했지만, 어떤 TIMIT 파일을 썼는지는 밝히지 않았습니다. FA-Bench는 TIMIT의 테스트 파일로 평가하므로, 개발진이 같은 파일을 썼다면 이 모델의 TIMIT 점수는 이미 학습한 음성에서 나온 것입니다.

† 여기서 NeMo-FA는 80 ms 모델입니다. 40 ms 모델의 평균 F1은 0.199입니다.

전사 전환 스위치는 각 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력한 결과를 보여 줍니다. 이 단어의 WER은 깨끗한 오디오 기준으로 TIMIT 코어 테스트에서 2.0%, Buckeye 테스트에서 10.2%입니다. NeuFA는 인식된 단어로 실행하지 않았습니다. Parakeet-TDT의 단어를 입력한 MFA 3.4는 0.625점이고, Whisper large-v3의 단어를 입력한 WhisperX는 0.234점입니다. Olign의 가격은 시간당 $0.18이며, 이는 출시 프로모션 가격입니다. 정가는 $0.21입니다.

NeuFA은(는) trained with its open-source code on GitHub, not released입니다. ElevenLabs-FA은(는) forced-alignment, API v1입니다. Olewave Olign v1은(는) olign-1.0, Olign API v1입니다.

Olign은 더 이상 FA-Bench에 참여하지 않습니다. 2026년 10월의 마지막 결과는 표 맨 아래에 순위 없이 표시됩니다.

CSV 다운로드.

강제 정렬, 20 ms 기준 음소 경계 F1

순위	범위	시스템	접근 방식	평균 F1	95% 구간	F1 하락	TIMIT 깨끗한 음성	TIMIT 잡음 음성	Buckeye 깨끗한 음성	Buckeye 잡음 음성	PER TIMIT	PER Buckeye	가격, 오디오 1시간당 $
1	1	MFA 3.4	오픈	0.436	0.431–0.443	0.008	0.393	0.372	0.518	0.463	34.8	26.1	–
2	2	PocketSphinx	오픈	0.402	0.396–0.408	0.007	0.338	0.326	0.494	0.450	33.9	26.0	–
3	3	MAPS ⚠	오픈	0.383	0.377–0.389	0.005	0.454	0.319	0.445	0.313	30.7	34.9	–
4	4	Charsiu	오픈	0.372	0.367–0.378	0.003	0.360	0.347	0.424	0.359	30.3	31.7	–
5	5	NeuFA ⚠	오픈	0.366	0.360–0.371	–	0.326	0.277	0.460	0.399	36.0	28.0	–
6	6	TorchAudio	오픈	0.235	0.230–0.240	0.005	0.208	0.206	0.266	0.261	35.9	28.5	–
7	7	BFA	오픈	0.217	0.212–0.221	0.004	0.183	0.178	0.255	0.251	36.2	32.1	–
–	–	Olewave Olign v1	상용	0.452	0.446–0.459	–	0.410	0.393	0.523	0.483	35.4	28.2	$0.18

F1 하락폭은 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력했을 때 정렬기의 평균 F1이 떨어지는 정도입니다. 예를 들어 MFA 3.4은(는) 참조 전사에서 0.436점, 인식된 단어에서 0.428점을 기록하여 F1 하락폭이 0.008입니다.

⚠ MAPS는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

⚠ NeuFA는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

FALCON은 이 보드에서 제외했습니다. 여기 있는 다른 정렬기와 달리 참조 음소를 입력받기 때문입니다. FALCON의 평균 F1은 0.560입니다. 전사 전환 스위치는 각 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력한 결과를 보여 줍니다. 이 단어의 WER은 깨끗한 오디오 기준으로 TIMIT 코어 테스트에서 2.0%, Buckeye 테스트에서 10.2%입니다. NeuFA는 인식된 단어로 실행하지 않았습니다. Parakeet-TDT의 단어를 입력한 MFA 3.4는 0.429점입니다.

NeuFA은(는) trained with its open-source code on GitHub, not released입니다. Olewave Olign v1은(는) olign-1.0, Olign API v1입니다.

Olign은 더 이상 FA-Bench에 참여하지 않습니다. 2026년 10월의 마지막 결과는 표 맨 아래에 순위 없이 표시됩니다.

CSV 다운로드.

인식된 단어를 사용한 강제 정렬, 20 ms 기준 단어 타임스탬프 F1

순위	범위	시스템	접근 방식	평균 F1	95% 구간	F1 하락	TIMIT 깨끗한 음성	TIMIT 잡음 음성	Buckeye 깨끗한 음성	Buckeye 잡음 음성	MAE TIMIT	MAE Buckeye	가격, 오디오 1시간당 $
1	1	MFA 3.4	오픈	0.628	0.619–0.637	0.030	0.677	0.642	0.649	0.545	21.8	22.7	–
2	2	PocketSphinx	오픈	0.615	0.605–0.624	0.033	0.632	0.585	0.669	0.573	30.6	22.6	–
3	3	Charsiu	오픈	0.539	0.529–0.550	0.024	0.587	0.522	0.586	0.463	28.2	26.1	–
4	4	MAPS ⚠	오픈	0.523	0.514–0.532	0.024	0.702	0.407	0.595	0.387	25.5	39.8	–
5	5	CrisperWhisper ⚠	오픈	0.456	0.443–0.468	0.017	0.485	0.472	0.464	0.403	33.8	39.2	–
6	6	Meta UnitY2	오픈	0.417	0.406–0.428	0.022	0.375	0.385	0.461	0.447	52.4	39.8	–
7	7	Qwen3-FA	오픈	0.389	0.377–0.399	0.013	0.408	0.383	0.405	0.358	32.6	30.6	–
8	8	Meta MMS-FA	오픈	0.331	0.324–0.337	0.014	0.349	0.346	0.323	0.305	31.1	34.3	–
9	9	ElevenLabs-FA	상용	0.280	0.274–0.287	0.015	0.295	0.293	0.271	0.261	31.9	34.0	$0.22
10	10–11	BFA	오픈	0.263	0.255–0.271	0.009	0.272	0.251	0.283	0.247	51.0	48.6	–
11	10–12	WhisperX	오픈	0.257	0.250–0.263	0.014	0.276	0.263	0.259	0.230	37.3	39.7	–
12	11–12	TorchAudio	오픈	0.252	0.245–0.260	0.013	0.269	0.252	0.254	0.234	39.9	39.8	–
13	13	stable-ts	오픈	0.236	0.228–0.244	0.015	0.193	0.204	0.278	0.270	97.8	70.8	–
14	14	NVIDIA NeMo-FA †	오픈	0.147	0.140–0.154	0.008	0.154	0.154	0.139	0.140	79.3	88.8	–
–	–	Olewave Olign 0.9	상용	0.704	0.694–0.712	0.031	0.791	0.697	0.703	0.623	18.3	20.8	–

F1 하락폭은 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력했을 때 정렬기의 평균 F1이 떨어지는 정도입니다. 예를 들어 MFA 3.4은(는) 참조 전사에서 0.658점, 인식된 단어에서 0.628점을 기록하여 F1 하락폭이 0.030입니다.

⚠ MAPS는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

⚠ CrisperWhisper의 개발진은 단어 타이밍 모델을 만들 때 TIMIT를 사용했지만, 어떤 TIMIT 파일을 썼는지는 밝히지 않았습니다. FA-Bench는 TIMIT의 테스트 파일로 평가하므로, 개발진이 같은 파일을 썼다면 이 모델의 TIMIT 점수는 이미 학습한 음성에서 나온 것입니다.

† 여기서 NeMo-FA는 80 ms 모델입니다. 40 ms 모델의 평균 F1은 0.189입니다.

Qwen3-ASR 단어의 WER은 깨끗한 오디오 기준으로 TIMIT 코어 테스트에서 2.0%, Buckeye 테스트에서 10.2%입니다. NeuFA는 인식된 단어로 실행하지 않았습니다. Olign v1은 인식된 단어로 실행하지 않았으므로, 여기에 표시된 순위 없는 Olign 행은 Olign 0.9입니다.

ElevenLabs-FA은(는) forced-alignment, API v1입니다. Olewave Olign 0.9은(는) olign-0.9입니다.

Olign은 더 이상 FA-Bench에 참여하지 않습니다. 2026년 10월의 마지막 결과는 표 맨 아래에 순위 없이 표시됩니다.

CSV 다운로드.

인식된 단어를 사용한 강제 정렬, 20 ms 기준 음소 경계 F1

순위	범위	시스템	접근 방식	평균 F1	95% 구간	F1 하락	TIMIT 깨끗한 음성	TIMIT 잡음 음성	Buckeye 깨끗한 음성	Buckeye 잡음 음성	PER TIMIT	PER Buckeye	가격, 오디오 1시간당 $
1	1	MFA 3.4	오픈	0.428	0.423–0.434	0.008	0.394	0.372	0.502	0.446	34.8	28.2	–
2	2	PocketSphinx	오픈	0.395	0.389–0.401	0.007	0.337	0.325	0.482	0.436	34.0	27.2	–
3	3	MAPS ⚠	오픈	0.378	0.372–0.384	0.005	0.455	0.319	0.435	0.303	30.7	35.8	–
4	4	Charsiu	오픈	0.369	0.363–0.375	0.003	0.361	0.347	0.417	0.352	30.3	32.7	–
5	5	TorchAudio	오픈	0.230	0.226–0.235	0.005	0.207	0.205	0.260	0.250	35.9	30.0	–
6	6	BFA	오픈	0.213	0.208–0.217	0.004	0.183	0.177	0.253	0.238	36.2	33.6	–
–	–	Olewave Olign 0.9	상용	0.447	0.440–0.453	0.005	0.410	0.393	0.513	0.470	35.4	29.2	–

F1 하락폭은 정렬기에 참조 전사 대신 Qwen3-ASR이 인식한 단어를 입력했을 때 정렬기의 평균 F1이 떨어지는 정도입니다. 예를 들어 MFA 3.4은(는) 참조 전사에서 0.436점, 인식된 단어에서 0.428점을 기록하여 F1 하락폭이 0.008입니다.

⚠ MAPS는 FA-Bench의 Buckeye 테스트 세트에 있는 8명의 화자 중 7명의 음성으로 학습되었습니다. 따라서 Buckeye 테스트 오디오 대부분이 학습에 사용된 화자의 음성입니다.

Qwen3-ASR 단어의 WER은 깨끗한 오디오 기준으로 TIMIT 코어 테스트에서 2.0%, Buckeye 테스트에서 10.2%입니다. NeuFA는 인식된 단어로 실행하지 않았습니다. Olign v1은 인식된 단어로 실행하지 않았으므로, 여기에 표시된 순위 없는 Olign 행은 Olign 0.9입니다.

Olewave Olign 0.9은(는) olign-0.9입니다.

Olign은 더 이상 FA-Bench에 참여하지 않습니다. 2026년 10월의 마지막 결과는 표 맨 아래에 순위 없이 표시됩니다.

CSV 다운로드.