Name: FA-Bench leaderboard
Creator: Olewave

タイムスタンプ付きASR、20 msでの単語タイムスタンプF1

順位	範囲	システム	アクセス	平均F1	95%区間	TIMIT クリーン	TIMIT ノイズ	Buckeye クリーン	Buckeye ノイズ	WER TIMIT	WER Buckeye	価格、音声1時間あたりの$
1	1–2	IBM Granite Speech 4.1 Plus	オープン	0.489	0.477–0.500	0.597	0.531	0.450	0.379	2.9	10.4	–
2	1–2	Google Chirp 2	商用	0.486	0.475–0.498	0.488	0.497	0.492	0.469	4.2	13.1	$0.96
3	3–4	CrisperWhisper ⚠	オープン	0.455	0.442–0.466	0.484	0.472	0.463	0.399	3.6	11.5	–
4	3–4	Google Chirp 3 ‡	商用	0.452	0.442–0.462	0.460	0.438	0.479	0.431	5.2	13.5	$0.96
5	5	Qwen3-ASR-Flash	商用	0.363	0.353–0.374	0.398	0.355	0.376	0.322	1.8	10.1	$0.13
6	6	Mistral Voxtral Mini	商用	0.308	0.298–0.319	0.315	0.294	0.325	0.299	2.4	13.4	$0.18
7	7–8	ElevenLabs Scribe v2	商用	0.281	0.275–0.288	0.304	0.297	0.267	0.256	2.1	10.7	$0.22
8	7–8	Amazon Transcribe	商用	0.273	0.263–0.284	0.259	0.264	0.289	0.281	2.7	10.3	$0.36
9	9–10	AssemblyAI Universal-3.5 Pro	商用	0.213	0.204–0.222	0.237	0.218	0.211	0.185	2.0	9.0	$0.21
10	9–10	TorchAudio (ASR)	オープン	0.209	0.203–0.216	0.254	0.213	0.211	0.159	10.8	27.8	–
11	11–12	Deepgram Nova-3 ‡	商用	0.170	0.161–0.178	0.191	0.185	0.155	0.148	2.4	10.8	$0.26
12	11–12	Parakeet-TDT	オープン	0.164	0.155–0.172	0.172	0.174	0.156	0.153	2.4	11.0	–
13	13	IBM Watson STT en-US	商用	0.149	0.142–0.157	0.135	0.132	0.176	0.155	5.1	12.4	$1.27
14	14–15	Azure AI Speech	商用	0.100	0.094–0.107	0.117	0.112	0.089	0.083	3.4	11.5	$1.00
15	14–15	Speechmatics Enhanced	商用	0.097	0.091–0.103	0.110	0.088	0.107	0.083	2.5	11.4	$0.75
16	16–17	Whisper large-v3	オープン	0.049	0.046–0.052	0.029	0.029	0.067	0.069	2.9	13.7	–
17	16–17	Whisper-timestamped	オープン	0.049	0.046–0.052	0.021	0.022	0.075	0.076	2.5	13.4	–
–	–	Olewave Olign v1	商用	0.681	0.673–0.690	0.786	0.695	0.660	0.585	2.2	10.2	$0.18

⚠ CrisperWhisperの作者はTIMITを使って単語タイミングを構築しており、どのTIMITファイルを使ったかは明らかにしていません。FA-BenchはTIMITのテストファイルで評価します。作者もそれらを使っていた場合、TIMITのスコアはすでに学習済みの音声から得られたものになります。

‡ Chirp 3は、クリーンなBuckeyeテスト発話の15%で、最後の単語の終了時刻が音声の終了より0.3 sを超えて遅くなります。

‡ Deepgramは、クリーンなBuckeyeテスト発話の24%で、最後の単語の終了時刻が音声の終了より0.3 sを超えて遅くなります。

各行は、提供されている状態のままの1つのシステムです。認識器と強制アライメンターを組み合わせたカスケードは、ここではランク付けしません。カスケードは、強制アライメントのボードの「認識された単語」の下と、そのアライメンターの行のF1低下に表示されます。Olignの価格は1時間あたり$0.18で、これはローンチ記念の価格です。定価は$0.21です。

Google Chirp 2はchirp_2, Speech-to-Text API v2です。 Google Chirp 3はchirp_3, Speech-to-Text API v2です。 Qwen3-ASR-Flashはqwen3-asr-flash-filetrans, DashScope API v1です。 Mistral Voxtral Miniはvoxtral-mini-2602, API v1です。 ElevenLabs Scribe v2はscribe_v2, API v1です。 Amazon Transcribeはen-US, batch API 2017-10-26です。 AssemblyAI Universal-3.5 Proはuniversal-3-5-pro, API v2です。 Deepgram Nova-3はnova-3, build 2025-07-31.0, API v1です。 IBM Watson STT en-USはen-US large speech model, API v1です。 Azure AI Speechはen-US, short audio REST API v1です。 Speechmatics Enhancedはenhanced, builds 16.0.0 and 16.1.0, API v2です。 Olewave Olign v1はolign-1.0, Olign API v1です。

OlignはFA-Benchに参加していません。2026年10月の最後の結果は、表の末尾にランク外として掲載しています。

CSVをダウンロード.

強制アライメント、20 msでの単語タイムスタンプF1

順位	範囲	システム	アクセス	平均F1	95%区間	F1低下	TIMIT クリーン	TIMIT ノイズ	Buckeye クリーン	Buckeye ノイズ	MAE TIMIT	MAE Buckeye	価格、音声1時間あたりの$
1	1	MFA 3.4	オープン	0.658	0.650–0.667	0.030	0.685	0.649	0.706	0.594	21.8	21.3	–
2	2	PocketSphinx	オープン	0.648	0.639–0.658	0.033	0.645	0.594	0.728	0.627	30.5	22.1	–
3	3	NeuFA ⚠	オープン	0.599	0.589–0.607	–	0.600	0.493	0.712	0.589	56.9	33.9	–
4	4	Charsiu	オープン	0.563	0.553–0.573	0.024	0.597	0.532	0.627	0.497	28.1	28.1	–
5	5	MAPS ⚠	オープン	0.547	0.537–0.556	0.024	0.712	0.412	0.642	0.421	25.5	37.9	–
6	6	CrisperWhisper ⚠	オープン	0.473	0.461–0.485	0.017	0.489	0.480	0.491	0.434	34.1	43.1	–
7	7	Meta UnitY2	オープン	0.439	0.428–0.449	0.022	0.380	0.393	0.495	0.486	52.2	40.6	–
8	8	Qwen3-FA	オープン	0.402	0.391–0.413	0.013	0.416	0.386	0.426	0.380	32.2	33.8	–
9	9	Meta MMS-FA	オープン	0.345	0.338–0.352	0.014	0.353	0.350	0.344	0.332	31.1	37.1	–
10	10	ElevenLabs-FA	商用	0.295	0.289–0.302	0.015	0.299	0.300	0.293	0.288	31.9	35.5	$0.22
11	11–13	BFA	オープン	0.272	0.264–0.280	0.009	0.276	0.255	0.285	0.272	51.0	57.2	–
12	11–13	WhisperX	オープン	0.271	0.264–0.277	0.014	0.280	0.267	0.281	0.254	37.2	41.7	–
13	12–13	TorchAudio	オープン	0.265	0.258–0.272	0.013	0.273	0.255	0.275	0.256	39.8	42.4	–
14	14	stable-ts	オープン	0.251	0.243–0.260	0.015	0.197	0.210	0.301	0.297	96.8	71.2	–
15	15	NVIDIA NeMo-FA †	オープン	0.155	0.149–0.163	0.008	0.157	0.158	0.151	0.156	79.2	91.4	–
–	–	Olewave Olign v1	商用	0.735	0.726–0.743	–	0.805	0.710	0.755	0.668	18.2	22.4	$0.18

F1低下とは、アライナーに参照書き起こしの代わりにQwen3-ASRが認識した単語を渡したときに、そのアライナーの平均F1が下がる幅です。たとえばMFA 3.4は、参照書き起こしでは0.658、認識された単語では0.628となり、F1低下は0.030です。

⚠ NeuFAは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

⚠ MAPSは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

⚠ CrisperWhisperの作者はTIMITを使って単語タイミングを構築しており、どのTIMITファイルを使ったかは明らかにしていません。FA-BenchはTIMITのテストファイルで評価します。作者もそれらを使っていた場合、TIMITのスコアはすでに学習済みの音声から得られたものになります。

† ここでのNeMo-FAは80 msモデルです。40 msモデルの平均F1は0.199です。

書き起こしスイッチは、参照トランスクリプトの代わりにQwen3-ASRが認識した単語を各アライメンターに渡した結果を表示します。これらの単語のWERは、クリーンな音声でTIMITコアテストが2.0%、Buckeyeテストが10.2%です。NeuFAは認識された単語では実行していません。Parakeet-TDTの単語に対するMFA 3.4のスコアは0.625、Whisper large-v3の単語に対するWhisperXのスコアは0.234です。Olignの価格は1時間あたり$0.18で、これはローンチ記念の価格です。定価は$0.21です。

NeuFAはtrained with its open-source code on GitHub, not releasedです。 ElevenLabs-FAはforced-alignment, API v1です。 Olewave Olign v1はolign-1.0, Olign API v1です。

OlignはFA-Benchに参加していません。2026年10月の最後の結果は、表の末尾にランク外として掲載しています。

CSVをダウンロード.

強制アライメント、20 msでの音素境界F1

順位	範囲	システム	アクセス	平均F1	95%区間	F1低下	TIMIT クリーン	TIMIT ノイズ	Buckeye クリーン	Buckeye ノイズ	PER TIMIT	PER Buckeye	価格、音声1時間あたりの$
1	1	MFA 3.4	オープン	0.436	0.431–0.443	0.008	0.393	0.372	0.518	0.463	34.8	26.1	–
2	2	PocketSphinx	オープン	0.402	0.396–0.408	0.007	0.338	0.326	0.494	0.450	33.9	26.0	–
3	3	MAPS ⚠	オープン	0.383	0.377–0.389	0.005	0.454	0.319	0.445	0.313	30.7	34.9	–
4	4	Charsiu	オープン	0.372	0.367–0.378	0.003	0.360	0.347	0.424	0.359	30.3	31.7	–
5	5	NeuFA ⚠	オープン	0.366	0.360–0.371	–	0.326	0.277	0.460	0.399	36.0	28.0	–
6	6	TorchAudio	オープン	0.235	0.230–0.240	0.005	0.208	0.206	0.266	0.261	35.9	28.5	–
7	7	BFA	オープン	0.217	0.212–0.221	0.004	0.183	0.178	0.255	0.251	36.2	32.1	–
–	–	Olewave Olign v1	商用	0.452	0.446–0.459	–	0.410	0.393	0.523	0.483	35.4	28.2	$0.18

F1低下とは、アライナーに参照書き起こしの代わりにQwen3-ASRが認識した単語を渡したときに、そのアライナーの平均F1が下がる幅です。たとえばMFA 3.4は、参照書き起こしでは0.436、認識された単語では0.428となり、F1低下は0.008です。

⚠ MAPSは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

⚠ NeuFAは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

FALCONは、このボードから除外しています。FALCONには参照音素が与えられますが、ここにある他のアライナーには与えられないためです。FALCONの平均F1は0.560です。書き起こしスイッチでは、各アライナーに参照書き起こしの代わりにQwen3-ASRが認識した単語を渡した結果を表示します。これらの単語のWERは、クリーンな音声でTIMITコアテストが2.0%、Buckeyeテストが10.2%です。NeuFAは認識された単語では実行していません。Parakeet-TDTの単語を用いたMFA 3.4のスコアは0.429です。

NeuFAはtrained with its open-source code on GitHub, not releasedです。 Olewave Olign v1はolign-1.0, Olign API v1です。

OlignはFA-Benchに参加していません。2026年10月の最後の結果は、表の末尾にランク外として掲載しています。

CSVをダウンロード.

認識された単語による強制アライメント、20 msでの単語タイムスタンプF1

順位	範囲	システム	アクセス	平均F1	95%区間	F1低下	TIMIT クリーン	TIMIT ノイズ	Buckeye クリーン	Buckeye ノイズ	MAE TIMIT	MAE Buckeye	価格、音声1時間あたりの$
1	1	MFA 3.4	オープン	0.628	0.619–0.637	0.030	0.677	0.642	0.649	0.545	21.8	22.7	–
2	2	PocketSphinx	オープン	0.615	0.605–0.624	0.033	0.632	0.585	0.669	0.573	30.6	22.6	–
3	3	Charsiu	オープン	0.539	0.529–0.550	0.024	0.587	0.522	0.586	0.463	28.2	26.1	–
4	4	MAPS ⚠	オープン	0.523	0.514–0.532	0.024	0.702	0.407	0.595	0.387	25.5	39.8	–
5	5	CrisperWhisper ⚠	オープン	0.456	0.443–0.468	0.017	0.485	0.472	0.464	0.403	33.8	39.2	–
6	6	Meta UnitY2	オープン	0.417	0.406–0.428	0.022	0.375	0.385	0.461	0.447	52.4	39.8	–
7	7	Qwen3-FA	オープン	0.389	0.377–0.399	0.013	0.408	0.383	0.405	0.358	32.6	30.6	–
8	8	Meta MMS-FA	オープン	0.331	0.324–0.337	0.014	0.349	0.346	0.323	0.305	31.1	34.3	–
9	9	ElevenLabs-FA	商用	0.280	0.274–0.287	0.015	0.295	0.293	0.271	0.261	31.9	34.0	$0.22
10	10–11	BFA	オープン	0.263	0.255–0.271	0.009	0.272	0.251	0.283	0.247	51.0	48.6	–
11	10–12	WhisperX	オープン	0.257	0.250–0.263	0.014	0.276	0.263	0.259	0.230	37.3	39.7	–
12	11–12	TorchAudio	オープン	0.252	0.245–0.260	0.013	0.269	0.252	0.254	0.234	39.9	39.8	–
13	13	stable-ts	オープン	0.236	0.228–0.244	0.015	0.193	0.204	0.278	0.270	97.8	70.8	–
14	14	NVIDIA NeMo-FA †	オープン	0.147	0.140–0.154	0.008	0.154	0.154	0.139	0.140	79.3	88.8	–
–	–	Olewave Olign 0.9	商用	0.704	0.694–0.712	0.031	0.791	0.697	0.703	0.623	18.3	20.8	–

F1低下とは、アライナーに参照書き起こしの代わりにQwen3-ASRが認識した単語を渡したときに、そのアライナーの平均F1が下がる幅です。たとえばMFA 3.4は、参照書き起こしでは0.658、認識された単語では0.628となり、F1低下は0.030です。

⚠ MAPSは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

⚠ CrisperWhisperの作者はTIMITを使って単語タイミングを構築しており、どのTIMITファイルを使ったかは明らかにしていません。FA-BenchはTIMITのテストファイルで評価します。作者もそれらを使っていた場合、TIMITのスコアはすでに学習済みの音声から得られたものになります。

† ここでのNeMo-FAは80 msモデルです。40 msモデルの平均F1は0.189です。

Qwen3-ASRの単語のWERは、クリーンな音声でTIMITコアテストが2.0%、Buckeyeテストが10.2%です。NeuFAは認識された単語では実行していません。Olign v1も認識された単語では実行していないため、ここでのランク外のOlignの行はOlign 0.9です。

ElevenLabs-FAはforced-alignment, API v1です。 Olewave Olign 0.9はolign-0.9です。

OlignはFA-Benchに参加していません。2026年10月の最後の結果は、表の末尾にランク外として掲載しています。

CSVをダウンロード.

認識された単語による強制アライメント、20 msでの音素境界F1

順位	範囲	システム	アクセス	平均F1	95%区間	F1低下	TIMIT クリーン	TIMIT ノイズ	Buckeye クリーン	Buckeye ノイズ	PER TIMIT	PER Buckeye	価格、音声1時間あたりの$
1	1	MFA 3.4	オープン	0.428	0.423–0.434	0.008	0.394	0.372	0.502	0.446	34.8	28.2	–
2	2	PocketSphinx	オープン	0.395	0.389–0.401	0.007	0.337	0.325	0.482	0.436	34.0	27.2	–
3	3	MAPS ⚠	オープン	0.378	0.372–0.384	0.005	0.455	0.319	0.435	0.303	30.7	35.8	–
4	4	Charsiu	オープン	0.369	0.363–0.375	0.003	0.361	0.347	0.417	0.352	30.3	32.7	–
5	5	TorchAudio	オープン	0.230	0.226–0.235	0.005	0.207	0.205	0.260	0.250	35.9	30.0	–
6	6	BFA	オープン	0.213	0.208–0.217	0.004	0.183	0.177	0.253	0.238	36.2	33.6	–
–	–	Olewave Olign 0.9	商用	0.447	0.440–0.453	0.005	0.410	0.393	0.513	0.470	35.4	29.2	–

F1低下とは、アライナーに参照書き起こしの代わりにQwen3-ASRが認識した単語を渡したときに、そのアライナーの平均F1が下がる幅です。たとえばMFA 3.4は、参照書き起こしでは0.436、認識された単語では0.428となり、F1低下は0.008です。

⚠ MAPSは、FA-BenchのBuckeyeテストセットの8人の話者のうち7人のデータで学習されています。そのため、Buckeyeテスト音声の大半は、学習に使われた話者のものです。

Qwen3-ASRの単語のWERは、クリーンな音声でTIMITコアテストが2.0%、Buckeyeテストが10.2%です。NeuFAは認識された単語では実行していません。Olign v1も認識された単語では実行していないため、ここでのランク外のOlignの行はOlign 0.9です。

Olewave Olign 0.9はolign-0.9です。

OlignはFA-Benchに参加していません。2026年10月の最後の結果は、表の末尾にランク外として掲載しています。

CSVをダウンロード.