FA-Bench 排行榜 · github.com/olewave/fa-bench · arXiv 論文

已於 2026 年 10 月 28 日更新，加入 10 月的結果。

我們在 2026 年 8 月 17 日發布了 FA-Bench。它衡量詞與音素時間戳，和人類語言學家標註的邊界有多接近。

FA-Bench 會為語音辨識系統評分，這些系統會自行輸出文字和時間。它也會為拿到逐字稿的強制對齊器評分。每個系統都在相同的測試集上，透過相同的程式碼執行，所以你可以直接比較任意兩個數字。FA-Bench 排行榜為 17 個 ASR 系統和 15 個強制對齊器排名。

為什麼需要基準測試

強制對齊器的結果很難重現。每篇論文都選用自己的音素集和測試切分，並用自己的指標評分。所以一篇論文中的數字，很少和下一篇論文中的數字衡量同一件事。語音研究人員無法進行乾淨的消融研究，語音 AI 工程師也無法判斷該部署哪個系統。

FA-Bench 把整個評估流程以程式碼公開，從標籤如何合併，到每個邊界如何計分。你執行的流程和我們的完全相同。

FA-Bench 測試什麼

FA-Bench 為兩個語料庫評分，它們的邊界都由人類語言學家手動校正。TIMIT core test 包含來自 24 位說話者的 192 個朗讀句子。Buckeye test 包含來自 8 位說話者的 4,513 段對話。FA-Bench 不加入任何自己的標註。它完全保留語料庫提供的邊界時間，並把音素標籤合併成共用的 TIMIT-39 集合。

每個測試集都以乾淨版本和四個劣化版本執行，劣化版本使用 Kaldi 的資料增強配方，並採用固定的隨機種子。例如，噪音版本會以 15、10、5 和 0 dB SNR 疊加 MUSAN 噪音片段。系統的主要分數是四個測試單元的平均值。它們是 TIMIT core test 與 Buckeye test，各有乾淨和加噪兩種。

兩項任務

帶時間戳的 ASR只聽音訊，並輸出自己辨識的文字，每個詞都有起始和結束時間。聽錯一個詞，系統就會同時損失這個詞的兩個時間。所以這個分數會把辨識錯誤和時間錯誤一併計入。

強制對齊拿到參考逐字稿，所以只評分它的時間。FA-Bench 也會把 Qwen3-ASR 辨識出的文字交給每個對齊器。F1 Drop 是對齊器拿到這些文字時，分數下降的幅度。例如 MFA 3.4 在參考逐字稿上得 0.658，在辨識文字上得 0.628，F1 Drop 為 0.030。

FA-Bench 如何評分

20 ms 的詞時間戳 F1 用來為詞排行榜排名。每個參考詞都有一個起始時間和一個結束時間。當系統產生了相同的詞，且該時間落在標註者所標時間的 20 ms 以內時，這個時間就算命中。

20 ms 的音素邊界 F1 用來為音素排行榜排名。當邊界兩側的音素都與參考相符，且其時間落在標註者所標時間的 20 ms 以內時，這個音素邊界就算命中。

每個分數都附有 95% 區間，由測試語句的 2,000 次自助抽樣得出。每個系統也會得到它在這些抽樣中的名次範圍。名次範圍重疊的兩個系統，在這些測試集上並列。例如，Google Chirp 3 和 CrisperWhisper 的名次範圍都是 2 到 3。

FA-Bench 概覽以圖例說明排行榜上的每個數字。

2026 年 10 月的結果

以下是 20 ms 的詞時間戳 F1，也就是四個測試單元的平均值，來自排行榜 2026 年 10 月的結果。

在帶時間戳的 ASR 上，Google Chirp 2 以 0.486 排名第一，95% 區間為 0.475 到 0.498。CrisperWhisper 為 0.455，Google Chirp 3 為 0.452，兩者並列第二和第三。

在使用參考逐字稿的強制對齊上，MFA 3.4 以 0.658 排名第一，PocketSphinx 以 0.648 排名第二。拿到 Qwen3-ASR 辨識的文字時，MFA 3.4 仍以 0.628 排名第一。在音素方面，以 20 ms 的音素邊界 F1 評分，MFA 3.4 以 0.436 排名第一。

Olewave 同時打造了 FA-Bench 和 Olign。Olign 已不再參與 FA-Bench，所以沒有任何榜單為它排名，排行榜只以未排名的方式列出它最後的結果。榜單上的每個系統，都由相同的公開程式碼，對照相同的人工標註來評分。

自己動手執行

在接觸任何有授權的音訊之前，你就可以檢查整條測量流程。自我測試會建立一個合成語料庫，並在其上執行每個步驟。每個關卡都會把結果與事先確定的答案比對，所以流程若有損壞，就會在該關卡失敗。

git clone https://github.com/olewave/fa-bench && cd fa-bench
uv venv --python 3.12 .venv && . .venv/bin/activate
uv pip install -e ".[test]"
fabench selftest
fabench gates

若要為真實系統評分，請依各自的授權條款，從 LDC 取得 TIMIT，並透過 OSU 註冊取得 Buckeye。接著執行 fabench init，它會詢問每個語料庫的位置。排行榜上的每個榜單都提供 CSV 格式的數字，你可以用它核對自己的結果與我們的是否一致。

FA-Bench 自 2.0.0 版起以 Apache License 2.0 授權發布。 任何人都可以使用、修改和分享這些程式碼，包括商業用途。FA-Bench 這個名稱仍歸 Olewave 所有。用這些程式碼得出的結果，可以說明是由 FA-Bench 評分器 2.0 版評分的。