Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 項目中排名第一

Product

Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 項目中排名第一

在 nyra labs 自己的表格中,Olign v1 在 TIMIT 上於 22 個系統裡排名第一。Olewave 對目前版本 v1.1.3 的測試顯示,詞級時間誤差在 TIMIT 上為 14.2 ms,在 Buckeye 上為 23.6 ms。

Olign Ranks First on TIMIT in the Nyra Speech Timing Benchmark

Olign · Nyra Speech Timing Benchmark

摘要

  • TIMIT 第一名。在 nyra labs 自己的 TIMIT 表格中,Olign v1 在 22 個系統裡排名第一。它的詞級時間誤差最低,為 15.9 ms, 落在人工標註 50 ms 以內的詞數也最多。
  • 如今更加準確。Olign v1 目前的版本是 v1.1.3。在 Olewave 依照 nyra 公開協議進行的測試中,詞級時間誤差在 TIMIT 上為 14.2 ms, 在 Buckeye 的對話語音上為 23.6 ms。
  • 歡迎自行驗證。您可以使用 nyra 的工具和 Olign API 金鑰重跑這兩項測試。我們已請 nyra 重新執行 Olign v1,屆時以他們的數字為準。

基準測試介紹

Nyra labs 於 2026 年 10 月發布了 Nyra Speech Timing Benchmark,並附有 論文和 GitHub 上的程式碼。 它衡量各系統給出的詞時間與人工標註有多接近,所有系統都採用同一套協議。本文涵蓋其中的朗讀語音和對話語音。

TIMIT 是朗讀語音,共 1,626 句。Buckeye 是對話語音,共 2,008 個片段,每段最長 20 秒,共有 80,507 個詞。

每個詞都會得到一個時間誤差,也就是它的起點和終點與人工標註相差距離的平均值。Word MAE 是把這個誤差對所有 詞取平均,單位為毫秒,越低越好。Acc@50 ms 是起點和終點都落在標註 50 ms 以內的詞所占的比例,越高越好。 Nyra 把這個比例當作主要指標。

我們如何測量

本文兩張圖中的每一列都是 nyra 自己的測試結果,只有帶星號的 Olign v1 除外。 Olign v1 是 Olewave 在同一套公開協議上對 v1.1.3 版本的測試,它不在 nyra 的排行榜上。

v1.1.3 的數字由 Olewave 使用已發布的 v1.1.3 設定跑出。我們從已取得授權的 TIMIT 和 Buckeye 副本中切出與 nyra 完全相同的片段,把參考詞作為逐字稿送入, 再用 nyra 公開的評分工具在提交版本 8acf80f 上為輸出評分。

由於這兩個語料庫都不得再散布,nyra 沒有公開它的參考時間。因此我們根據語料庫檔案自行重建,也就是 TIMIT 的 .WRD 檔案 和 Buckeye 的 .words 檔案。我們的參考涵蓋 nyra 1,626 個 TIMIT 句子中的 1,625 句, 以及 80,507 個 Buckeye 詞中的 79,871 個。

Nyra 的表格列出 Olign v1 在 TIMIT 上為 15.9 ms,在 Buckeye 上為 35.7 ms。Nyra 在 10 月跑的是較早的版本。以我們的參考為標準,同樣的預測結果給出 15.3 ms 和 35.3 ms。 也就是說,我們的參考比 nyra 的低約半毫秒,您在看 Olign v1 的長條時可以把這個差距考慮進去。

Olign v1 v1.1.3 版本在 nyra 基準測試上的結果
Olewave 的測試,TIMIT 為 2026 年 11 月 15 日,Buckeye 為 2026 年 11 月 11 日

TIMIT Buckeye
Word MAE 14.2 ms 23.6 ms
詞級時間誤差中位數 7.9 ms 8.7 ms
Acc@50 ms 86.2 % 86.8 %
Acc@100 ms 96.9 % 94.7 %

返回結果中沒有長度的詞,會按其被放置的位置評分。

TIMIT,Olign 排名第一

在 nyra 的 TIMIT 表格中,Olign v1 在 22 個系統裡排名第一。它的 Word MAE 為 15.9 ms。Nyra 自己的對齊器以 21.3 ms 居次,使用寬波束的 MFA 為 23.2 ms。Olign v1 落在人工標註 25、50 和 100 ms 以內的詞數也是最多的,在 200 ms 時並列第一。

在 v1.1.3 版本上,Olewave 的測試將 Word MAE 降到 14.2 ms。

這張圖把該次測試(帶星號)與 nyra 於 2026 年 11 月 10 日發布的 TIMIT 表格中的所有其他系統放在一起。標記為 ASR 的系統只對它們辨識出的詞計時, 因此 nyra 建議您將結果與詞召回率一併參考。您可以在圖下方的表格中找到。

Nyra Speech Timing Benchmark 中 TIMIT 的 Word MAE,越低越好。帶星號的 Olign v1 為 Olewave 的測試,結果為 14.2 ms,其後是 nyra-FA 的 21.3 ms 和使用寬波束的 MFA 的 23.2 ms。另有十九個系統依序排列,最高為 88.3 ms。
全部數字
系統Nyra 中的名稱類型詞召回率Word MAEAcc@50 ms
Olign v1 ★ Olewave強制對齊器14.2 ms86.2 %
nyra-FA nyra labsnyra_fa強制對齊器99.9 %21.3 ms82.2 %
MFA, wide beam †mfa (wide beam)強制對齊器99.9 %23.2 ms77.7 %
MFA, default beam †mfa (default beam)強制對齊器99.9 %23.5 ms77.7 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 系統98.8 %29.6 ms70.1 %
Qwen3-FA Qwenqwen_fa強制對齊器100.0 %30.1 ms70.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 系統98.9 %30.4 ms70.2 %
Grok STT xAIxai_grok_sttASR 系統98.3 %37.3 ms51.3 %
MMS-FA Metamms_fa強制對齊器100.0 %37.3 ms51.3 %
ElevenLabs CueCue (ElevenLabs)強制對齊器100.0 %44.6 ms32.5 %
MWA, TIMIT model MLSpeechmwa_timit強制對齊器100.0 %47.2 ms53.5 %
CTC segmentationctc_segmentation強制對齊器100.0 %49.3 ms38.9 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 系統97.9 %51.3 ms33.6 %
Universal 2, disfluencies AssemblyAIassemblyai_u2_disflASR 系統98.5 %53.0 ms27.5 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 系統99.3 %54.9 ms27.6 %
MWA, Buckeye model MLSpeechmwa_buckeye強制對齊器100.0 %58.9 ms49.8 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 系統98.9 %60.0 ms23.4 %
NeMo-FA NVIDIAnemo_fa強制對齊器100.0 %60.0 ms19.3 %
Nova-3 Deepgramdeepgram_nova3ASR 系統98.2 %63.4 ms20.5 %
WhisperXwhisperxASR 系統98.2 %64.8 ms13.5 %
Canary NVIDIAcanaryASR 系統97.6 %85.5 ms13.2 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 系統98.2 %88.3 ms20.7 %

★ Olign v1 是 Olewave 於 2026 年 11 月 15 日對 v1.1.3 版本的測試,使用 nyra 公開的評分工具,並採用 nyra 的片段。它不在 nyra 的排行榜上。† 使用 english_mfa 3.1.0 模型的 MFA 3.3.9,與 nyra 的執行方式相同。

Buckeye

Buckeye 是更難的測試。Nyra 把每段訪談切成最長 20 秒的片段,並且正好從第一個詞切到最後一個詞。每個片段都保留了笑聲和長停頓,也常常有訪談者的聲音。較早的 Olign 版本在 Buckeye 上的大部分誤差都出現在片段邊緣和停頓附近。

在 nyra 的 Buckeye 表格中,nyra 自己的對齊器 Word MAE 最低,為 20.2 ms。 在 v1.1.3 版本上,Olewave 對 Olign v1 的測試給出 23.6 ms。15 秒以內的片段為 22.9 ms,更長的片段為 23.8 ms。這張圖以同樣的方式 呈現 nyra 的 Buckeye 表格,並用星號標出 Olign v1。

Nyra Speech Timing Benchmark 中 Buckeye 的 Word MAE,越低越好。nyra-FA 為 20.2 ms,其後是帶星號的 Olign v1,為 Olewave 的測試,結果為 23.6 ms,再來是 Fish Transcribe 1 Pro 的 35.5 ms。另有十八個系統依序排列,最高為 144.8 ms。
全部數字
系統Nyra 中的名稱類型詞召回率Word MAEAcc@50 ms
nyra-FA nyra labsnyra_fa強制對齊器100.0 %20.2 ms88.7 %
Olign v1 ★ Olewave強制對齊器23.6 ms86.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 系統93.2 %35.5 ms75.8 %
MFA, wide beam †mfa (wide beam)強制對齊器99.9 %35.7 ms79.1 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 系統93.2 %38.8 ms66.1 %
Qwen3-FA Qwenqwen_fa強制對齊器99.9 %39.4 ms75.0 %
Grok STT xAIxai_grok_sttASR 系統92.9 %48.8 ms50.5 %
MFA, default beam †mfa (default beam)強制對齊器98.7 %48.9 ms78.3 %
ElevenLabs CueCue (ElevenLabs)強制對齊器100.0 %50.8 ms32.4 %
MMS-FA Metamms_fa強制對齊器100.0 %52.7 ms49.9 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 系統91.7 %54.4 ms31.0 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 系統93.8 %60.1 ms33.4 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 系統88.7 %68.1 ms30.9 %
NeMo-FA NVIDIAnemo_fa強制對齊器100.0 %72.6 ms20.4 %
CTC segmentationctc_segmentation強制對齊器100.0 %81.0 ms48.8 %
Nova-3 Deepgramdeepgram_nova3ASR 系統92.7 %87.6 ms14.8 %
WhisperXwhisperxASR 系統88.1 %89.8 ms8.7 %
Canary NVIDIAcanaryASR 系統88.2 %107.2 ms10.0 %
MWA, Buckeye model MLSpeechmwa_buckeye強制對齊器100.0 %108.7 ms58.9 %
MWA, TIMIT model MLSpeechmwa_timit強制對齊器100.0 %143.2 ms51.3 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 系統88.6 %144.8 ms35.3 %

★ Olign v1 是 Olewave 於 2026 年 11 月 11 日對 v1.1.3 版本的測試,使用 nyra 公開的評分工具,並採用 nyra 的片段。它不在 nyra 的排行榜上。† 使用 english_mfa 3.1.0 模型的 MFA 3.3.9,與 nyra 的執行方式相同。

v1.1.3 版本包含什麼

自 nyra 測試以來,Olign v1 已從 v1.1.0 更新到 v1.1.3。API 和回應格式保持不變。

  • Olign 字典以外的詞,其發音由發音模型給出。
  • 超過 15 秒的錄音,以及任何長度但未附逐字稿的錄音,在開頭和結尾的處理方式有所不同。
  • 停頓旁邊的詞會在新的位置結束或開始。停頓前的詞不再延伸進停頓, 因此停頓返回的長度更接近其完整長度。

後兩項改動針對的是片段邊緣和停頓,這兩處正是 Buckeye 讓早期版本損失最多的地方。15 秒以內並附有逐字稿的錄音 會一次完成對齊。

自行驗證

您可以使用 nyra 自己的工具,透過託管服務重跑這兩項測試。您 需要一把 Olign API 金鑰,註冊 tycho.olewave.com 帳號即可取得,另外還需要您自己取得授權的 TIMIT 和 Buckeye 副本。如果它們不在 nyra 的預設資料夾中,請用 --data-root 指向它們。這兩次執行共送出約 8.6 小時的音訊,其中 TIMIT 為 1.4 小時, Buckeye 為 7.2 小時。

在 Olign v1 上執行 nyra 的基準測試

git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
  --out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
  --out results_api --save-predictions predictions

每次執行都會印出分數,並儲存服務的原始回應。每個 Olign 回應都在 X-Olign-Version 標頭中帶有其版本,因此您可以看到 是哪個版本給出了回應。

確認是哪個版本給出了回應

python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
    raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
    print(name, {v for job in raw.values()
                 for k, v in job.get("_versions", {}).items()
                 if k.lower() == "x-olign-version"})
EOF

當 v1.1.3 對齊了每一段音訊時,每個測試集都會印出 {'v1.1.3'}。您的 分數使用的是您自己的參考副本,因此小數位上可能與我們的有所不同。

後續步驟

  • 我們請求 nyra 重新執行的 pull request
    我們的 pull request 請 nyra 重新執行 Olign v1,並記錄每個託管服務列是由哪個版本給出的回應。當 nyra 發布其測試結果時, 請以該數字為準,我們也會在此附上連結。我們還針對 nyra 的 MFA 列提出了一個 issue。

  • 用您自己的錄音試試 Olign
    Speech Timestamps Playground 可以對齊最長 30 秒的英語語音, 無需帳號。

  • 開始使用 Olign API
    註冊即可獲得免費額度,用來對齊您自己的錄音。

  • 查看 FA-Bench
    這是 Olewave 自己公開的強制對齊和帶時間戳 ASR 基準測試。