Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 上排名第一

Product

Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 上排名第一

在 nyra labs 自己发布的表格中,Olign v1 在 TIMIT 上的 22 个系统里排名第一。Olewave 对其当前版本 v1.1.3 的测试结果是,TIMIT 上词时间误差为 14.2 ms,Buckeye 上为 23.6 ms。

Olign Ranks First on TIMIT in the Nyra Speech Timing Benchmark

Olign · Nyra Speech Timing Benchmark

摘要

  • TIMIT 第一名。在 nyra labs 自己发布的 TIMIT 表格中,Olign v1 在 22 个系统里排名第一。它的词时间误差最低,为 15.9 ms,与人工标注相差不超过 50 ms 的词也最多。
  • 如今更进一步。Olign v1 现已更新到 v1.1.3 版本。Olewave 按 nyra 的公开协议运行后,TIMIT 上的词时间误差为 14.2 ms,Buckeye 的对话语音上为 23.6 ms。
  • 你可以自行验证。你可以用 nyra 的工具和一个 Olign API 密钥重新运行这两项测试。我们已请 nyra 重新运行 Olign v1,最终以他们的数字为准。

基准测试

Nyra labs 于 2026 年 10 月发布了 Nyra Speech Timing Benchmark,并附有论文和 GitHub 上的代码。它衡量每个系统给出的词时间与人工标注有多接近,所有系统都使用同一套协议。本文涵盖其中的朗读语音和对话语音。

TIMIT 是朗读语音,共 1,626 个句子。Buckeye 是对话语音,共 2,008 个片段,每段最长 20 秒,包含 80,507 个词。

每个词都有一个时间误差,即它的起点和终点与人工标注之间偏差的平均值。Word MAE 是所有词的这一误差的平均值,单位为毫秒,越低越好。Acc@50 ms 是起点和终点都落在标注 50 ms 以内的词所占的比例,越高越好。Nyra 把这一比例作为它的核心指标。

我们如何测量

本文两张图中的每一行都是 nyra 自己的运行结果,只有带星号的 Olign v1 除外。Olign v1 是 Olewave 在同一套公开协议下对 v1.1.3 版本的运行结果,它不在 nyra 的排行榜上。

v1.1.3 的数字由 Olewave 使用已发布的 v1.1.3 配置运行得出。我们从持有授权的 TIMIT 和 Buckeye 副本中切出与 nyra 完全相同的片段,把参考词作为文本发送,并用 nyra 公开的评分器(提交版本为 8acf80f)对输出打分。

由于两个语料库都不得再分发,nyra 的参考时间不公开。因此我们根据语料库文件重建了参考时间,使用的是 TIMIT 的 .WRD 文件和 Buckeye 的 .words 文件。我们的参考覆盖了 nyra 1,626 个 TIMIT 句子中的 1,625 个,以及 80,507 个 Buckeye 词中的 79,871 个。

Nyra 的表格列出 Olign v1 在 TIMIT 上为 15.9 ms,在 Buckeye 上为 35.7 ms。Nyra 在 10 月运行的是较早的版本。用我们的参考来评分,同样的预测给出 15.3 ms 和 35.3 ms。也就是说,我们的参考读数比 nyra 的低约半毫秒,你在看 Olign v1 的柱条时可以把这个差距考虑进去。

Olign v1 在 nyra 基准测试上的 v1.1.3 版本结果
Olewave 的运行,TIMIT 于 2026 年 11 月 15 日,Buckeye 于 2026 年 11 月 11 日

TIMIT Buckeye
Word MAE 14.2 ms 23.6 ms
词时间误差中位数 7.9 ms 8.7 ms
Acc@50 ms 86.2 % 86.8 %
Acc@100 ms 96.9 % 94.7 %

返回时长为零的词,按其被放置的位置计分。

TIMIT,Olign 排名第一

在 nyra 的 TIMIT 表格中,Olign v1 在 22 个系统里排名第一。它的 Word MAE 为 15.9 ms。Nyra 自己的对齐器以 21.3 ms 紧随其后,使用宽束的 MFA 为 23.2 ms。Olign v1 在与人工标注相差 25、50 和 100 ms 以内的词数上也是最多的,在 200 ms 时并列第一。

在 v1.1.3 版本上,Olewave 的运行把 Word MAE 降到了 14.2 ms。

这张图把这次运行(带星号)与 nyra 在 2026 年 11 月 10 日发布的 TIMIT 表格中的其他所有系统放在一起。标为 ASR 的系统只对它们识别出的词计时,因此 nyra 建议你结合词召回率来阅读。你可以在图下方的表格中找到它。

Nyra Speech Timing Benchmark 中 TIMIT 上的 Word MAE,越低越好。带星号的 Olign v1 为 Olewave 的运行结果,14.2 ms,其后是 nyra-FA 的 21.3 ms 和使用宽束的 MFA 的 23.2 ms。另有十九个系统依次排在后面,最高为 88.3 ms。
全部数字
系统Nyra 中的名称类型词召回率Word MAEAcc@50 ms
Olign v1 ★ Olewave强制对齐器14.2 ms86.2 %
nyra-FA nyra labsnyra_fa强制对齐器99.9 %21.3 ms82.2 %
MFA,宽束 †mfa (wide beam)强制对齐器99.9 %23.2 ms77.7 %
MFA,默认束宽 †mfa (default beam)强制对齐器99.9 %23.5 ms77.7 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 系统98.8 %29.6 ms70.1 %
Qwen3-FA Qwenqwen_fa强制对齐器100.0 %30.1 ms70.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 系统98.9 %30.4 ms70.2 %
Grok STT xAIxai_grok_sttASR 系统98.3 %37.3 ms51.3 %
MMS-FA Metamms_fa强制对齐器100.0 %37.3 ms51.3 %
ElevenLabs CueCue (ElevenLabs)强制对齐器100.0 %44.6 ms32.5 %
MWA,TIMIT 模型 MLSpeechmwa_timit强制对齐器100.0 %47.2 ms53.5 %
CTC segmentationctc_segmentation强制对齐器100.0 %49.3 ms38.9 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 系统97.9 %51.3 ms33.6 %
Universal 2,含不流利标记 AssemblyAIassemblyai_u2_disflASR 系统98.5 %53.0 ms27.5 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 系统99.3 %54.9 ms27.6 %
MWA,Buckeye 模型 MLSpeechmwa_buckeye强制对齐器100.0 %58.9 ms49.8 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 系统98.9 %60.0 ms23.4 %
NeMo-FA NVIDIAnemo_fa强制对齐器100.0 %60.0 ms19.3 %
Nova-3 Deepgramdeepgram_nova3ASR 系统98.2 %63.4 ms20.5 %
WhisperXwhisperxASR 系统98.2 %64.8 ms13.5 %
Canary NVIDIAcanaryASR 系统97.6 %85.5 ms13.2 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 系统98.2 %88.3 ms20.7 %

★ Olign v1 是 Olewave 在 2026 年 11 月 15 日对 v1.1.3 版本的运行结果,使用 nyra 的公开评分器和 nyra 的片段。它不在 nyra 的排行榜上。† 按 nyra 的运行方式,使用 MFA 3.3.9 和 english_mfa 3.1.0 模型。

Buckeye

Buckeye 是更难的测试。Nyra 把每段访谈切成最长 20 秒的片段,起止点恰好落在第一个词和最后一个词上。每个片段都保留了笑声和长时间停顿,往往还有访谈者的声音。较早的 Olign 版本在 Buckeye 上的大部分误差出现在片段边缘和停顿附近。

在 nyra 的 Buckeye 表格中,nyra 自己的对齐器 Word MAE 最低,为 20.2 ms。在 v1.1.3 版本上,Olewave 对 Olign v1 的运行结果为 23.6 ms。15 秒及以内的片段为 22.9 ms,更长的片段为 23.8 ms。这张图以同样的方式展示了 nyra 的 Buckeye 表格,Olign v1 带有星号。

Nyra Speech Timing Benchmark 中 Buckeye 上的 Word MAE,越低越好。nyra-FA 为 20.2 ms,其后是带星号的 Olign v1(Olewave 的运行结果)23.6 ms,以及 Fish Transcribe 1 Pro 的 35.5 ms。另有十八个系统依次排在后面,最高为 144.8 ms。
全部数字
系统Nyra 中的名称类型词召回率Word MAEAcc@50 ms
nyra-FA nyra labsnyra_fa强制对齐器100.0 %20.2 ms88.7 %
Olign v1 ★ Olewave强制对齐器23.6 ms86.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASR 系统93.2 %35.5 ms75.8 %
MFA,宽束 †mfa (wide beam)强制对齐器99.9 %35.7 ms79.1 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASR 系统93.2 %38.8 ms66.1 %
Qwen3-FA Qwenqwen_fa强制对齐器99.9 %39.4 ms75.0 %
Grok STT xAIxai_grok_sttASR 系统92.9 %48.8 ms50.5 %
MFA,默认束宽 †mfa (default beam)强制对齐器98.7 %48.9 ms78.3 %
ElevenLabs CueCue (ElevenLabs)强制对齐器100.0 %50.8 ms32.4 %
MMS-FA Metamms_fa强制对齐器100.0 %52.7 ms49.9 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASR 系统91.7 %54.4 ms31.0 %
Nemotron Transcribe NVIDIAnemotron_transcribeASR 系统93.8 %60.1 ms33.4 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASR 系统88.7 %68.1 ms30.9 %
NeMo-FA NVIDIAnemo_fa强制对齐器100.0 %72.6 ms20.4 %
CTC segmentationctc_segmentation强制对齐器100.0 %81.0 ms48.8 %
Nova-3 Deepgramdeepgram_nova3ASR 系统92.7 %87.6 ms14.8 %
WhisperXwhisperxASR 系统88.1 %89.8 ms8.7 %
Canary NVIDIAcanaryASR 系统88.2 %107.2 ms10.0 %
MWA,Buckeye 模型 MLSpeechmwa_buckeye强制对齐器100.0 %108.7 ms58.9 %
MWA,TIMIT 模型 MLSpeechmwa_timit强制对齐器100.0 %143.2 ms51.3 %
Ink-Whisper Cartesiacartesia_ink_whisperASR 系统88.6 %144.8 ms35.3 %

★ Olign v1 是 Olewave 在 2026 年 11 月 11 日对 v1.1.3 版本的运行结果,使用 nyra 的公开评分器和 nyra 的片段。它不在 nyra 的排行榜上。† 按 nyra 的运行方式,使用 MFA 3.3.9 和 english_mfa 3.1.0 模型。

v1.1.3 版本包含什么

自 nyra 运行以来,Olign v1 已从 v1.1.0 更新到 v1.1.3。API 和响应格式保持不变。

  • 不在 Olign 词典中的词,其发音由发音模型给出。
  • 超过 15 秒的录音,以及任何长度但未附带文本的录音,在开头和结尾的处理方式有所不同。
  • 紧邻停顿的词会在新的位置结束或开始。停顿之前的词不再延伸进停顿,因此返回的停顿更接近其完整时长。

后两项改动针对的是片段边缘和停顿,也就是 Buckeye 上较早版本损失最大的两处。15 秒及以内且附带文本的录音,会一次完成对齐。

自行验证

你可以用 nyra 自己的工具,通过托管服务重新运行这两项测试。你需要一个 Olign API 密钥,注册 tycho.olewave.com 的账号即可获得,还需要你自己持有授权的 TIMIT 和 Buckeye 副本。如果它们不在 nyra 的默认文件夹中,请用 --data-root 指向它们。这两次运行共发送约 8.6 小时的音频,其中 TIMIT 为 1.4 小时,Buckeye 为 7.2 小时。

在 Olign v1 上运行 nyra 的基准测试

git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
  --out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
  --out results_api --save-predictions predictions

每次运行都会输出分数,并保存服务的原始响应。每个 Olign 响应都在 X-Olign-Version 头中带有它的版本,因此你可以看到是哪个版本给出了结果。

检查是哪个版本给出了结果

python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
    raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
    print(name, {v for job in raw.values()
                 for k, v in job.get("_versions", {}).items()
                 if k.lower() == "x-olign-version"})
EOF

当 v1.1.3 对齐了每一个音频片段时,它会为每个测试集输出 {'v1.1.3'}。你的分数基于你自己的参考副本,所以小数位上与我们的结果会有差异。

下一步

  • 我们请求 nyra 重新运行的 PR
    我们的 pull request 请 nyra 重新运行 Olign v1,并记录每个托管服务的行是由哪个版本给出的。等 nyra 发布它的运行结果后,就以那个数字为准,我们会在这里附上链接。我们还就 nyra 的 MFA 行提交了一个 issue。

  • 用你自己的录音试用 Olign
    Speech Timestamps Playground 可对最长 30 秒的英语语音进行对齐,无需账号。

  • 从 Olign API 开始
    注册即可获得免费额度,用来对齐你自己的录音。

  • 查看 FA-Bench
    Olewave 自己的公开基准测试,面向强制对齐和带时间戳的 ASR。