Olign 在 Nyra Speech Timing Benchmark 的 TIMIT 上排名第一
在 nyra labs 自己发布的表格中,Olign v1 在 TIMIT 上的 22 个系统里排名第一。Olewave 对其当前版本 v1.1.3 的测试结果是,TIMIT 上词时间误差为 14.2 ms,Buckeye 上为 23.6 ms。
Olign · Nyra Speech Timing Benchmark
摘要
- TIMIT 第一名。在 nyra labs 自己发布的 TIMIT 表格中,Olign v1 在 22 个系统里排名第一。它的词时间误差最低,为 15.9 ms,与人工标注相差不超过 50 ms 的词也最多。
- 如今更进一步。Olign v1 现已更新到 v1.1.3 版本。Olewave 按 nyra 的公开协议运行后,TIMIT 上的词时间误差为 14.2 ms,Buckeye 的对话语音上为 23.6 ms。
- 你可以自行验证。你可以用 nyra 的工具和一个 Olign API 密钥重新运行这两项测试。我们已请 nyra 重新运行 Olign v1,最终以他们的数字为准。
基准测试
Nyra labs 于 2026 年 10 月发布了 Nyra Speech Timing Benchmark,并附有论文和 GitHub 上的代码。它衡量每个系统给出的词时间与人工标注有多接近,所有系统都使用同一套协议。本文涵盖其中的朗读语音和对话语音。
TIMIT 是朗读语音,共 1,626 个句子。Buckeye 是对话语音,共 2,008 个片段,每段最长 20 秒,包含 80,507 个词。
每个词都有一个时间误差,即它的起点和终点与人工标注之间偏差的平均值。Word MAE 是所有词的这一误差的平均值,单位为毫秒,越低越好。Acc@50 ms 是起点和终点都落在标注 50 ms 以内的词所占的比例,越高越好。Nyra 把这一比例作为它的核心指标。
我们如何测量
本文两张图中的每一行都是 nyra 自己的运行结果,只有带星号的 Olign v1 除外。Olign v1 是 Olewave 在同一套公开协议下对 v1.1.3 版本的运行结果,它不在 nyra 的排行榜上。
v1.1.3 的数字由 Olewave 使用已发布的 v1.1.3 配置运行得出。我们从持有授权的 TIMIT 和 Buckeye 副本中切出与 nyra 完全相同的片段,把参考词作为文本发送,并用 nyra 公开的评分器(提交版本为 8acf80f)对输出打分。
由于两个语料库都不得再分发,nyra 的参考时间不公开。因此我们根据语料库文件重建了参考时间,使用的是 TIMIT 的 .WRD 文件和 Buckeye 的 .words 文件。我们的参考覆盖了 nyra 1,626 个 TIMIT 句子中的 1,625 个,以及 80,507 个 Buckeye 词中的 79,871 个。
Nyra 的表格列出 Olign v1 在 TIMIT 上为 15.9 ms,在 Buckeye 上为 35.7 ms。Nyra 在 10 月运行的是较早的版本。用我们的参考来评分,同样的预测给出 15.3 ms 和 35.3 ms。也就是说,我们的参考读数比 nyra 的低约半毫秒,你在看 Olign v1 的柱条时可以把这个差距考虑进去。
Olign v1 在 nyra 基准测试上的 v1.1.3 版本结果
Olewave 的运行,TIMIT 于 2026 年 11 月 15 日,Buckeye 于 2026 年 11 月 11 日
| TIMIT | Buckeye | |
|---|---|---|
| Word MAE | 14.2 ms | 23.6 ms |
| 词时间误差中位数 | 7.9 ms | 8.7 ms |
| Acc@50 ms | 86.2 % | 86.8 % |
| Acc@100 ms | 96.9 % | 94.7 % |
返回时长为零的词,按其被放置的位置计分。
TIMIT,Olign 排名第一
在 nyra 的 TIMIT 表格中,Olign v1 在 22 个系统里排名第一。它的 Word MAE 为 15.9 ms。Nyra 自己的对齐器以 21.3 ms 紧随其后,使用宽束的 MFA 为 23.2 ms。Olign v1 在与人工标注相差 25、50 和 100 ms 以内的词数上也是最多的,在 200 ms 时并列第一。
在 v1.1.3 版本上,Olewave 的运行把 Word MAE 降到了 14.2 ms。
这张图把这次运行(带星号)与 nyra 在 2026 年 11 月 10 日发布的 TIMIT 表格中的其他所有系统放在一起。标为 ASR 的系统只对它们识别出的词计时,因此 nyra 建议你结合词召回率来阅读。你可以在图下方的表格中找到它。
全部数字
| 系统 | Nyra 中的名称 | 类型 | 词召回率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| Olign v1 ★ Olewave | 强制对齐器 | 14.2 ms | 86.2 % | ||
| nyra-FA nyra labs | nyra_fa | 强制对齐器 | 99.9 % | 21.3 ms | 82.2 % |
| MFA,宽束 † | mfa (wide beam) | 强制对齐器 | 99.9 % | 23.2 ms | 77.7 % |
| MFA,默认束宽 † | mfa (default beam) | 强制对齐器 | 99.9 % | 23.5 ms | 77.7 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASR 系统 | 98.8 % | 29.6 ms | 70.1 % |
| Qwen3-FA Qwen | qwen_fa | 强制对齐器 | 100.0 % | 30.1 ms | 70.8 % |
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASR 系统 | 98.9 % | 30.4 ms | 70.2 % |
| Grok STT xAI | xai_grok_stt | ASR 系统 | 98.3 % | 37.3 ms | 51.3 % |
| MMS-FA Meta | mms_fa | 强制对齐器 | 100.0 % | 37.3 ms | 51.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 强制对齐器 | 100.0 % | 44.6 ms | 32.5 % |
| MWA,TIMIT 模型 MLSpeech | mwa_timit | 强制对齐器 | 100.0 % | 47.2 ms | 53.5 % |
| CTC segmentation | ctc_segmentation | 强制对齐器 | 100.0 % | 49.3 ms | 38.9 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASR 系统 | 97.9 % | 51.3 ms | 33.6 % |
| Universal 2,含不流利标记 AssemblyAI | assemblyai_u2_disfl | ASR 系统 | 98.5 % | 53.0 ms | 27.5 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASR 系统 | 99.3 % | 54.9 ms | 27.6 % |
| MWA,Buckeye 模型 MLSpeech | mwa_buckeye | 强制对齐器 | 100.0 % | 58.9 ms | 49.8 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASR 系统 | 98.9 % | 60.0 ms | 23.4 % |
| NeMo-FA NVIDIA | nemo_fa | 强制对齐器 | 100.0 % | 60.0 ms | 19.3 % |
| Nova-3 Deepgram | deepgram_nova3 | ASR 系统 | 98.2 % | 63.4 ms | 20.5 % |
| WhisperX | whisperx | ASR 系统 | 98.2 % | 64.8 ms | 13.5 % |
| Canary NVIDIA | canary | ASR 系统 | 97.6 % | 85.5 ms | 13.2 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASR 系统 | 98.2 % | 88.3 ms | 20.7 % |
★ Olign v1 是 Olewave 在 2026 年 11 月 15 日对 v1.1.3 版本的运行结果,使用 nyra 的公开评分器和 nyra 的片段。它不在 nyra 的排行榜上。† 按 nyra 的运行方式,使用 MFA 3.3.9 和 english_mfa 3.1.0 模型。
Buckeye
Buckeye 是更难的测试。Nyra 把每段访谈切成最长 20 秒的片段,起止点恰好落在第一个词和最后一个词上。每个片段都保留了笑声和长时间停顿,往往还有访谈者的声音。较早的 Olign 版本在 Buckeye 上的大部分误差出现在片段边缘和停顿附近。
在 nyra 的 Buckeye 表格中,nyra 自己的对齐器 Word MAE 最低,为 20.2 ms。在 v1.1.3 版本上,Olewave 对 Olign v1 的运行结果为 23.6 ms。15 秒及以内的片段为 22.9 ms,更长的片段为 23.8 ms。这张图以同样的方式展示了 nyra 的 Buckeye 表格,Olign v1 带有星号。
全部数字
| 系统 | Nyra 中的名称 | 类型 | 词召回率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| nyra-FA nyra labs | nyra_fa | 强制对齐器 | 100.0 % | 20.2 ms | 88.7 % |
| Olign v1 ★ Olewave | 强制对齐器 | 23.6 ms | 86.8 % | ||
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASR 系统 | 93.2 % | 35.5 ms | 75.8 % |
| MFA,宽束 † | mfa (wide beam) | 强制对齐器 | 99.9 % | 35.7 ms | 79.1 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASR 系统 | 93.2 % | 38.8 ms | 66.1 % |
| Qwen3-FA Qwen | qwen_fa | 强制对齐器 | 99.9 % | 39.4 ms | 75.0 % |
| Grok STT xAI | xai_grok_stt | ASR 系统 | 92.9 % | 48.8 ms | 50.5 % |
| MFA,默认束宽 † | mfa (default beam) | 强制对齐器 | 98.7 % | 48.9 ms | 78.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 强制对齐器 | 100.0 % | 50.8 ms | 32.4 % |
| MMS-FA Meta | mms_fa | 强制对齐器 | 100.0 % | 52.7 ms | 49.9 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASR 系统 | 91.7 % | 54.4 ms | 31.0 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASR 系统 | 93.8 % | 60.1 ms | 33.4 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASR 系统 | 88.7 % | 68.1 ms | 30.9 % |
| NeMo-FA NVIDIA | nemo_fa | 强制对齐器 | 100.0 % | 72.6 ms | 20.4 % |
| CTC segmentation | ctc_segmentation | 强制对齐器 | 100.0 % | 81.0 ms | 48.8 % |
| Nova-3 Deepgram | deepgram_nova3 | ASR 系统 | 92.7 % | 87.6 ms | 14.8 % |
| WhisperX | whisperx | ASR 系统 | 88.1 % | 89.8 ms | 8.7 % |
| Canary NVIDIA | canary | ASR 系统 | 88.2 % | 107.2 ms | 10.0 % |
| MWA,Buckeye 模型 MLSpeech | mwa_buckeye | 强制对齐器 | 100.0 % | 108.7 ms | 58.9 % |
| MWA,TIMIT 模型 MLSpeech | mwa_timit | 强制对齐器 | 100.0 % | 143.2 ms | 51.3 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASR 系统 | 88.6 % | 144.8 ms | 35.3 % |
★ Olign v1 是 Olewave 在 2026 年 11 月 11 日对 v1.1.3 版本的运行结果,使用 nyra 的公开评分器和 nyra 的片段。它不在 nyra 的排行榜上。† 按 nyra 的运行方式,使用 MFA 3.3.9 和 english_mfa 3.1.0 模型。
v1.1.3 版本包含什么
自 nyra 运行以来,Olign v1 已从 v1.1.0 更新到 v1.1.3。API 和响应格式保持不变。
- 不在 Olign 词典中的词,其发音由发音模型给出。
- 超过 15 秒的录音,以及任何长度但未附带文本的录音,在开头和结尾的处理方式有所不同。
- 紧邻停顿的词会在新的位置结束或开始。停顿之前的词不再延伸进停顿,因此返回的停顿更接近其完整时长。
后两项改动针对的是片段边缘和停顿,也就是 Buckeye 上较早版本损失最大的两处。15 秒及以内且附带文本的录音,会一次完成对齐。
自行验证
你可以用 nyra 自己的工具,通过托管服务重新运行这两项测试。你需要一个 Olign API 密钥,注册 tycho.olewave.com 的账号即可获得,还需要你自己持有授权的 TIMIT 和 Buckeye 副本。如果它们不在 nyra 的默认文件夹中,请用 --data-root 指向它们。这两次运行共发送约 8.6 小时的音频,其中 TIMIT 为 1.4 小时,Buckeye 为 7.2 小时。
在 Olign v1 上运行 nyra 的基准测试
git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
--out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
--out results_api --save-predictions predictions
每次运行都会输出分数,并保存服务的原始响应。每个 Olign 响应都在 X-Olign-Version 头中带有它的版本,因此你可以看到是哪个版本给出了结果。
检查是哪个版本给出了结果
python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
print(name, {v for job in raw.values()
for k, v in job.get("_versions", {}).items()
if k.lower() == "x-olign-version"})
EOF
当 v1.1.3 对齐了每一个音频片段时,它会为每个测试集输出 {'v1.1.3'}。你的分数基于你自己的参考副本,所以小数位上与我们的结果会有差异。
下一步
-
我们请求 nyra 重新运行的 PR
我们的 pull request 请 nyra 重新运行 Olign v1,并记录每个托管服务的行是由哪个版本给出的。等 nyra 发布它的运行结果后,就以那个数字为准,我们会在这里附上链接。我们还就 nyra 的 MFA 行提交了一个 issue。 -
用你自己的录音试用 Olign
Speech Timestamps Playground 可对最长 30 秒的英语语音进行对齐,无需账号。 -
从 Olign API 开始
注册即可获得免费额度,用来对齐你自己的录音。 -
查看 FA-Bench
Olewave 自己的公开基准测试,面向强制对齐和带时间戳的 ASR。