OlignがNyra Speech Timing BenchmarkのTIMITで1位に
Olign v1は、nyra labs自身の表でTIMITの22システム中1位です。Olewaveによる現行リリースv1.1.3の実行では、単語タイミング誤差はTIMITで14.2 ms、Buckeyeで23.6 msでした。
Olign · Nyra Speech Timing Benchmark
概要
- TIMITで1位。 Olign v1は、nyra labs自身のTIMITの表にある22システムの中で1位です。単語タイミング誤差は15.9 msと最も低く、手作業のラベルから50 ms以内に収まる単語の数も最多です。
- 現在はさらに高精度です。 Olign v1の現在のリリースはv1.1.3です。nyraの公開プロトコルをOlewaveが実行したところ、単語タイミング誤差はTIMITで14.2 ms、Buckeyeの会話音声で23.6 msでした。
- ご自身で確認できます。 nyraのツールとOlign API keyがあれば、両方のテストを再実行できます。私たちはnyraにOlign v1の再実行を依頼しました。nyraの数値が正式なものになります。
ベンチマークについて
nyra labsは2026年10月にNyra Speech Timing Benchmarkを公開しました。論文とGitHub上のコードも公開されています。このベンチマークは、各システムが出力する単語の時刻が、手作業のラベルにどれだけ近いかを測ります。すべてのシステムが同じプロトコルで評価されます。この記事では、読み上げ音声と会話音声を扱います。
TIMITは読み上げ音声で、1,626文です。Buckeyeは会話音声で、最大20秒の2,008チャンクに80,507語が含まれます。
各単語には、開始と終了が手作業のラベルからどれだけ離れているかの平均として、タイミング誤差が付きます。Word MAEは、この誤差をすべての単語で平均したもので、単位はミリ秒です。低いほど良い値です。Acc@50 msは、開始と終了の両方がラベルから50 ms以内に収まる単語の割合です。高いほど良い値です。nyraはこの割合を主要な指標としています。
測定方法
この記事の2つの図にある行は、星印の付いたOlign v1を除いて、すべてnyra自身の実行結果です。Olign v1は、同じ公開プロトコルでOlewaveがリリースv1.1.3を実行した結果で、nyraのリーダーボードには載っていません。
v1.1.3の数値は、公開されたv1.1.3の構成を使ってOlewaveが実行しました。ライセンスを取得したTIMITとBuckeyeのコピーからnyraと同じチャンクを切り出し、正解の単語を書き起こしとして送信しました。出力は、コミット8acf80fにあるnyraの公開スコアラーで採点しました。
どちらのコーパスも再配布できないため、nyraは正解の時刻を非公開にしています。そこで私たちは、コーパスのファイル、つまりTIMITの.WRDファイルとBuckeyeの.wordsファイルから正解を作り直しました。私たちの正解は、nyraの1,626のTIMIT文のうち1,625文、80,507のBuckeye単語のうち79,871語をカバーしています。
nyraの表では、Olign v1はTIMITで15.9 ms、Buckeyeで35.7 msです。nyraは10月に以前のリリースを実行しました。同じ予測を私たちの正解で採点すると、15.3 msと35.3 msになります。つまり、私たちの正解はnyraのものより約0.5ミリ秒低く出ます。Olign v1のバーは、この差を考慮してご覧ください。
nyraのベンチマークにおけるリリースv1.1.3のOlign v1
Olewaveによる実行、TIMITは2026年11月15日、Buckeyeは2026年11月11日
| TIMIT | Buckeye | |
|---|---|---|
| Word MAE | 14.2 ms | 23.6 ms |
| 単語タイミング誤差の中央値 | 7.9 ms | 8.7 ms |
| Acc@50 ms | 86.2 % | 86.8 % |
| Acc@100 ms | 96.9 % | 94.7 % |
長さがゼロで返ってきた単語は、配置された位置のまま採点されます。
TIMITでOlignが1位
nyraのTIMITの表では、Olign v1は22システム中1位です。Word MAEは15.9 msです。次いでnyra自身のアライナーが21.3 ms、広いビームのMFAが23.2 msです。Olign v1は、手作業のラベルから25 ms、50 ms、100 ms以内に収まる単語の数も最多で、200 msでは同率1位です。
リリースv1.1.3では、Olewaveの実行によりWord MAEは14.2 msになります。
この図では、星印を付けたその実行結果を、2026年11月10日にnyraが公開したTIMITの表にある他のすべてのシステムと並べています。ASRのタグが付いたシステムは、認識できた単語についてのみタイミングが評価されます。そのためnyraは、単語再現率と合わせて読むよう求めています。再現率は図の下の表にあります。
全数値
| システム | nyraでの名称 | 種類 | 単語再現率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| Olign v1 ★ Olewave | 強制アライナー | 14.2 ms | 86.2 % | ||
| nyra-FA nyra labs | nyra_fa | 強制アライナー | 99.9 % | 21.3 ms | 82.2 % |
| MFA, wide beam † | mfa (wide beam) | 強制アライナー | 99.9 % | 23.2 ms | 77.7 % |
| MFA, default beam † | mfa (default beam) | 強制アライナー | 99.9 % | 23.5 ms | 77.7 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASRシステム | 98.8 % | 29.6 ms | 70.1 % |
| Qwen3-FA Qwen | qwen_fa | 強制アライナー | 100.0 % | 30.1 ms | 70.8 % |
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASRシステム | 98.9 % | 30.4 ms | 70.2 % |
| Grok STT xAI | xai_grok_stt | ASRシステム | 98.3 % | 37.3 ms | 51.3 % |
| MMS-FA Meta | mms_fa | 強制アライナー | 100.0 % | 37.3 ms | 51.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 強制アライナー | 100.0 % | 44.6 ms | 32.5 % |
| MWA, TIMIT model MLSpeech | mwa_timit | 強制アライナー | 100.0 % | 47.2 ms | 53.5 % |
| CTC segmentation | ctc_segmentation | 強制アライナー | 100.0 % | 49.3 ms | 38.9 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASRシステム | 97.9 % | 51.3 ms | 33.6 % |
| Universal 2, disfluencies AssemblyAI | assemblyai_u2_disfl | ASRシステム | 98.5 % | 53.0 ms | 27.5 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASRシステム | 99.3 % | 54.9 ms | 27.6 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | 強制アライナー | 100.0 % | 58.9 ms | 49.8 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASRシステム | 98.9 % | 60.0 ms | 23.4 % |
| NeMo-FA NVIDIA | nemo_fa | 強制アライナー | 100.0 % | 60.0 ms | 19.3 % |
| Nova-3 Deepgram | deepgram_nova3 | ASRシステム | 98.2 % | 63.4 ms | 20.5 % |
| WhisperX | whisperx | ASRシステム | 98.2 % | 64.8 ms | 13.5 % |
| Canary NVIDIA | canary | ASRシステム | 97.6 % | 85.5 ms | 13.2 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASRシステム | 98.2 % | 88.3 ms | 20.7 % |
★ Olign v1は、2026年11月15日にOlewaveがリリースv1.1.3を、nyraの公開スコアラーでnyraのチャンクに対して実行した結果です。nyraのリーダーボードには載っていません。† nyraの実行方法と同じく、english_mfa 3.1.0モデルを使ったMFA 3.3.9です。
Buckeye
Buckeyeはより難しいテストです。nyraは各インタビューを、最初の単語と最後の単語でぴったり区切り、最大20秒のチャンクに切り出します。各チャンクには笑い声や長いポーズが残り、インタビュアーの声が入ることも多くあります。以前のOlignのリリースでは、Buckeyeでの誤差の大半がチャンクの端とポーズの近くで生じていました。
nyraのBuckeyeの表では、nyra自身のアライナーが20.2 msで最も低いWord MAEです。リリースv1.1.3では、OlewaveによるOlign v1の実行結果は23.6 msです。15秒以下のチャンクは22.9 ms、それより長いチャンクは23.8 msでした。図では、nyraのBuckeyeの表を同じ形で示し、Olign v1に星印を付けています。
全数値
| システム | nyraでの名称 | 種類 | 単語再現率 | Word MAE | Acc@50 ms |
|---|---|---|---|---|---|
| nyra-FA nyra labs | nyra_fa | 強制アライナー | 100.0 % | 20.2 ms | 88.7 % |
| Olign v1 ★ Olewave | 強制アライナー | 23.6 ms | 86.8 % | ||
| Fish Transcribe 1 Pro Fish Audio | fish_transcribe_1_pro | ASRシステム | 93.2 % | 35.5 ms | 75.8 % |
| MFA, wide beam † | mfa (wide beam) | 強制アライナー | 99.9 % | 35.7 ms | 79.1 % |
| CrisperWhisper 2.0 large nyra labs | crisperwhisper_2.0_large | ASRシステム | 93.2 % | 38.8 ms | 66.1 % |
| Qwen3-FA Qwen | qwen_fa | 強制アライナー | 99.9 % | 39.4 ms | 75.0 % |
| Grok STT xAI | xai_grok_stt | ASRシステム | 92.9 % | 48.8 ms | 50.5 % |
| MFA, default beam † | mfa (default beam) | 強制アライナー | 98.7 % | 48.9 ms | 78.3 % |
| ElevenLabs Cue | Cue (ElevenLabs) | 強制アライナー | 100.0 % | 50.8 ms | 32.4 % |
| MMS-FA Meta | mms_fa | 強制アライナー | 100.0 % | 52.7 ms | 49.9 % |
| MAI-Transcribe-2 Microsoft | mai_transcribe_2 | ASRシステム | 91.7 % | 54.4 ms | 31.0 % |
| Nemotron Transcribe NVIDIA | nemotron_transcribe | ASRシステム | 93.8 % | 60.1 ms | 33.4 % |
| Universal 3.5 Pro AssemblyAI | assemblyai_u35_pro | ASRシステム | 88.7 % | 68.1 ms | 30.9 % |
| NeMo-FA NVIDIA | nemo_fa | 強制アライナー | 100.0 % | 72.6 ms | 20.4 % |
| CTC segmentation | ctc_segmentation | 強制アライナー | 100.0 % | 81.0 ms | 48.8 % |
| Nova-3 Deepgram | deepgram_nova3 | ASRシステム | 92.7 % | 87.6 ms | 14.8 % |
| WhisperX | whisperx | ASRシステム | 88.1 % | 89.8 ms | 8.7 % |
| Canary NVIDIA | canary | ASRシステム | 88.2 % | 107.2 ms | 10.0 % |
| MWA, Buckeye model MLSpeech | mwa_buckeye | 強制アライナー | 100.0 % | 108.7 ms | 58.9 % |
| MWA, TIMIT model MLSpeech | mwa_timit | 強制アライナー | 100.0 % | 143.2 ms | 51.3 % |
| Ink-Whisper Cartesia | cartesia_ink_whisper | ASRシステム | 88.6 % | 144.8 ms | 35.3 % |
★ Olign v1は、2026年11月11日にOlewaveがリリースv1.1.3を、nyraの公開スコアラーでnyraのチャンクに対して実行した結果です。nyraのリーダーボードには載っていません。† nyraの実行方法と同じく、english_mfa 3.1.0モデルを使ったMFA 3.3.9です。
リリースv1.1.3の内容
nyraの実行以降、Olign v1はリリースv1.1.0からv1.1.3へと更新されました。APIとレスポンス形式は変わっていません。
- Olignの辞書にない単語は、発音モデルから発音を得ます。
- 15秒を超える録音と、長さを問わず書き起こしなしで送信された録音は、開始部分と終了部分の扱いが変わりました。
- ポーズの隣にある単語は、終了位置または開始位置が新しくなりました。ポーズの前の単語がポーズに食い込まなくなったため、ポーズはより本来の長さに近い形で返ります。
後の2つの変更は、チャンクの端とポーズに対応するものです。以前のリリースでは、Buckeyeでこの2か所の誤差が最も大きくなっていました。書き起こし付きで送信された15秒以下の録音は、1回の処理でアライメントされます。
ご自身で確認する
nyra自身のツールを使えば、ホスト型サービスで両方のテストを再実行できます。必要なものは、tycho.olewave.comのアカウントに付属するOlign API keyと、ライセンスを取得したTIMITとBuckeyeのコピーです。コピーがnyraのデフォルトのフォルダにない場合は、--data-rootでその場所を指定してください。2回の実行で送信する音声は約8.6時間で、内訳はTIMITが1.4時間、Buckeyeが7.2時間です。
Olign v1でnyraのベンチマークを実行する
git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
--out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
--out results_api --save-predictions predictions
各実行はスコアを表示し、サービスの生のレスポンスを保存します。Olignのすべてのレスポンスには、X-Olign-Versionヘッダーにリリースが入っています。これでどのリリースが応答したかを確認できます。
どのリリースが応答したかを確認する
python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
print(name, {v for job in raw.values()
for k, v in job.get("_versions", {}).items()
if k.lower() == "x-olign-version"})
EOF
v1.1.3がすべてのクリップをアライメントした場合、各テストセットで{'v1.1.3'}と表示されます。スコアはご自身の正解データのコピーを使うため、小数点以下は私たちの結果と異なることがあります。
次のステップ
-
nyraへの再実行依頼
私たちのプルリクエストでは、nyraにOlign v1の再実行と、ホスト型の各行をどのリリースが処理したかの記録を依頼しています。nyraが実行結果を公開したら、その数値をご利用ください。こちらにもリンクを掲載します。nyraのMFAの行についてはissueも立てました。 -
お手元の録音でOlignを試す
Speech Timestamps Playgroundでは、アカウントなしで最大30秒の英語音声をアライメントできます。 -
Olign APIを始める
サインアップすると、無料クレジットでご自身の録音をアライメントできます。 -
FA-Benchを見る
Olewave独自の、強制アライメントとタイムスタンプ付きASRの公開ベンチマークです。