OlignがNyra Speech Timing BenchmarkのTIMITで1位に

Product

OlignがNyra Speech Timing BenchmarkのTIMITで1位に

Olign v1は、nyra labs自身の表でTIMITの22システム中1位です。Olewaveによる現行リリースv1.1.3の実行では、単語タイミング誤差はTIMITで14.2 ms、Buckeyeで23.6 msでした。

Olign Ranks First on TIMIT in the Nyra Speech Timing Benchmark

Olign · Nyra Speech Timing Benchmark

概要

  • TIMITで1位。 Olign v1は、nyra labs自身のTIMITの表にある22システムの中で1位です。単語タイミング誤差は15.9 msと最も低く、手作業のラベルから50 ms以内に収まる単語の数も最多です。
  • 現在はさらに高精度です。 Olign v1の現在のリリースはv1.1.3です。nyraの公開プロトコルをOlewaveが実行したところ、単語タイミング誤差はTIMITで14.2 ms、Buckeyeの会話音声で23.6 msでした。
  • ご自身で確認できます。 nyraのツールとOlign API keyがあれば、両方のテストを再実行できます。私たちはnyraにOlign v1の再実行を依頼しました。nyraの数値が正式なものになります。

ベンチマークについて

nyra labsは2026年10月にNyra Speech Timing Benchmarkを公開しました。論文とGitHub上のコードも公開されています。このベンチマークは、各システムが出力する単語の時刻が、手作業のラベルにどれだけ近いかを測ります。すべてのシステムが同じプロトコルで評価されます。この記事では、読み上げ音声と会話音声を扱います。

TIMITは読み上げ音声で、1,626文です。Buckeyeは会話音声で、最大20秒の2,008チャンクに80,507語が含まれます。

各単語には、開始と終了が手作業のラベルからどれだけ離れているかの平均として、タイミング誤差が付きます。Word MAEは、この誤差をすべての単語で平均したもので、単位はミリ秒です。低いほど良い値です。Acc@50 msは、開始と終了の両方がラベルから50 ms以内に収まる単語の割合です。高いほど良い値です。nyraはこの割合を主要な指標としています。

測定方法

この記事の2つの図にある行は、星印の付いたOlign v1を除いて、すべてnyra自身の実行結果です。Olign v1は、同じ公開プロトコルでOlewaveがリリースv1.1.3を実行した結果で、nyraのリーダーボードには載っていません。

v1.1.3の数値は、公開されたv1.1.3の構成を使ってOlewaveが実行しました。ライセンスを取得したTIMITとBuckeyeのコピーからnyraと同じチャンクを切り出し、正解の単語を書き起こしとして送信しました。出力は、コミット8acf80fにあるnyraの公開スコアラーで採点しました。

どちらのコーパスも再配布できないため、nyraは正解の時刻を非公開にしています。そこで私たちは、コーパスのファイル、つまりTIMITの.WRDファイルとBuckeyeの.wordsファイルから正解を作り直しました。私たちの正解は、nyraの1,626のTIMIT文のうち1,625文、80,507のBuckeye単語のうち79,871語をカバーしています。

nyraの表では、Olign v1はTIMITで15.9 ms、Buckeyeで35.7 msです。nyraは10月に以前のリリースを実行しました。同じ予測を私たちの正解で採点すると、15.3 msと35.3 msになります。つまり、私たちの正解はnyraのものより約0.5ミリ秒低く出ます。Olign v1のバーは、この差を考慮してご覧ください。

nyraのベンチマークにおけるリリースv1.1.3のOlign v1
Olewaveによる実行、TIMITは2026年11月15日、Buckeyeは2026年11月11日

TIMIT Buckeye
Word MAE 14.2 ms 23.6 ms
単語タイミング誤差の中央値 7.9 ms 8.7 ms
Acc@50 ms 86.2 % 86.8 %
Acc@100 ms 96.9 % 94.7 %

長さがゼロで返ってきた単語は、配置された位置のまま採点されます。

TIMITでOlignが1位

nyraのTIMITの表では、Olign v1は22システム中1位です。Word MAEは15.9 msです。次いでnyra自身のアライナーが21.3 ms、広いビームのMFAが23.2 msです。Olign v1は、手作業のラベルから25 ms、50 ms、100 ms以内に収まる単語の数も最多で、200 msでは同率1位です。

リリースv1.1.3では、Olewaveの実行によりWord MAEは14.2 msになります。

この図では、星印を付けたその実行結果を、2026年11月10日にnyraが公開したTIMITの表にある他のすべてのシステムと並べています。ASRのタグが付いたシステムは、認識できた単語についてのみタイミングが評価されます。そのためnyraは、単語再現率と合わせて読むよう求めています。再現率は図の下の表にあります。

Word MAE on TIMIT in the Nyra Speech Timing Benchmark, lower is better. Olign v1, starred as Olewave's run, 14.2 ms, then nyra-FA 21.3 ms and MFA with a wide beam 23.2 ms. Nineteen more systems follow, up to 88.3 ms.
全数値
システムnyraでの名称種類単語再現率Word MAEAcc@50 ms
Olign v1 ★ Olewave強制アライナー14.2 ms86.2 %
nyra-FA nyra labsnyra_fa強制アライナー99.9 %21.3 ms82.2 %
MFA, wide beam †mfa (wide beam)強制アライナー99.9 %23.2 ms77.7 %
MFA, default beam †mfa (default beam)強制アライナー99.9 %23.5 ms77.7 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASRシステム98.8 %29.6 ms70.1 %
Qwen3-FA Qwenqwen_fa強制アライナー100.0 %30.1 ms70.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASRシステム98.9 %30.4 ms70.2 %
Grok STT xAIxai_grok_sttASRシステム98.3 %37.3 ms51.3 %
MMS-FA Metamms_fa強制アライナー100.0 %37.3 ms51.3 %
ElevenLabs CueCue (ElevenLabs)強制アライナー100.0 %44.6 ms32.5 %
MWA, TIMIT model MLSpeechmwa_timit強制アライナー100.0 %47.2 ms53.5 %
CTC segmentationctc_segmentation強制アライナー100.0 %49.3 ms38.9 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASRシステム97.9 %51.3 ms33.6 %
Universal 2, disfluencies AssemblyAIassemblyai_u2_disflASRシステム98.5 %53.0 ms27.5 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASRシステム99.3 %54.9 ms27.6 %
MWA, Buckeye model MLSpeechmwa_buckeye強制アライナー100.0 %58.9 ms49.8 %
Nemotron Transcribe NVIDIAnemotron_transcribeASRシステム98.9 %60.0 ms23.4 %
NeMo-FA NVIDIAnemo_fa強制アライナー100.0 %60.0 ms19.3 %
Nova-3 Deepgramdeepgram_nova3ASRシステム98.2 %63.4 ms20.5 %
WhisperXwhisperxASRシステム98.2 %64.8 ms13.5 %
Canary NVIDIAcanaryASRシステム97.6 %85.5 ms13.2 %
Ink-Whisper Cartesiacartesia_ink_whisperASRシステム98.2 %88.3 ms20.7 %

★ Olign v1は、2026年11月15日にOlewaveがリリースv1.1.3を、nyraの公開スコアラーでnyraのチャンクに対して実行した結果です。nyraのリーダーボードには載っていません。† nyraの実行方法と同じく、english_mfa 3.1.0モデルを使ったMFA 3.3.9です。

Buckeye

Buckeyeはより難しいテストです。nyraは各インタビューを、最初の単語と最後の単語でぴったり区切り、最大20秒のチャンクに切り出します。各チャンクには笑い声や長いポーズが残り、インタビュアーの声が入ることも多くあります。以前のOlignのリリースでは、Buckeyeでの誤差の大半がチャンクの端とポーズの近くで生じていました。

nyraのBuckeyeの表では、nyra自身のアライナーが20.2 msで最も低いWord MAEです。リリースv1.1.3では、OlewaveによるOlign v1の実行結果は23.6 msです。15秒以下のチャンクは22.9 ms、それより長いチャンクは23.8 msでした。図では、nyraのBuckeyeの表を同じ形で示し、Olign v1に星印を付けています。

Word MAE on Buckeye in the Nyra Speech Timing Benchmark, lower is better. nyra-FA 20.2 ms, then Olign v1, starred as Olewave's run, 23.6 ms, and Fish Transcribe 1 Pro 35.5 ms. Eighteen more systems follow, up to 144.8 ms.
全数値
システムnyraでの名称種類単語再現率Word MAEAcc@50 ms
nyra-FA nyra labsnyra_fa強制アライナー100.0 %20.2 ms88.7 %
Olign v1 ★ Olewave強制アライナー23.6 ms86.8 %
Fish Transcribe 1 Pro Fish Audiofish_transcribe_1_proASRシステム93.2 %35.5 ms75.8 %
MFA, wide beam †mfa (wide beam)強制アライナー99.9 %35.7 ms79.1 %
CrisperWhisper 2.0 large nyra labscrisperwhisper_2.0_largeASRシステム93.2 %38.8 ms66.1 %
Qwen3-FA Qwenqwen_fa強制アライナー99.9 %39.4 ms75.0 %
Grok STT xAIxai_grok_sttASRシステム92.9 %48.8 ms50.5 %
MFA, default beam †mfa (default beam)強制アライナー98.7 %48.9 ms78.3 %
ElevenLabs CueCue (ElevenLabs)強制アライナー100.0 %50.8 ms32.4 %
MMS-FA Metamms_fa強制アライナー100.0 %52.7 ms49.9 %
MAI-Transcribe-2 Microsoftmai_transcribe_2ASRシステム91.7 %54.4 ms31.0 %
Nemotron Transcribe NVIDIAnemotron_transcribeASRシステム93.8 %60.1 ms33.4 %
Universal 3.5 Pro AssemblyAIassemblyai_u35_proASRシステム88.7 %68.1 ms30.9 %
NeMo-FA NVIDIAnemo_fa強制アライナー100.0 %72.6 ms20.4 %
CTC segmentationctc_segmentation強制アライナー100.0 %81.0 ms48.8 %
Nova-3 Deepgramdeepgram_nova3ASRシステム92.7 %87.6 ms14.8 %
WhisperXwhisperxASRシステム88.1 %89.8 ms8.7 %
Canary NVIDIAcanaryASRシステム88.2 %107.2 ms10.0 %
MWA, Buckeye model MLSpeechmwa_buckeye強制アライナー100.0 %108.7 ms58.9 %
MWA, TIMIT model MLSpeechmwa_timit強制アライナー100.0 %143.2 ms51.3 %
Ink-Whisper Cartesiacartesia_ink_whisperASRシステム88.6 %144.8 ms35.3 %

★ Olign v1は、2026年11月11日にOlewaveがリリースv1.1.3を、nyraの公開スコアラーでnyraのチャンクに対して実行した結果です。nyraのリーダーボードには載っていません。† nyraの実行方法と同じく、english_mfa 3.1.0モデルを使ったMFA 3.3.9です。

リリースv1.1.3の内容

nyraの実行以降、Olign v1はリリースv1.1.0からv1.1.3へと更新されました。APIとレスポンス形式は変わっていません。

  • Olignの辞書にない単語は、発音モデルから発音を得ます。
  • 15秒を超える録音と、長さを問わず書き起こしなしで送信された録音は、開始部分と終了部分の扱いが変わりました。
  • ポーズの隣にある単語は、終了位置または開始位置が新しくなりました。ポーズの前の単語がポーズに食い込まなくなったため、ポーズはより本来の長さに近い形で返ります。

後の2つの変更は、チャンクの端とポーズに対応するものです。以前のリリースでは、Buckeyeでこの2か所の誤差が最も大きくなっていました。書き起こし付きで送信された15秒以下の録音は、1回の処理でアライメントされます。

ご自身で確認する

nyra自身のツールを使えば、ホスト型サービスで両方のテストを再実行できます。必要なものは、tycho.olewave.comのアカウントに付属するOlign API keyと、ライセンスを取得したTIMITとBuckeyeのコピーです。コピーがnyraのデフォルトのフォルダにない場合は、--data-rootでその場所を指定してください。2回の実行で送信する音声は約8.6時間で、内訳はTIMITが1.4時間、Buckeyeが7.2時間です。

Olign v1でnyraのベンチマークを実行する

git clone https://github.com/nyrahealth/nyra_speech_timing_benchmark
cd nyra_speech_timing_benchmark
pip install -e .
export OLIGN_KEY=your-olign-key
nyra-timing run --dataset timit --model olign_v1 \
  --out results_api --save-predictions predictions
nyra-timing run --dataset buckeye --model olign_v1 \
  --out results_api --save-predictions predictions

各実行はスコアを表示し、サービスの生のレスポンスを保存します。Olignのすべてのレスポンスには、X-Olign-Versionヘッダーにリリースが入っています。これでどのリリースが応答したかを確認できます。

どのリリースが応答したかを確認する

python - <<'EOF'
import gzip, json
for name in ("timit", "buckeye"):
    raw = json.load(gzip.open(f"predictions/raw/olign_v1_{name}.json.gz"))
    print(name, {v for job in raw.values()
                 for k, v in job.get("_versions", {}).items()
                 if k.lower() == "x-olign-version"})
EOF

v1.1.3がすべてのクリップをアライメントした場合、各テストセットで{'v1.1.3'}と表示されます。スコアはご自身の正解データのコピーを使うため、小数点以下は私たちの結果と異なることがあります。

次のステップ

  • nyraへの再実行依頼
    私たちのプルリクエストでは、nyraにOlign v1の再実行と、ホスト型の各行をどのリリースが処理したかの記録を依頼しています。nyraが実行結果を公開したら、その数値をご利用ください。こちらにもリンクを掲載します。nyraのMFAの行についてはissueも立てました。

  • お手元の録音でOlignを試す
    Speech Timestamps Playgroundでは、アカウントなしで最大30秒の英語音声をアライメントできます。

  • Olign APIを始める
    サインアップすると、無料クレジットでご自身の録音をアライメントできます。

  • FA-Benchを見る
    Olewave独自の、強制アライメントとタイムスタンプ付きASRの公開ベンチマークです。