FA-Bench 개요
FA-Bench는 단어 및 음소 타임스탬프가 사람 주석자가 지정한 경계에 얼마나 가깝게 놓이는지 보여 줍니다. 자체 단어를 시간과 함께 반환하는 음성 인식 시스템을 채점하고, 트랜스크립트를 받는 강제 정렬기도 채점합니다. 모든 시스템은 같은 테스트 세트에서 같은 코드로 실행되며, 리더보드는 이를 바탕으로 순위를 매깁니다. 이 페이지에서는 리더보드의 각 수치가 어떻게 만들어지는지 설명합니다.
두 가지 작업
FA-Bench는 두 가지 작업을 채점합니다. 두 작업은 단어를 어디서 얻는지가 다릅니다.
타임스탬프가 있는 ASR은 음성만 듣습니다. 자체 단어를 반환하며, 각 단어에는 시작 시간과 종료 시간이 있습니다. 자막이나 더빙 트랙에는 두 시간이 모두 필요합니다. 하지만 대부분의 음성 인식 API는 정확도를 밝히지 않은 채 이 시간을 반환합니다. ASR 보드의 각 행은 API나 모델 형태로 제공되는 시스템 하나입니다. 예를 들어 Google Chirp 2는 Speech-to-Text v2를 통해 호출하는 chirp_2 모델입니다.
강제 정렬은 기준 트랜스크립트를 받습니다. 인식 오류가 없으므로 타이밍만 채점합니다. FA-Bench는 각 정렬기에 Qwen3-ASR이 인식한 단어도 전달합니다. 강제 정렬 보드 위의 전사 스위치는 이 점수를 보여 줍니다. F1 하락은 이 점수가 기준 트랜스크립트에서의 점수보다 얼마나 낮은지를 나타냅니다. 예를 들어 MFA 3.4은(는) 참조 전사에서 0.658점, 인식된 단어에서 0.628점을 기록하여 F1 하락폭이 0.030입니다.
인식기와 정렬기를 연결한 캐스케이드는 인식기를 고정한 상태를 유지하는데, ASR은 이렇게 할 수 없습니다. 그래서 캐스케이드는 해당 정렬기 옆에 표시되며 ASR 사이에서는 순위를 매기지 않습니다.
테스트 세트와 조건
모든 시스템은 두 가지 테스트 세트에서 실행됩니다.
| 테스트 세트 | 구성 |
|---|---|
| TIMIT 코어 테스트 | 화자 24명의 낭독 문장 192개 |
| Buckeye 테스트 | 화자 8명의 대화 세그먼트 4,513개 |
각 테스트 세트는 깨끗한 음성과 열화된 사본 네 가지로 제공됩니다. 사본은 Kaldi 증강 레시피로 만들며, 시드는 고정되어 있습니다.
| 조건 | 생성 방법 |
|---|---|
| 잔향 | 시뮬레이션한 방의 임펄스 응답(RIRS_NOISES). 작은 방과 중간 크기 방이 절반씩입니다 |
| 잡음 | 15, 10, 5, 0 dB SNR의 MUSAN 잡음 클립 |
| 음악 | 15, 10, 8 또는 5 dB SNR의 MUSAN 음악 트랙 1개 |
| 웅성거림 | 20, 17, 15 또는 13 dB SNR의 MUSAN 화자 3~7명 |
보드의 대표 점수는 네 개 셀의 평균입니다. 네 셀은 TIMIT 코어 테스트와 Buckeye 테스트이며, 각각 깨끗한 음성과 잡음 음성입니다. 잡음 셀은 네 가지 열화 조건의 평균입니다. 특정 셀 하나로 보드를 정렬하려면 위의 메뉴를 사용하세요. 예를 들어 Buckeye 테스트, 잡음을 고르면 표에 해당 셀의 F1과 오류율만 표시됩니다.
점수 산정 방식
그림은 하나의 ASR 출력을 세 가지 방식으로 채점합니다. 그림 아래 단락에서 각 방식을 설명합니다.
20 ms 기준 단어 타임스탬프 F1은 단어 보드의 순위를 정합니다. 모든 기준 단어에는 시작 시각과 끝 시각이 있습니다. 시스템이 같은 단어를 출력하고 그 시각을 주석자가 표시한 시각의 20 ms 이내에 놓으면 적중으로 봅니다. 정밀도는 시스템이 낸 시각 중 적중의 비율입니다. 재현율은 기준 시각 중 적중의 비율입니다. 단어를 잘못 인식하면 그 단어의 두 시각을 모두 놓칩니다. 따라서 ASR 보드의 점수에는 인식 오류와 타이밍 오류가 함께 반영됩니다. 그림의 출력은 0.45점입니다.
단어 MAE와 단어 경계 F1은 경계 양쪽의 단어가 모두 기준과 일치할 때만 그 경계를 채점합니다. 그래서 많은 경계가 제외됩니다. 그림에서 단어 MAE는 경계 2개를 채점하며 12.5 ms이고, 20 ms 기준 단어 경계 F1은 0.15입니다. 단어 타임스탬프 F1은 모든 단어 각각의 시작과 끝을 채점합니다. 어떤 경계도 앞 단어의 끝과 뒤 단어의 시작 중 하나를 고를 필요가 없으므로, 휴지가 많은 자발적 발화에 적합합니다.
20 ms 기준 음소 경계 F1은 음소 보드의 순위를 정합니다. 음소 경계는 양쪽 음소가 기준과 일치하고 그 시각이 주석자가 표시한 시각의 20 ms 이내일 때 적중입니다. 시스템마다 자체 음소 집합으로 정렬합니다. 그래서 FA-Bench는 채점 전에 시스템의 음소와 기준 음소를 TIMIT-39로 매핑합니다. 음성만으로 음소를 반환하는 ASR은 없으므로, 음소 단계에는 강제 정렬 보드만 있습니다.
각 F1 옆에는 오류율이 있습니다. MAE는 깨끗한 음성에서의 평균 절대 경계 오차이며 단위는 ms입니다. WER은 단어 오류율, PER은 음소 오류율이며 둘 다 백분율입니다.
범위와 구간
FA-Bench는 고정된 시드로 테스트 발화를 복원 추출해 2,000번 다시 뽑습니다. 한 보드의 모든 시스템은 같은 추출 결과로 평가됩니다. 각 평균 F1 옆의 95% 구간에는 추출 전체에 걸친 점수의 가운데 95%가 들어갑니다. 예를 들어 ASR 보드에서 Google Chirp 2의 평균 F1은 0.486이며 구간은 0.475에서 0.498입니다.
범위에는 시스템 순위의 가운데 95%가 들어갑니다. 두 시스템의 범위가 겹치면 이 테스트 세트에서는 동률입니다. 예를 들어 ASR 보드에서 CrisperWhisper의 범위는 2–3이고 Google Chirp 3의 범위는 2–3이므로, 두 시스템은 동점입니다.
이 구간은 이 발화들의 표본 추출만 반영합니다. Buckeye 테스트의 화자는 8명이므로, 새로운 화자 집단을 쓰면 구간이 더 넓어집니다.
가격
가격 열은 각 API의 오디오 1시간당 정가이며 종량제 기준입니다. FA-Bench가 호출한 모델과 요금제의 가격이며, 2026년 10월 27일에 각 업체의 가격 페이지에서 확인했습니다. 이 열에는 무료 요금제와 크레딧이 포함되지 않으며, 대량 사용 할인도 적용되지 않습니다. 업체가 배치 호출과 실시간 호출의 요금을 다르게 청구하는 경우, 이 열에는 FA-Bench가 사용한 쪽의 가격을 표시합니다.
오픈 모델은 직접 보유한 하드웨어에서 실행하므로 시간당 가격이 없습니다. Olign 행은 시간당 $0.18이며, 이는 출시 기념 프로모션 가격입니다. 정가는 $0.21입니다.
시스템과 버전
API 행은 각각 하나의 API 버전으로 호출한 하나의 모델에서 나온 결과입니다. 표에는 둘 다와 FA-Bench가 해당 API를 측정한 달이 나와 있습니다.
| API | 호출한 모델 | API 버전 | 측정 시기 | 현재 |
|---|---|---|---|---|
| Google Chirp 2 | chirp_2 | Speech-to-Text v2 | 2026년 9월 | 예 |
| Google Chirp 3 | chirp_3 | Speech-to-Text v2 | 2026년 10월 | 예 |
| Amazon Transcribe | en-US | 배치, 2017-10-26 | 2026년 9월 | 예 |
| AssemblyAI Universal-3.5 Pro | universal-3-5-pro | v2 | 2026년 10월 | 예 |
| Deepgram Nova-3 | nova-3, 빌드 2025-07-31.0 | v1 | 2026년 9월 | 예 |
| IBM Watson STT en-US | en-US large speech model | v1 | 2026년 9월 | 예 |
| Speechmatics Enhanced | enhanced, 빌드 16.0.0 및 16.1.0 | Batch v2 | 2026년 9월 | 예 |
| Azure AI Speech | en-US | Short audio REST v1 | 2026년 9월 | 예 |
| ElevenLabs Scribe v2 | scribe_v2 | v1 | 2026년 10월 | 예 |
| Qwen3-ASR-Flash | qwen3-asr-flash-filetrans | DashScope v1 | 2026년 10월 | 예 |
| Mistral Voxtral Mini | voxtral-mini-2602 | v1 | 2026년 10월 | 예 |
| ElevenLabs-FA | forced-alignment | v1 | 2026년 10월 | 예 |
Deepgram과 Speechmatics는 모든 응답에 빌드를 명시합니다. 다른 API는 빌드를 명시하지 않습니다.
최신 여부는 API가 측정 당시와 같게 응답하면 Yes입니다. FA-Bench는 2026년 10월 27일에 이를 확인했습니다. 각 API에 테스트 클립 5개를 다시 보내 모든 단어와 모든 시간을 비교했습니다. 두 API가 9월 이후 바뀌어 있었습니다. ElevenLabs Scribe v2는 일부 단어 시간이 20~80 ms 앞당겨졌고, AssemblyAI는 9개 클립 중 2개에서 다른 단어를 반환했습니다. FA-Bench는 두 API를 10월에 다시 측정했으므로, 보드의 모든 행은 각 API가 현재 제공하는 모델의 결과입니다.
개별 시스템 관련 참고 사항
일부 시스템 이름 뒤의 표시는 이 참고 사항을 가리킵니다.
- ⚠ MAPS와 NeuFA는 FA-Bench의 Buckeye 테스트 세트에 있는 화자 8명 중 7명의 음성으로 학습되었으므로, Buckeye 테스트 음성 대부분이 학습에 사용된 화자의 것입니다.
- ⚠ CrisperWhisper의 개발진은 단어 타이밍을 만들 때 TIMIT를 사용했다고 밝혔지만, 어떤 TIMIT 파일인지는 밝히지 않았습니다. FA-Bench는 TIMIT의 테스트 파일로 테스트하므로, 개발진이 해당 파일도 사용했다면 CrisperWhisper의 TIMIT 점수는 이미 접한 음성에서 나온 것입니다.
- ‡ Deepgram은 깨끗한 Buckeye 테스트 발화의 24%에서, Chirp 3는 15%에서 마지막 단어가 오디오보다 0.3 s 넘게 늦게 끝납니다.
- † NeMo-FA는 80 ms 모델로 표시됩니다. 40 ms 모델의 점수가 더 높으며, 그 점수는 보드의 참고 사항에 있습니다.
- FALCON은 다른 어떤 정렬기도 받지 않는 기준 음소를 입력으로 받으므로, 음소 보드에서 제외하고 해당 보드의 참고 사항에 이름만 적습니다.
FA-Bench와 Artificial Analysis
Artificial Analysis도 AA-WER v2 점수로 음성-텍스트 변환 API의 순위를 매깁니다. 아래 표는 두 벤치마크를 나란히 비교합니다. 각 열은 해당 벤치마크가 스스로 공개한 내용을 따릅니다.
| FA-Bench | Artificial Analysis | |
|---|---|---|
| 채점 대상 | 단어 타이밍과 인식, 20 ms 기준 F1 | 단어 오류율 |
| 테스트 음성 | TIMIT와 Buckeye, 누구나 라이선스를 받을 수 있는 연구용 코퍼스 | 비공개 AA-AgentTalk 50%, 공개 VoxPopuli와 Earnings22 50% |
| 단어 타임스탬프 | 사람 주석자의 주석에 대해 채점 | 채점하지 않음 |
| 채점 코드 | GitHub에 공개 | 공개하지 않음 |
| 텍스트 정규화기 | GitHub에 공개 | 공개하지 않음 |
| 다른 곳에서 재실행 | 가능, TIMIT와 Buckeye 사용 | 아니오 |
Artificial Analysis의 세부 정보는 방법론 페이지와 AA-WER v2 발표문에서 가져왔으며, 2026년 10월 11일에 확인했습니다.
모든 수치 재현하기
리더보드의 모든 수치를 직접 확인할 수 있습니다. 채점 코드와 테스트 세트 구성 방법은 GitHub에 있고, 방법은 arXiv 논문에 설명되어 있습니다. 모든 보드는 수치를 CSV로 제공합니다. 보유한 TIMIT와 Buckeye 사본으로 시스템을 실행한 뒤 FA-Bench로 채점해 보세요.
Olewave는 FA-Bench와 Olign을 모두 만듭니다. Olign은 더 이상 FA-Bench에 참여하지 않으므로 어떤 보드에서도 순위가 매겨지지 않습니다. 2026년 10월의 마지막 결과는 각 표 끝에 순위 없이 표시됩니다. 보드의 모든 시스템은 같은 공개 코드로 같은 사람의 주석에 대해 채점됩니다.
다음 단계
- 리더보드 보기
모든 시스템의 순위와 구간, Range를 확인할 수 있습니다. - GitHub에서 코드 받기
같은 사람의 주석에 대해 직접 만든 시스템을 채점해 보세요. - arXiv에서 논문 읽기
이 페이지의 모든 점수에 쓰인 방법을 설명합니다.