FA-Bench Leaderboard for ASR with Word Timestamps
We ranked 28 speech recognition pipelines, 19 built from open models and 9 that call a commercial API, by how closely their word timestamps land on the boundar…
FA-Bench, 단어와 음소 타임스탬프의 정확도를 재는 벤치마크
FA-Bench는 단어와 음소 타임스탬프가 언어학자가 직접 표시한 경계에 얼마나 가깝게 놓이는지 측정합니다. TIMIT과 Buckeye에서 ASR 시스템과 forced aligner의 점수를 매기며, 깨끗한 음성과 잡음을 더한 음성을 모두 다룹니다. 리더보드는 2026년 10월 결과로…
마이크로소프트의 VALL-E 2 검토 (Zero-shot TTS에서 인간 수준 달성)
Zero-shot TTS는 많은 사람들이 여전히 몇 년 먼 것이라고 생각했던 선을 넘었습니다. 마이크로소프트의 VALL-E 2는 견고성, 자연스러움, 화자 유사성 측면에서 LibriSpeech와 VCTK 모두에서 인간 수준에 도달한 첫 번째 신경망 코덱 언어 모델입니다.
3분 안에 마이크로소프트의 VALL-E 2 이해하기 (Zero-shot TTS에서 인간 수준 달성)
시간이 부족하지만 VALL-E 2가 갑자기 zero-shot TTS의 기준점이 된 이유를 알아야 합니까?
DiTAR 검토: 음성 생성을 위한 Diffusion Transformer 자기 회귀 모델링 ~ Seed-TTS
Seed-TTS 팀이 DiTAR로 돌아왔으며, 이는 현대 음성 생성의 더 어색한 트레이드오프 중 하나에 대한 명확한 답입니다.
ByteDance/Tiktok의 Seed-TTS 검토: 고품질 다목적 음성 생성 모델 제품군
ByteDance의 Seed-TTS는 TTS가 컴포넌트에서 진정한 기초 모델로 진화하고 있다는 가장 강력한 신호 중 하나입니다.
Olewave의 음성 데이터 청소 파이프라인을 효과적이고 독특하게 만드는 것은 무엇인가
Olewave의 Olign 파이프라인이 원본 오디오를 실제 서비스에 바로 쓸 수 있는 ASR/TTS 학습 데이터로 바꾸는 방법을 소개합니다. 이 데이터에는 검증된 전사문, 단어 단위 타임스탬프, 신뢰도 점수가 포함되며, 사람 레이블러는 필요하지 않습니다.
OpenAI Whisper에서 자체 ASR 서비스로: 이름 엔티티 및 도메인별 용어 인식
Whisper는 즉시 인상적이지만, 실제로 프로덕션에 배포한 사람이라면 누구나 고통을 알고 있습니다: 고유명사, 제품 이름, 의료 용어, 법률 용어, 그리고 도메인 어휘의 전체 긴 꼬리를 잘못 처리합니다
Meta의 Movie Gen vs. OpenAI의 Sora: 상세 리뷰
Meta는 마침내 Sora에 대한 입장을 보였고, Movie Gen은 단순한 비디오 생성기 이상입니다 — 다중 aspect ratio로 1080p HD 비디오를 생성하고 동기화된 오디오를 지원하는 foundation 모델의 캐스트이며, 정밀합니다
Google 연구원의 End-to-End 음성 인식에 대한 심층 분석, Part 1: 개요 & 모델링
딥러닝의 10년은 ASR 단어 오류율을 50% 이상 상대적으로 감소시켰고, 그 과정에서 고전적인 HMM 파이프라인을 유물처럼 보이게 만들었습니다.
OpenAI GPT-4o의 신경망 아키텍처 추론하기
OpenAI는 GPT-4o에 대한 논문을 발표하지 않았으므로, 이 영상은 다음 최선의 방법을 제시합니다: OpenAI가 실제로 시연한 기능을 바탕으로 신경망 아키텍처가 거의 확실히 어떤 모습인지를 역엔지니어링합니다
Google의 100개 이상 언어를 지원하는 Universal Speech Model이 OpenAI의 Whisper Model을 능가합니다
Google의 Universal Speech Model은 조용히 놀라운 성과를 달성했습니다: 레이블이 지정된 훈련 데이터의 약 1/7을 사용하면서 100개 이상의 언어에서 OpenAI의 Whisper와 동등하거나 능가하는 ASR 성능을 달성했습니다.
ICASSP 2024에서의 Olewave
우리는 서울의 IEEE ICASSP 2024의 후원사이자 전시업체였으며, 당사의 설립자이자 CEO인 Wei Chu가 야생 웹 소싱 데이터로부터 음성 모델 훈련에 대한 초대 연설을 진행했습니다.
높은 ROI를 위한 야생 데이터 활용 음성 R&D — 당사의 ICASSP 2024 초대 연설
당사 설립자이자 CEO인 Wei Chu의 ICASSP 2024 초대 연설 — 기존 음성 서비스 구축이 낮은 ROI인 이유와 야생 데이터 필터링 + 대형 오픈소스 음성 모델로 비공개 데이터 자동 레이블링이 방정식을 어떻게 뒤집는지에 대해
긴 리뷰: Apple의 MM1: 멀티모달 LLM 사전 학습의 방법, 분석 및 인사이트
Apple은 많이 출판하지 않으므로, MM1 논문이 멀티모달 LLM 사전 학습에 대한 완전한 제거 연구와 함께 발표되었을 때, MLLM을 구축하는 모든 사람에게 올해 더 유용한 데이터 릴리스 중 하나였습니다.
Apple의 SOTA 멀티모달 LLM의 빠른 리뷰: MM1
MM1의 전체 분석에 시간이 없다면, 이 빠른 리뷰는 몇 분 안에 핵심을 제공합니다: Apple이 구축한 것, 아키텍처 및 데이터의 제거 연구에서 배운 것, 그리고 어떤 설계 결정이
Claude 3이 GPT-4를 능가하게 만든 비결
Claude 3 Opus가 MMLU, GPQA, GSM8K 및 대부분의 경계 평가 벤치마크에서 GPT-4를 능가했을 때, 흥미로운 질문은 Anthropic이 단순히 더 크게 확장했는지 여부가 아니라 어떤 학습 시간 비결이었는지였습니다.
Sora와 관련된 생성 AI 모델: 정규화 흐름
모두가 확산에 대해 이야기하고 있지만, 실제로 Sora와 현대 생성 비디오를 만든 계통을 이해하려면, 정규화 흐름으로 시간을 보내야 합니다 — 생성 모드의 클래스
변분 자동인코더(VAE) 및 재매개변수화 트릭 - 고전 생성 모델 재검토
확산 모델이 나오기 전에, 정규화 흐름이 나오기 전에, 잠재 확산 모델이 조용히 VAE 인코더를 모든 진지한 생성 스택에 구축하기 전에 — Kingma와 Welling의 2013년 논문이 변분 자동인코더를 소개
Microsoft+OpenAI, Google, Meta, 및 Nvidia의 오픈 소스 대규모 음성 모델 검토(ASR용)
모든 주요 AI 연구소는 이제 ASR용 오픈 소스 대규모 음성 모델을 출시했으며, 프로덕션용으로 올바른 모델을 선택하는 것이 실제 결정이 되었습니다.
![[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition](/media/video/2024/02/detailed-paper-reading-zipformer-a-faster-and-better-encoder-for-automatic-speech/preview.jpg)
[상세 논문 읽기] Zipformer: 자동 음성 인식을 위한 더 빠르고 나은 인코더
Conformer은 수년 동안 기본 ASR 인코더였지만, k2/icefall 팀의 Zipformer은 더 빠르고 가벼우면서도 LibriSpeech, Aishell-1, WenetSpeech에서 조용히 WER 왕관을 차지했습니다.
Tycho: 높은 ROI 자체 음성 관련 서비스(ASR/TTS/번역) 구축을 위한 툴킷: 개요
자체 ASR, TTS, 또는 음성 번역 서비스를 원하는 대부분의 팀은 동일한 복잡한 선택에 직면합니다: ESPnet, NeMo, k2, HuggingFace의 조각들을 붙이거나, 모든 것을 클라우드 API에 넘기고 분당 비용을 지불
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 후처리 및 언어 모델링
원본 Whisper 출력은 기본 상태에서 인상적이지만, 실제 사용자에게 배포한 모든 사람은 데모 트랜스크립트와 다운스트림 시스템이 실제로 사용할 수 있는 것 사이의 간격을 알고 있습니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 긴 오디오 및 스트리밍 (Part 3)
Whisper는 30초 청크로 학습되었으며, 2시간 팟캐스트를 입력하거나 라이브 캡션 파이프라인에 연결하려고 할 때 한계를 드러냅니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: ROI (투자 수익률) (Part 2)
ASR의 구축 대 구매 질문은 일반적으로 정확도 대 편의성으로 프레임화되지만, 실제 결정 요소는 제품 수명 동안의 ROI입니다.
OpenAI의 Whisper 모델에서 자신의 자체 ASR 서비스로: 개요 (Part 1)
OpenAI가 Whisper를 오픈소스로 공개했을 때, 자체 ASR 서비스가 어떻게 보이는지에 대한 기준선을 조용히 재설정했습니다.
OpenAI Whisper가 생성한 단어 타임스탐프가 정확하지 않은 이유는? 다시 정확하게 만들 수 있을까?
Whisper에 단어 타임스탐프를 요청하면 숫자가 반환됩니다 — 하지만 실제 오디오와 맞춰보려고 시도한 경험이 있다면, 노래방, 자막, 더빙을 위해 드리프트가 발생하고 잘못된 경계로 스냅되며 가끔은
음성 생성 AI: Meta AI의 VoiceBox(Flow Matching과 Neural ODE도)
수년 동안 음성 생성은 규모와 일반성 측면에서 텍스트 및 이미지 생성에 뒤떨어졌습니다 — 모든 작업은 자체 맞춤형 모델을 사용했습니다.
I-JEPA: Yann LeCun의 첫 번째 '세계 모델' 컴퓨터 비전용
Yann LeCun은 수년 동안 생성형 사전 훈련이 세계를 이해하는 기계를 만들기 위한 잘못된 베팅이라고 주장해왔습니다.
LoRA: 고등학생도 게이밍 그래픽 카드로 대규모 언어 모델(GPT-3)을 훈련할 수 있게 하다
175B 파라미터 GPT-3의 전체 미세 조정은 거의 모든 사람에게 현실적이지 않습니다 — 저장 공간만으로도 불가능하며, GPU는 말할 것도 없습니다.