[Olewave의 리뷰] OpenAI의 Whisper ASR: 대규모 약한 지도를 통한 강건한 음성 인식
OpenAI가 Whisper를 출시했을 때, ASR 커뮤니티는 68만 시간의 다국어, 다중 작업, 웹 크롤링 오디오로 훈련되어 사투리, 배경 소음, 기술 용어 전반에 걸쳐
Olewave의 RNN-T 설명 중 가장 상세함: Sequence Transduction with Recurrent Neural Networks
Alex Graves의 RNN-T 논문은 오늘날 출시되는 거의 모든 스트리밍 ASR 시스템의 조용한 조상이며, Google의 온디바이스 인식기에서부터 NeMo, ESPnet 등의 수많은 오픈소스 트랜스듀서 스택에 이르기까지입니다.
[Olewave의 롱 리뷰] 음성 인식을 위한 신경 트랜스듀서의 효율적인 훈련
신경 트랜스듀서는 스트리밍 ASR의 주력이지만, 효율적으로 훈련하는 것은 유명하게 고통스럽습니다: RNN-T 손실은 시퀀스 길이에서 3제곱 메모리를 가지며, 정렬 격자는 긴 발화에서 폭발하고, 단일-
[장문 리뷰] Conformer: 음성 인식을 위한 Convolution-augmented Transformer
Conformer는 end-to-end ASR을 조용히 장악한 모델이며, 모든 Transformer 블록에 convolution 모듈을 추가하는 그 방식은 단순하지만 놀랍게도 잘 작동하는 아이디어 중 하나입니다.
[단문 리뷰] Conformer: 음성 인식을 위한 Convolution-augmented Transformer
Conformer는 거의 단순한 작업을 통해 ASR 세계를 휩쓸었습니다: 각 Transformer 블록에 convolution 모듈을 붙여 모델이 전역 컨텍스트와 로컬 음향 세부 정보를 한 번에 포착할 수 있도록 했습니다.
[장문 리뷰] Axial Attention in Multidimensional Transformers
이미지 또는 비디오에 대한 완전한 self-attention은 비용이 과도합니다. 이차 증가 없이 Transformer의 표현력을 유지하려면?
[단문 리뷰] Axial Attention in Multidimensional Transformers
Axial attention은 Transformer를 고차원 데이터에 대해 다루기 쉽게 유지하는 우아한 아이디어 중 하나입니다: 한 번에 모든 픽셀이나 모든 시간-주파수 빈에 주목하는 대신, 한 번에 한 축을 따라 주목합니다.
[롱 리뷰] Speaker Verification에서 Multispeaker Text-To-Speech Synthesis로의 Transfer Learning
이 논문은 제로샷 음성 클로닝을 실용적으로 만든 연구입니다: 수천 개의 노이즈가 많고 전사본이 없는 음성으로 판별적 검증 작업에서 speaker encoder를 학습한 후, 그 임베딩을 Tacotron 2로
[숏 리뷰] Speaker Verification에서 Multispeaker Text-To-Speech Synthesis로의 Transfer Learning
현대 제로샷 음성 클로닝 물결을 시작한 Google 논문은 아름답게 깔끔한 아키텍처를 가지고 있습니다: verification에 학습된 speaker encoder, 텍스트와 speaker 임베딩을
[롱 리뷰] Wav2Seq: Pseudo Languages를 사용한 Speech-to-Text Encoder-Decoder Models의 Pre-training
대부분의 speech pretraining은 encoder 측면에 집중했습니다: wav2vec, HuBERT, WavLM, 하지만 sequence-to-sequence ASR은 pretrained decoder도 필요합니다.
[숏 리뷰] Wav2Seq: Pseudo Languages를 사용한 Speech-to-Text Encoder-Decoder Models의 Pre-training
wav2vec 2.0 같은 Self-supervised pretraining은 훌륭한 speech encoder를 제공했습니다, 하지만 전체 encoder-decoder ASR 시스템을 원하면, decoder는 여전히 처음부터 시작했습니다.
[긴 리뷰] Towards Zero-Label Language Learning
인간이 레이블을 지정한 단 하나의 예제 없이 작업별 NLP 모델을 학습시킬 수 있다면 어떨까요? "Towards Zero-Label Language Learning"은 이 질문을 강하게 제기합니다.
[긴 리뷰] Fully Sharded Data Parallel: 더 적은 GPU로 더 빠른 AI 학습
적당한 GPU 예산으로 수십억 매개변수 음성 또는 언어 모델을 학습하는 것은 파이프라인 병렬화, 텐서 병렬화, 또는 ZeRO 스타일의 옵티마이저 샤딩 중에서 선택해야 하는 것을 의미했습니다.
[짧은 리뷰] Fully Sharded Data Parallel: 더 적은 GPU로 더 빠른 AI 학습
Fully Sharded Data Parallel은 모든 음성 및 언어 팀이 결국 묻는 질문에 대한 Meta의 답변입니다: 더 큰 규모의 GPU를 프로비저닝하지 않고 한 자릿수 더 큰 모델을 학습하는 방법은 무엇일까요?
[Short Review] 훈련 데이터 중복 제거가 언어 모델을 더 좋게 만든다
당신의 언어 모델의 "일반화" 중 얼마나 많은 부분이 실제로는 단순한 반복일까요?
Breaking Bad에서 Wav2vec 2.0으로: 음성 표현의 자기 지도 학습을 위한 프레임워크
Walter White, Jesse Pinkman, 그리고 레이블이 없는 오디오 배치가 공통점이 뭘까요?
지리적 모델을 사용하여 지역 POI 음성 인식 정확도 개선하기
음성 어시스턴트에 작은 지역 식당으로 이동하도록 요청하면 ASR이 실패하는 지점을 빠르게 발견할 수 있습니다 — LM 학습 코퍼스에 나타나지 않았던 롱테일 POI 이름들입니다.
BigSSL: 자동 음성 인식을 위한 대규모 준지도 학습의 경계 탐색
100M 매개변수에서 최첨단을 이긴 준지도 ASR 레시피를 가져다가 계속 확장하면 어떻게 될까요?