Conformer는 end-to-end ASR을 조용히 장악한 모델이며, 모든 Transformer 블록에 convolution 모듈을 추가하는 그 방식은 단순하지만 놀랍게도 잘 작동하는 아이디어 중 하나입니다. Transformer는 전역 컨텍스트에 탁월하고, CNN은 로컬 음향 패턴에 탁월합니다. Conformer는 선택을 강요하지 않고 언어 모델 없이 최첨단 LibriSpeech WER 2.1%/4.3%를 제공합니다.

Gulati 등의 논문에 대한 이 장문 리뷰는 완전한 아키텍처를 블록별로 풀어냅니다: macaron feed-forward sandwich, convolution 모듈의 gating 및 depthwise conv, 그리고 multi-head self-attention이 상대적 위치 인코딩과 어떻게 상호작용하는지입니다. 또한 10M 파라미터 소형 모델이 여전히 2.7%/6.3% WER을 달성하는 파라미터 효율성에 대해서도 살펴봅니다. Conformer이 프로덕션 스택에 있거나 Whisper 스타일의 Transformer 전용 기준선과 비교 평가 중이라면, 이 깊이 있는 분석은 이해할 가치가 있는 모든 설계 결정을 설명합니다.