Axial attention은 Transformer를 고차원 데이터에 대해 다루기 쉽게 유지하는 우아한 아이디어 중 하나입니다: 한 번에 모든 픽셀이나 모든 시간-주파수 빈에 주목하는 대신, 한 번에 한 축을 따라 주목합니다. 구현하기 간단하고, 표준 deep learning 프레임워크와 잘 어울리며, ImageNet-32, ImageNet-64, BAIR Robotic Pushing에서 여전히 최첨단을 달성합니다.

Ho et al. 논문의 이 단문 리뷰는 Axial Transformers의 핵심 메커니즘을 한 번에 제공하며, 계층이 텐서 차원 전체에서 주목을 어떻게 인수분해하는지, 그리고 반병렬 디코딩 구조가 결합 분포 표현력을 포기하지 않으면서 샘플링을 빠르게 유지하는 이유를 설명합니다. Spectrogram 모델링, audio-visual fusion, 또는 시퀀스 길이가 GPU를 초과하는 모든 음성 작업을 위한 효율적인 attention 변형을 고려 중이라면 유용한 맥락입니다. 전체 논문을 읽기 전에 빠른 버전으로 살펴보세요.