Axial Attention是一個優雅的想法，它使Transformers對高維數據保持可控：無需一次性對所有像素或所有時頻箱進行注意，而是每次只沿著一個軸進行注意。易於實現，與標準深度學習框架配合良好，並且仍然在ImageNet-32、ImageNet-64和BAIR Robotic Pushing上達到最先進的表現。

這篇Ho et al.論文的短篇評論快速為你介紹了Axial Transformers的核心機制、層如何跨張量維度分解注意，以及為什麼半並行解碼結構保持高效採樣，同時不失去聯合分佈的表現力。對於正在考慮用於頻譜圖建模、音頻視覺融合或任何序列長度會導致GPU爆炸的語音任務的高效注意力變體的人來說，這是有用的背景。在閱讀完整論文之前，先看這個快速版本吧。