軸方向注意はTransformersを高次元データで扱いやすくする優雅なアイデアの1つです：すべてのピクセルまたはすべての時間周波数ビンを一度に注意する代わりに、一度に1つの軸に沿って注意します。実装は簡単で、標準的なディープラーニングフレームワークとうまく連携し、ImageNet-32、ImageNet-64、およびBAIR Robotic Pushingで最先端のままです。

Ho et al.ペーパーのこのショートレビューは、1回の座りでAxial Transformersの中核となるメカニクスを提供し、レイヤーがテンソル次元全体で注意をどのように要因分解するか、およびセミパラレルデコード構造がなぜ結合分布の表現性を放棄することなくサンプリングを高速に保つのかについて説明します。スペクトログラムモデリング、オーディオ・ビジュアル融合、またはシーケンス長がGPUを爆発させるあらゆる音声タスクに効率的な注意の変種を目指している場合、有用なコンテキストです。フルペーパーの前にクイックバージョンについて確認してください。