2つの論文、1つのストーリー。「Attention Is All You Need」はTransformerを世界に与え、シーケンスモデリングの方法をリセットした一方で、「Listen, Attend and Spell」（LAS）はエンドツーエンドスピーチ認識について1年前に同じことを行い、CTCとHMMパイプラインを単一の注意ベースのエンコーダーデコーダーに置き換えました。スピーチエンジニアの有利な点から一緒に読むと、現代のASRが文字と音素で最初に道路テストされた注意メカニクスにどれだけ負債があるかは明らかです。

このレビューは2つのアーキテクチャを並べて、自己注意とLASのピラミッド型BLSTMエンコーダーおよびコンテンツベースの注意を対比し、NLPおよびスピーチコミュニティ間でアイデアがどのようにして今日のConformers、トランスデューサー、およびWhisperスタイルのseq2seq ASRに移動したかを追跡します。バニラTransformersをGPU上のスピーチ基礎モデルに接続する歴史的なスルーラインが必要な場合、このディープダイブは堅実な接地セッションです。