Transformer：注意力就是一切，以及 Listen, Attend and Spell - 從語音視角
兩篇論文，一個故事。《Attention Is All You Need》給世界帶來了 Transformer 並重新定義了序列建模的方式，而《Listen, Attend and Spell》(LAS) 一年前為端到端語音識別做了同樣的事情
兩篇論文，一個故事。《Attention Is All You Need》給世界帶來了 Transformer 並重新定義了序列建模的方式，而《Listen, Attend and Spell》(LAS) 一年前為端到端語音識別做了同樣的事情，用單一的基於注意力的編碼器-解碼器替換了 CTC 和 HMM 管道。從語音工程師的視角一起閱讀它們，清楚地表明現代 ASR 對注意力機制的依賴程度，這些機制首先在字符和音素上進行了實地測試。
本評審排列了兩種架構，將自注意力與 LAS 的金字塔形 BLSTM 編碼器和基於內容的注意力進行對比，並追蹤想法如何在 NLP 和語音社區之間遷移，最終發展到今天的 Conformer、transducer 和 Whisper 樣式 seq2seq ASR。如果你想要連接普通 Transformer 到 GPU 上現在運行的語音基礎模型的歷史脈絡，這個深入探討是一個紮實的基礎課程。