ورقتان، قصة واحدة. "Attention Is All You Need" أعطت العالم Transformer وأعادت تعيين كيفية عمل نمذجة التسلسل، بينما قامت "Listen, Attend and Spell" (LAS) بنفس الشيء قبل عام لأنظمة التعرف على الكلام من طرف إلى طرف، مستبدلة أنابيب CTC و HMM بمشفر-فك تشفير قائم على الانتباه واحد. قراءة الاثنين معاً، من وجهة نظر مهندس الكلام، توضح مدى ديون الأنظمة الحديثة للتعرف على الكلام لآليات الانتباه التي تم اختبارها أولاً على الأحرف والفونيمات.

تقوم هذه المراجعة بمحاذاة المعماريتين، وتقارن الانتباه الذاتي مقابل مشفر BLSTM الهرمي من LAS والانتباه القائم على المحتوى، وتتتبع كيفية انتقال الأفكار بين مجتمعات NLP والكلام في الطريق إلى Conformers والمحولات العابرة وأنظمة seq2seq ASR بنمط Whisper. إذا كنت تريد الخيط التاريخي الذي يربط Transformers الفانيلا بنماذج أساس الكلام على GPU الخاص بك الآن، فهذا الغوص العميق هو جلسة تأسيس صلبة.