![[Short Review] Conformer: Convolution-augmented Transformer for Speech Recognition](/media/video/2022/06/short-review-conformer-convolution-augmented-transformer-for-speech-recognition/preview.jpg)
Tutorials
[短篇評論] Conformer：用於語音識別的卷積增強型 Transformer
Conformer 通過做一件幾乎平凡的事震撼了 ASR 世界：將卷積模組粘合到每個 Transformer 區塊中，使模型一次性捕捉全域文脈和局部聲學細節。
![[Long Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/long-review-axial-attention-in-multidimensional-transformers/preview.jpg)
Tutorials
[長篇評論] Axial Attention in Multidimensional Transformers
對影像或影片進行完整自注意力在計算上極其昂貴，那麼如何在不引入二次方複雜度的情況下保持Transformer的表現力？
![[Short Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/short-review-axial-attention-in-multidimensional-transformers/preview.jpg)
Tutorials
[短篇評論] Axial Attention in Multidimensional Transformers
Axial Attention是一個優雅的想法，它使Transformers對高維數據保持可控：無需一次性對所有像素或所有時頻箱進行注意，而是每次只沿著一個軸進行注意。
![[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/long-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
Tutorials
[長評論] 從說話人驗證到多說話人TTS合成的遷移學習
這是使零樣本語音克隆成為實用的論文：在具有數千個嘈雜、無文本記錄的語音上訓練說話人編碼器進行判別性驗證任務，然後將這些嵌入輸入到Tacotron 2 s
![[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/short-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
Tutorials
[短評論] 從說話人驗證到多說話人TTS合成的遷移學習
Google的論文啟動了現代零樣本語音克隆浪潮，具有簡潔優美的架構：一個在驗證上訓練的說話人編碼器、一個Tacotron 2合成器可將文本加說話人嵌入轉換
![[Long Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages](/media/video/2022/05/long-review-wav2seq-pre-training-speech-to-text-encoder-decoder-models-using-pseudo/preview.jpg)
Tutorials
[長評論] Wav2Seq：使用偽語言預訓練語音轉文本編碼器-解碼器模型
大多數語音預訓練集中在編碼器端，wav2vec、HuBERT、WavLM，但序列到序列ASR也需要預訓練的解碼器。
![[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages](/media/video/2022/05/short-review-wav2seq-pre-training-speech-to-text-encoder-decoder-models-using-pseudo/preview.jpg)
Tutorials
[短評論] Wav2Seq：使用偽語言預訓練語音轉文本編碼器-解碼器模型
像wav2vec 2.0這樣的自監督預訓練給了我們很好的語音編碼器，但如果你想要一個完整的編碼器-解碼器ASR系統，解碼器仍然從零開始。
![[Long Review] Towards Zero-Label Language Learning](/media/video/2022/05/long-review-towards-zero-label-language-learning/preview.jpg)
Tutorials
[長篇評論] Towards Zero-Label Language Learning
如果您可以在沒有任何人工標註範例的情況下訓練任務特定的 NLP 模型呢？"Towards Zero-Label Language Learning" 著力強調了這個問題。
![[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/long-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[長篇評論] Fully Sharded Data Parallel：用更少 GPU 進行更快的 AI 訓練
在有限的 GPU 預算上訓練十億參數的語音或語言模型曾經意味著要在管道並行、張量並行或 ZeRO 風格的優化器分片之間做出選擇。
![[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/short-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[短篇評論] Fully Sharded Data Parallel：用更少 GPU 進行更快的 AI 訓練
Fully Sharded Data Parallel 是 Meta 對每個語音和語言團隊最終都會提出的問題的答案：我們如何在不提供數量級更多 GPU 的情況下訓練數量級更大的模型？
![[Short Review] Deduplicating Training Data Makes Language Models Better](/media/video/2022/04/short-review-deduplicating-training-data-makes-language-models-better/preview.jpg)
