Fully Sharded Data Parallel 是 Meta 對每個語音和語言團隊最終都會提出的問題的答案：我們如何在不提供數量級更多 GPU 的情況下訓練數量級更大的模型？FSDP 將模型的參數分片到數據平行工作程序中，將每個微批次計算保持在本地，並在 GPU 記憶體短缺時可選地溢出到 CPU。由於分片是均勻的，通信與計算重疊，吞吐量與手動調整的管道並行保持競爭力，同時心智模型保持令人耳目一新的簡單。

此短篇評論提取了 FairScale 實現及其在 Facebook 內部 NLP 和視覺工作負載上的早期成功。對於推動 wav2vec 2.0、HuBERT 或基於 LLM 的 TTS 向更大規模發展的語音 AI 工程師，FSDP 是一個低摩擦的升級路徑，具有真實的記憶體節省。按下播放按鈕可快速了解 FSDP 的功能以及為什麼它可能已經是您下一個 PyTorch 訓練配置中的默認設置。