在有限的 GPU 預算上訓練十億參數的語音或語言模型曾經意味著要在管道並行、張量並行或 ZeRO 風格的優化器分片之間做出選擇。Facebook 的 Fully Sharded Data Parallel (FSDP)（現已在 FairScale 中發佈，後來上游到 PyTorch）提供了一個更簡潔的答案：將參數本身分片到數據平行工作程序中，為每個微批次及時收集它們，並將通信與計算重疊以保持壁鐘時間成本較低。

此長篇評論介紹了為什麼 FSDP 在概念上比層內或管道並行更簡單，均勻參數分片如何優於優化器加梯度的方法，以及可選的 CPU 卸載如何讓您適配本不應該適配的模型。如果您正在訓練 TTS 聲學模型、wav2vec 風格的基礎模型或語音助手的 LLM，FSDP 迅速成為在沒有數據中心規模集群的情況下進行擴展的必備條件。如果您想在自己的訓練腳本中翻轉開關之前了解機制，請深入了解。