完全分片数据并行是Meta对每个语音和语言团队最终都会提出的问题的答案：我们如何能够训练大一个数量级的模型，而无需配置大一个数量级的GPU？FSDP在数据并行工作者之间分片模型的参数，在本地执行每个微批处理的计算，当GPU内存不足时，可以选择溢出到CPU。因为分片是统一的，通信与计算重叠，吞吐量与手工调整的管道并行不相上下，而概念上始终简洁清晰。

这篇短评总结了FairScale实现及其在Facebook的内部NLP和计算机视觉任务上的早期成功。对于正在将wav2vec 2.0、HuBERT或基于LLM的TTS扩展到更大规模的语音AI工程师来说，FSDP是一条低阻力的升级路径，具有真实的内存节省。点击播放查看快速导览，了解FSDP的作用以及为什么它可能已经是你下一个PyTorch训练设置中的默认选项。