![[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/long-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[ロングレビュー] 完全シャード化データ並列：より少ないGPUでより高速なAI訓練
限られたGPU予算で10億パラメータの音声モデルまたは言語モデルを訓練することは、パイプライン並列、テンソル並列、またはZeRO型オプティマイザシャーディング間での苦渋の選択を意味していました。
![[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/short-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
Tutorials
[ショートレビュー] 完全シャード化データ並列：より少ないGPUでより高速なAI訓練
完全シャード化データ並列（Fully Sharded Data Parallel）は、あらゆる音声チームと言語チームが最終的に問う質問へのMetaからの答えです：1桁大きいモデルを、1桁多いGPUをプロビジョニングせずに訓練するにはどうするか？
Tutorials
Breaking BadからWav2vec 2.0へ：スピーチ表現の自己教師あり学習フレームワーク
ウォルター・ホワイト、ジェシー・ピンクマン、そしてラベルなしオーディオのバッチに共通することは何か？
