![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[๊ธด ๋ฆฌ๋ทฐ] 'GShard': ์กฐ๊ฑด๋ถ ์ฐ์ฐ ๋ฐ ์๋ ์ค๋ฉ์ผ๋ก ๊ฑฐ๋ ๋ชจ๋ธ ํ์ฅ
Transformer๋ฅผ 100์ต ๊ฐ ์ด์์ ๋งค๊ฐ๋ณ์๋ก ํ์ฅํ๋ ๊ฒ์ ๋น ๋ฅด๊ฒ ์ฒ ํ์ ์ด ๋ฉ๋๋ค: ๋ชจ๋ ํ ํฐ์ ๋ํด ์ ์ฒด ๋คํธ์ํฌ๋ฅผ ํ์ฑํํ๊ฑฐ๋ ๊ฐ ํ ํฐ์ ์ค์ ๋ก ๋ด์ผ ํ๋ ์ ๋ฌธ๊ฐ์๊ฒ ๋ผ์ฐํ ํฉ๋๊น?