Nathan Chen의 4회전 점수에 대한 우스갯소리로 표현되는 이 토론은 Switch Transformer를 살펴봅니다. Google의 Mixture-of-Experts 확장에 대한 깔끔하고 과감하게 단순화된 해석입니다. 이전의 MoE 설계들이 각 토큰을 두 전문가에게 라우팅한 반면, Switch는 단 하나에게만 라우팅하고, 라우팅 수학을 최소한으로 줄이며, 실제 TPU 포드에서 안정적으로 유지되는 1조 매개변수 훈련 실행을 가능하게 합니다.

2부작의 1부인 이 리뷰는 top-1 게이팅 결정, 전문가들이 리소스 부족이나 과부하 상태에 빠지지 않도록 하는 부하 균형 및 용량 인수 기법, 그리고 Switch가 밀집 T5 기준선에 비해 제공하는 사전 훈련 속도 향상을 다룹니다. 음성 LLMs, 다국어 ASR, 또는 다중 도메인 TTS 백본에 대해 희소 아키텍처를 고려하는 음성 AI 팀의 경우, Switch Transformer는 1조 매개변수 모델이 추구하는 것이 아니라 달성 가능한 것처럼 느껴지게 한 논문입니다. Part 2에서 GLaM을 탐구하기 전에 직관을 원한다면 살펴보십시오.