OpenAIはGPT-4のアーキテクチャ、パラメータ数、訓練データ、または計算予算の開示を拒否したことで有名であり、これはテックレポートをMLコミュニティのロールシャッハテストにしてしまいました。このビデオは逆のアプローチを取ります。公開リークや以前のGPT-3およびChatGPTスケーリング法則、およびレポート全体に散在するvision-plus-textのヒントから、もっともらしい答えを組み立てます。これは推測ですが、明確にラベル付けされており、大規模モデルに取り組む誰もが理解できる数字に基づいています。

おおよそのモデルサイズの範囲、mixture-of-expertsの仮説、マルチモーダル訓練データの構成、GPU時間の推定、およびこのスケールの訓練実行に付けられた途方もない金額を通じたウォークスルーを期待してください。マルチモーダルspeech-plus-textシステムを検討している音声AIチームや、CFOに自社の計算予算を正当化しようとしているチームにとって、ここのフレーミングは正確な数字が変わったとしても有用です。これをリークというより構造化された仮説として扱い、その後流出した情報と比較して推測がどれだけ当たっているかを見てください。フロンティア訓練の経済学のメンタルモデルが必要な場合、15分の価値があります。