OpenAI以拒絕披露GPT-4的架構、參數計數、訓練數據或計算預算而聞名，這使該技術報告成為ML社區的羅夏測試。本視頻採用相反的方法：從公開洩露、先前的GPT-3和ChatGPT縮放律，以及散布在報告中的視覺加文本提示中拼湊出合理的答案。這是推測，清楚地標記，但基於任何從事大型模型工作的人都能推理的數字。

預期將通過可能的模型大小範圍、mixture-of-experts假設、多模態訓練數據組成、GPU-hour估計和與此規模訓練運行相關的令人驚訝的美元數字進行演練。對於瞄准多模態語音加文本系統或試圖向首席財務官證明其計算預算的voice-AI團隊，即使確切的數字改變，此處的框架也很有用。將其視為結構化假設而非洩露，並查看猜測與隨後洩露的內容相比有多接近。如果您想要邊界訓練經濟學的心理模型，值得花費15分鐘。