Apple發佈資料很少，當MM1論文發佈並附帶對多模態LLM預訓練的完整消融研究時，它成為今年對任何構建MLLMs的人來說最有用的數據發佈之一。這份長篇評論深入探討了這些發現：構建高效能多模態模型時真正重要的是什麼，哪些實際上是舍入誤差，以及Apple如何將該配方擴展到30B參數族，其中包括在既定基準上具競爭力的密集模型和專家混合變體。

關鍵洞察在某些地方出人意料。圖像編碼器加上圖像解析度和圖像令牌計數驅動了大部分多模態性能；視覺語言連接器設計的重要性相對微不足道。對於預訓練數據，圖像標題、交錯圖像文本和純文本來源的正確組合是解鎖SOTA少樣本結果的關鍵——沒有單一數據類型足以自行完成。MM1還獲得了很好的涌現特性：增強的上下文學習、多圖像推理和少樣本思維鏈提示。如果您正在構建多模態系統並希望獲得消融驅動的指南而不是另一個排行榜圖表，這份深入探討就是值得花時間的。