如果您沒有時間進行完整的MM1分析，這個快速評論在幾分鐘內為您提供要點：Apple構建的內容、他們從架構和數據的消融中學到的知識，以及在預訓練多模態LLM時哪些設計決策實際上會起作用。這針對的是想要摘要的工程師和研究人員，他們想在決定是否深入研究論文本身或在自己的MLLM堆棧上進行架構決策之前了解情況。

亮點是：圖像編碼器加上圖像解析度和圖像令牌計數承載了大部分多模態性能，而視覺語言連接器設計的影響相對微不足道。在標準基準上，圖像標題、交錯圖像文本和純文本數據的精心混合是驅動SOTA少樣本結果的關鍵，沒有單一數據類型能夠獨自完成工作。擴展該配方產生了MM1，這是一個由密集模型和專家混合變體組成、參數達30B的模型族，預訓練在涌現能力中得到回報，如增強的上下文學習、多圖像推理和少樣本思維鏈提示。點擊播放以快速了解Apple的多模態指南，無需論文的全部內容。