Appleはあまり論文を発表しないため、MM1の論文がマルチモーダルLLM事前学習の完全なアブレーション研究とともに発表されたとき、MLLMsを構築している人にとって年間最も有用なデータリリースの一つでした。このロングフォームレビューは結果を詳細に検討しています。高性能なマルチモーダルモデルを構築する際に実際に重要なもの、丸め誤差であることが判明したもの、そしてAppleが確立されたベンチマークで競争力のある密度モデルと混合専門家バリアントの両方を含む30Bパラメータファミリーまでレシピをどのようにスケールアップしたか。

重要な教訓には直感に反する部分があります。イメージエンコーダーと画像解像度、イメージトークンカウントがマルチモーダルパフォーマンスの大部分を駆動しています。ビジョン言語コネクタ設計は比較的に軽微な重要性しか持たないことが判明しています。事前学習データについては、イメージキャプション、インターリーブされたイメージテキスト、テキストのみのソースの適切な組み合わせが、SOTAのフューショット結果をアンロックするものです。単一のデータ型だけでは十分ではありません。MM1はまた、強化されたインコンテキスト学習、マルチイメージ推論、フューショットチェーンオブシント促進などの優れた創発特性も習得しています。マルチモーダルシステムを設計していて、別のリーダーボードチャートではなくアブレーション駆動型プレイブックが必要な場合、このディープダイブは読む価値があります。