MM1의 전체 분석에 시간이 없다면, 이 빠른 리뷰는 몇 분 안에 핵심을 제공합니다: Apple이 구축한 것, 아키텍처 및 데이터의 제거 연구에서 배운 것, 그리고 멀티모달 LLM을 사전 학습할 때 실제로 차이를 만드는 설계 결정이 무엇인지. 이는 논문 자체를 파고들기 전에 또는 자신의 MLLM 스택에 대한 아키텍처 베팅을 하기 전에 tl;dr을 원하는 엔지니어와 연구원을 대상으로 합니다.

하이라이트: 이미지 해상도와 이미지 토큰 수를 결합한 이미지 인코더는 대부분의 멀티모달 성능을 담당하는 한편, 비전-언어 커넥터 설계는 상대적으로 무시할 수 있는 영향을 미칩니다. 이미지-캡션, 인터리빙된 이미지-텍스트, 텍스트 전용 데이터의 신중한 조합이 표준 벤치마크에서 SOTA 적은 샷 결과를 주도하는 것이며, 단일 데이터 유형만으로는 충분하지 않습니다. 레시피를 확장하면 30B 파라미터까지의 모델 패밀리인 MM1이 생성되며 조밀한 및 mixture-of-experts 변형을 포함하고, 사전 학습은 향상된 컨텍스트 내 학습, 다중 이미지 추론, 적은 샷 chain-of-thought 프롬핑과 같은 창발적 기능에서 보상됩니다. 재생을 누르면 논문의 전체 무게 없이 Apple의 멀티모달 플레이북을 빠르게 훑어볼 수 있습니다.