Meta的Movie Gen與OpenAI的Sora:詳細評測
Meta最終對Sora出牌,Movie Gen不僅僅是一個影片生成器——它是一批基礎模型,可跨多個長寬比產生1080p高清影片,具有同步音訊,支援精確
Meta最終對Sora出牌,Movie Gen不僅僅是一個影片生成器——它是一批基礎模型,可跨多個長寬比產生1080p高清影片,具有同步音訊,支援精確的基於指令的影片編輯,並可根據用戶的照片生成個性化影片。此詳細評測將Meta的發佈與OpenAI的Sora進行直接對比,分解每個系統的建築選擇在何處付出、權衡在何處發生,以及兩個實驗室對於影片基礎模型應該是什麼樣子的看法如何分歧。
中心是一個30B參數的Transformer,訓練時最大上下文長度為73K影片令牌——足以在16 fps的情況下生成16秒的影片——在文本到影片合成、影片個性化、影片編輯、影片到音訊和文本到音訊生成方面聲稱新SOTA。評測介紹了Meta突出的技術創新:架構和潛在空間設計、訓練目標和配方、資料策劃、評估協議、並行化技術和推論優化。如果您正在構建或基準測試生成影片和音訊系統,此比較是瞭解前沿目前實際落定位置的好指南。
