Meta 推出 Apollo 開源模型，讓 AI “看懂”視頻
2024-12-18 18:05:07 |
棠糖 |
1357
12月18日，Meta 攜手斯坦福大學，推出全新 AI 模型系列 Apollo，顯著提升機器對視頻的理解能力。其中包括，視頻包含復雜的動態信息，人工智能更難處理這些信息，不僅需要更多的計算能力，而且如何設計最佳 AI 視頻解讀系統，也存在諸多困難。
在視頻處理方面，研究人員發現，保持每秒恒定的幀采樣率能獲得最佳結果。因此 Apollo 模型使用兩個不同的組件，一個處理單獨的視頻幀，而另一個跟蹤對象和場景如何隨時間變化。此外，在處理后的視頻片段之間添加時間戳，有助于模型理解視覺信息與文本描述之間的關系，保持時間感知。
在模型訓練方面，團隊研究表明訓練方法比模型大小更重要。Apollo 模型采用分階段訓練，按順序激活模型的不同部分，比一次性訓練所有部分效果更好。此外 Meta 公司還不斷優化數據組合，發現 10~14% 的文本數據，其余部分略微偏向視頻內容，可以更好地平衡語言理解和視頻處理能力。
Apollo 模型在不同規模上均表現出色，較小的 Apollo-3B 超越了 Qwen2-VL 等同等規模的模型，而 Apollo-7B 超過更大參數的同類模型，Meta 已開源 Apollo 的代碼和模型權重，并在 Hugging Face 平臺提供公開演示。
特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字、圖片等內容的真實性、完整性、及時性本站不作任何保證或承諾，請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時發送相關信息至bireading@163.com，本站將會在48小時內處理完畢。
