蘋果聯合研究照亮多模態 AI 未來方向：早期融合 + 稀疏架構

IT之家 4 月 16 日消息，科技媒體 marktechpost 昨日（4 月 15 日）發布博文，報道稱蘋果工程師聯合法國索邦大學，通過對比早期融合和后期融合模型，發現從頭訓練的早期融合模型在計算效率和擴展性上更具優勢。

多模態 AI 現狀與面臨的挑戰

IT之家援引博文介紹，多模態 AI 旨在同時處理圖像、文本等多種數據類型，但整合這些異構數據仍是一大難題。當前技術多采用后期融合（late-fusion）策略，即組合使用預訓練的單模態模型（如視覺編碼器和語言模型）。

這種方法雖然操作簡便，卻難以實現真正的多模態理解，單模態預訓練帶來的固有偏差，可能限制模型捕捉跨模態依賴關系。

此外，隨著系統規模擴大，各組件的參數、預訓練需求和擴展特性差異顯著，導致計算資源分配復雜，影響性能，尤其是在需要深度多模態推理的任務中。

早期融合與稀疏架構的突破

蘋果聯合團隊挑戰了傳統架構選擇，深入研究從頭訓練的原生多模態模型（NMMs）的擴展特性。

團隊對比了早期融合（early-fusion）和后期融合模型，發現從頭訓練時，兩者性能相當，但早期融合模型在低計算預算下更高效且易于擴展。

研究還探索了專家混合（MoE）稀疏架構，發現其能動態分配參數，針對不同模態進行專項優化，相較于稠密模型，可以顯著提升性能，這點在小規模模型中優勢明顯。

分析顯示，稀疏模型更傾向于優先擴展訓練數據（training tokens）而非活躍參數（active parameters），這與稠密模型的擴展模式形成鮮明對比。

研究團隊通過系統實驗，訓練了從 0.3 億到 40 億活躍參數的多模態模型，驗證了早期融合和稀疏架構在多模態處理中的潛力。

結果表明，原生多模態模型的擴展規律與語言模型相似，但跨模態數據類型和訓練組合會略微影響擴展系數。此外，稀疏模型在等效推理成本下持續優于密集模型，展現出處理異構數據的強大能力。

這些發現挑戰了傳統設計理念，表明統一早期融合架構結合動態參數分配，或將成為未來高效多模態 AI 系統的重要方向。