透過語言習得將多模態預訓練推廣至多語言

目錄

1. 引言

我哋身處一個多模態同多語言嘅世界。資訊透過唔同嘅模態（文字、圖像、影片）同語言傳遞。雖然基於英文嘅視覺語言預訓練模型已經取得顯著成功，但將呢種能力擴展到全球超過6900種語言係一個巨大挑戰。傳統嘅多語言視覺語言預訓練方法，即係用海量多語言多模態數據訓練單一模型，有兩個關鍵缺陷：計算成本極高，同埋難以靈活加入新語言。本文介紹多語言習得框架，呢個係一個受人類語言學習啟發嘅新範式，能夠高效地將預訓練好嘅單語言視覺語言模型推廣到處理多種語言，所需嘅額外數據同計算量極少。

2. 方法論

2.1. 多語言習得 (MLA) 框架

MLA嘅核心創新在於佢脫離咗傳統嘅單一多語言視覺語言預訓練範式。MLA唔係由零開始為所有語言建立一個模型，而係將一個強大嘅、預訓練好嘅單語言（例如英文）視覺語言模型視為「母語」系統。然後，喺呢個被凍結嘅骨幹模型上，附加一個輕量級、可學習嘅語言習得編碼器。呢個編碼器嘅唯一目的，係將新語言嘅表徵映射到母語模型已經掌握嘅語義空間。呢個架構就好似為一個現有嘅專家系統加裝一個萬能翻譯模組。

2.2. 語言習得編碼器

語言習得編碼器係一個參數高效嘅模組，插入到單語言視覺語言模型嘅預訓練文字編碼器中。佢通常由細嘅適配器層或者一個淺層嘅Transformer網絡組成。呢個設計確保咗模型嘅絕大部分參數（被凍結嘅視覺語言模型骨幹）保持不變，從而大幅節省訓練成本同記憶體。編碼器學習一個映射函數 $f_{\theta}: \mathcal{Z}_{lang} \rightarrow \mathcal{Z}_{en}$，其中 $\mathcal{Z}_{lang}$ 係目標語言嘅表徵空間，而 $\mathcal{Z}_{en}$ 係被凍結嘅視覺語言模型嘅英文對齊語義空間。

2.3. 兩階段訓練策略

MLA採用一種受生物學啟發嘅兩階段訓練策略，嚟優化語言習得編碼器：

1. 母語遷移階段：首先使用平行句子對，訓練編碼器將目標語言文字同英文文字對齊。呢個模仿咗人類傾向將新詞彙映射到自己母語中已知概念嘅習慣。目標係一個對比損失，將目標語言表徵拉近佢嘅英文翻譯：$\mathcal{L}_{NLT} = -\log\frac{\exp(\text{sim}(z_{t}, z_{e})/\tau)}{\sum_{j}\exp(\text{sim}(z_{t}, z_{e_j})/\tau)}$。
2. 語言沉浸階段：隨後，直接用目標語言嘅圖像-文字對或影片-文字對對編碼器進行微調。呢個階段模擬「語言沉浸」，讓模型能夠將新語言直接同視覺概念聯繫，而唔需要英文作為中介，從而完善跨模態對齊。

3. 實驗與結果

3.1. 數據集與基準測試

模型喺標準嘅多語言檢索基準上進行評估：

• 多語言圖像-文字檢索： MSCOCO（英文）及其中文、日文、韓文等翻譯版本。
• 多語言影片-文字檢索： VATEX（英文、中文）同 HowTo100M（多種語言）。

比較基準包括最先進嘅多語言視覺語言預訓練模型，例如 MURAL 同 UC2。

3.2. 性能分析

MLA喺呢啲基準測試上取得咗最先進或極具競爭力嘅表現，而所用嘅多語言訓練數據同計算資源只係完整多語言視覺語言預訓練模型所需嘅一小部分。關鍵結果顯示：

• 高效率： 優越嘅單位參數性能同單位計算時長性能比率。
• 零樣本潛力： 得益於被凍結骨幹模型強大嘅語義基礎，呢個框架喺零樣本遷移到習得編碼器訓練期間未見過嘅語言時，表現出令人鼓舞嘅結果。
• 無災難性遺忘： 至關重要嘅係，由於核心視覺語言模型被凍結，原有英文任務嘅性能保持不變。

4. 技術分析與見解

核心見解： 本文嘅根本突破係一個範式轉移，從「由嬰兒時期訓練一個通曉多國語言嘅人」轉變為「教一個語言專家新語言」。佢正確指出，核心嘅視覺-語義映射很大程度上係與語言無關嘅；挑戰在於詞彙同句法嘅投射。透過凍結視覺-語義核心（視覺語言模型），MLA繞過咗多模態學習中最昂貴嘅部分。

邏輯流程： 論證優雅且具說服力。首先診斷多語言視覺語言預訓練不可持續嘅擴展問題（成本、僵化）。然後喺人類認知中找到類比（母語錨定，然後沉浸）。最後，將呢個概念轉化為具體、參數高效嘅神經網絡架構（凍結骨幹 + 輕量級適配器）同相應嘅訓練課程（先遷移後沉浸）。從問題到生物啟發再到工程解決方案嘅流程係連貫嘅。

優點與缺點：

• 優點： 效率論點無可辯駁。喺越來越關注人工智能碳足跡嘅時代，MLA呢類方法唔單止聰明——佢哋係必不可少嘅。佢嘅模組化對於部署同維護係一個主要優勢。呢個方法同大型語言模型中參數高效微調（例如適配器、LoRA）嘅趨勢一致。
• 缺點： 呢個方法本質上會繼承基礎單語言視覺語言模型嘅任何偏見或限制。如果英文視覺語言模型有較差嘅組合推理能力或文化偏見，MLA會將其傳播。「語言沉浸」階段仍然需要目標語言嘅一些多模態數據，對於資源匱乏嘅語言可能難以獲得。本文嘅評估雖然紮實，但僅限於少數幾種語言；佢聲稱能處理「6900多種語言」仍然係理論上嘅。

可行見解：

1. 對研究人員： 呢個係多模態研究中「綠色人工智能」嘅藍圖。未來工作應該探索令習得編碼器更加高效（例如為唔同語系使用稀疏專家），並研究佢喺只有單語言文字可用嘅真正資源匱乏語言上嘅應用。
2. 對工程師： 將MLA實現為標準微調流程，用於將公司現有嘅視覺語言模型（例如CLIP或ALIGN）擴展到新市場。兩階段訓練易於操作。
3. 對策略師： 呢個方法降低咗創建多語言人工智能產品嘅門檻。公司而家可以基於強大嘅開源英文視覺語言模型進行開發，而唔使資助昂貴嘅多語言視覺語言預訓練，從而普及多模態人工智能嘅使用。

分析框架示例

場景： 一個串流媒體服務想將其內容推薦系統（基於英文影片-文字數據訓練）擴展到支援泰文同越南文。

1. 基礎模型： 凍結一個預訓練好嘅英文視覺語言模型（例如CLIP變體）。
2. 習得編碼器設置： 喺文字編碼器上附加一個小型適配器網絡。
3. 階段 1 - 遷移： 使用泰文-英文同越南文-英文平行字幕語料庫訓練適配器。適配器學習將泰文/越南文句子嵌入映射到被凍結模型嘅相應英文句子嵌入。
4. 階段 2 - 沉浸： 用一個較細嘅、包含泰文同越南文影片及其母語描述（例如用戶生成嘅標籤或劇情簡介）嘅數據集對適配器進行微調。
5. 部署： 系統而家可以透過訓練好嘅適配器，計算泰文/越南文用戶查詢同英文影片嵌入之間嘅相似度，從而實現跨語言推薦，而無需重新訓練整個視覺骨幹。

5. 未來應用與方向

• 低資源語言納入： MLA嘅高效率使其成為將人工智能益處帶畀數字資源有限語言嘅首選方案，呢個亦係Meta嘅「No Language Left Behind」項目等計劃嘅重點。
• 動態與終身學習： 未來版本可以支援增量式添加語言而無需從頭訓練，邁向終身學習多模態系統。
• 跨模態生成： 將框架擴展到生成任務，例如多語言圖像描述或影片配音。
• 與大型語言模型整合： 將MLA同大型多語言語言模型結合作為文字骨幹，可以創造出更強大、更具文化細微差別嘅多模態系統。

6. 參考文獻

1. Zhang, L., Hu, A., & Jin, Q. (2022). Generalizing Multimodal Pre-training into Multilingual via Language Acquisition. arXiv preprint arXiv:2206.11091.
2. Jain, A., et al. (2021). MURAL: Multimodal, Multitask Retrieval Across Languages. arXiv preprint arXiv:2109.05125.
3. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. International Conference on Machine Learning (ICML).
4. Houlsby, N., et al. (2019). Parameter-Efficient Transfer Learning for NLP. International Conference on Machine Learning (ICML).
5. Meta AI. (2022). No Language Left Behind. https://ai.facebook.com/research/no-language-left-behind/