目錄
1. 緒論
本研究從第二語言習得的視角，探討神經語言模型的跨語言可遷移性。過往研究多聚焦於第一語言習得，本研究則檢視母語知識如何影響模型在第二語言中習得語法的效率。核心研究問題是：語言模型的第一語言習得，如何影響其在第二語言中習得語法的效率？
研究動機源於觀察到大型英語語言模型僅需極少量非英語訓練資料即展現翻譯能力，暗示了高效的跨語言遷移。然而，多數評估僅依賴困惑度或下游任務準確率等整體性指標。本研究旨在從語言學視角分析遷移現象，填補此一缺口，聚焦於語法知識的習得與語言遷移傾向。
2. 實驗流程
實驗設計模擬了類人的第二語言習得情境：
- 母語預訓練： 在特定母語上訓練一個單語遮罩語言模型。
- 第二語言訓練： 在雙語設定下，於英語上進一步訓練該模型。
- 評估： 使用BLiMP基準進行英語語法判斷測試，分析母語對第二語言的影響。
為更好地與人類第二語言習得傾向比較，訓練資料規模受到限制。所選取的母語代表了與英語之間不同的類型學距離及推測的遷移難度。
3. 第二語言訓練方法的歸納偏誤
初步實驗探索了不同的第二語言資料設定：
- 僅使用第二語言單語文本進行訓練。
- 使用母語-第二語言翻譯對進行訓練。
關鍵發現： 與每兩個訓練週期僅提供第二語言單語文本相比，向語言模型提供母語-第二語言翻譯對，反而減緩了其第二語言語法的習得速度。這表明第二語言的接觸方式顯著影響學習效率。
4. 母語訓練對第二語言語法習得的影響
4.1 母語知識促進第二語言泛化
相較於從頭開始訓練第二語言的模型，經過母語預訓練的模型在第二語言中展現出更好的語言泛化能力。這表明先前的語言知識能為習得新的語言結構提供有益的歸納偏誤。
4.2 母語選擇影響第二語言表現
源頭母語語言顯著影響了第二語言的泛化表現。以法語或德語為母語的模型，其表現顯著優於以日語或俄語為母語的模型。此階層性與人類定義的語言遷移難度相符，其中類型學相似性促進了遷移。
4.3 對不同語法類型的差異化影響
母語預訓練對第二語言中不同的語法現象產生了不同程度的影響：
- 增益較大： 形態學與句法項目。
- 增益較小： 語義學及句法-語義介面項目。
這暗示抽象的句法知識可能比特定於意義或介面的知識更容易遷移。
5. 第二語言習得過程
5.1 進展與資料效率低下
對學習軌跡的分析顯示，第二語言知識的習得在模型多次遍歷整個第二語言資料集後才有顯著進展。這表明這些語言模型的第二語言習得過程存在一定程度的資料效率低下。此外，研究觀察到在第二語言訓練期間出現母語知識退化的現象，凸顯了權衡取捨以及平衡源語言與目標語言知識的必要性。
6. 核心洞見與分析師觀點
核心洞見： 本文揭示了一個關鍵且常被忽略的事實：神經語言模型並非語言無關的統計引擎。它們的「母語」烙印了深刻的結構偏誤，決定了「第二語言」學習的效率與軌跡。翻譯對可能阻礙第二語言語法習得的發現尤其反直覺，挑戰了標準的多語言訓練教條。
邏輯脈絡： 本研究優雅地橋接了計算語言學與第二語言習得理論。它始於一個清晰的假設，設計了一個受控的類人範式，有條不紊地測試了訓練變體，並最終進行了細緻的語言學分析。從宏觀遷移到微觀遷移的邏輯脈絡清晰合理。
優點與缺陷： 主要優點在於其語言學粒度。超越準確率等聚合指標，深入剖析模型在BLiMP句法現象上的表現，是一項重要貢獻。與人類語言模型的比較框架也具有創新性。主要缺陷在於規模。使用較小的語言模型限制了其對現代大型語言模型的直接適用性。此外，研究中提到的「災難性遺忘」現象未被深入分析，是一個遺憾。
可行建議： 對於實務工作者，本研究建議避免一刀切的多語言策略。在為目標語言建構模型時，應根據類型學相似性策略性地選擇預訓練語言。資料效率低下的發現呼籲研究更基於課程學習或元學習方法的第二語言訓練方式。最後，該領域必須發展更好的持續學習技術，以減輕第二語言習得過程中的母語遺忘問題。
7. 技術細節與數學框架
預訓練中使用的遮罩語言建模目標核心，在於最大化重建遮罩詞元的對數概似：
$\mathcal{L}_{MLM} = -\sum_{i \in M} \log P(x_i | \mathbf{x}_{\backslash M}; \theta)$
其中 $M$ 是遮罩詞元索引的集合，$x_i$ 是原始詞元，$\mathbf{x}_{\backslash M}$ 是遮罩了 $M$ 中詞元的序列，$\theta$ 是模型參數。
在第二語言習得階段，從母語預訓練初始化的模型參數 $\theta$，會在混合的母語與第二語言資料或純第二語言資料上進一步優化。本研究的關鍵操作在於此階段的資料排程與組成，這改變了模型所優化的有效損失函數。
8. 實驗結果與圖表說明
關鍵結果一： 折線圖將展示第二語言語法準確率隨訓練週期的變化。多條線代表不同母語的模型及一個無母語的基準模型。圖表將顯示所有經過母語預訓練的模型起始點更高、學習更快，其中法語和德語母語的模型線上升最陡且最高。
關鍵結果二： 分組長條圖將顯示在BLiMP上的最終準確率。X軸將有類別：形態學、句法學、語義學、句法-語義學。每個類別會有兩條長條：一條代表「無母語預訓練」，一條代表「有母語預訓練」。兩條長條之間的高度差在形態學和句法學類別最大，在語義學類別最小。
9. 分析框架：範例個案
個案：分析從母語日語到第二語言英語在主詞-動詞一致上的遷移。
- 語言特徵： 英語要求主詞與動詞在數上一致。日語動詞不標記主詞一致。
- 假設： 以日語預訓練的語言模型，相較於以法語預訓練的模型，在學習英語此一致特徵時可能具有較弱的初始偏誤。
- 探測實驗： 在第二語言訓練後，向模型呈現來自BLiMP的最小配對句：
- 合乎語法："The key to the cabinets is on the table."
- 不合語法："The key to the cabinets are on the table."
- 指標： 比較模型指派給正確與錯誤動詞形式的概似值。若日語母語模型的正確與錯誤形式之間的概似差距小於法語母語模型，則證實了來自非一致母語的負遷移假設。
此框架允許基於母語與第二語言結構對齊，來隔離特定語法特徵的遷移。
10. 未來應用與方向
- 高效的低資源語言建模： 策略性地選擇一個高資源、類型學相似的「父語言」進行預訓練，再針對真正的目標低資源語言進行微調，以優化資料效率。
- 個人化語言學習工具： 開發能根據學習者母語調整教學策略的人工智慧導師，預測學習難點。
- 可解釋的多語言大型語言模型： 使用母語-第二語言遷移範式作為受控實驗設置，以釐清並視覺化模型參數中儲存與遷移了何種語言知識，推進模型的可解釋性。
- 神經語言學驗證： 與認知科學家合作，比較語言模型的第二語言習得軌跡與人類大腦成像或行為數據，測試語言習得的計算理論。
- 動態、非遺忘的多語言模型： 研究持續學習演算法，使語言模型能依序習得多種語言而不降低先前語言的熟練度，邁向真正的多語人工智慧。
11. 參考文獻
- Oba, M., Kuribayashi, T., Ouchi, H., & Watanabe, T. (2023). Second Language Acquisition of Neural Language Models. arXiv preprint arXiv:2306.02920.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
- Chiswick, B. R., & Miller, P. W. (2004). Linguistic Distance: A Quantitative Measure of the Distance Between English and Other Languages. Journal of Multilingual and Multicultural Development.
- Clark, K., Khandelwal, U., Levy, O., & Manning, C. D. (2019). What Does BERT Look At? An Analysis of BERT's Attention. Proceedings of the 2019 ACL Workshop BlackboxNLP.
- Alayrac, J., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. Advances in Neural Information Processing Systems.
- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems.
- Papadimitriou, I., & Jurafsky, D. (2020). Pretraining on Non-English Data Improves Cross-lingual Generalization. Proceedings of the 1st Conference of the Asia-Pacific Chapter of the ACL.