SLABERT：運用BERT模型建構第二語言習得模型

目錄

1. 緒論

本研究旨在填補自然語言處理文獻中關於第二語言習得負遷移現象的重要空白。儘管跨語言遷移在人類第二語言習得研究中已被廣泛探討，但大多數自然語言處理方法主要聚焦於正遷移效應，忽略了當母語（L1）的語言結構干擾外語（L2）習得時所產生的負遷移之重要影響。

本研究引入SLABERT（第二語言習得BERT），這是一個創新的框架，利用兒童導向語料數據來模擬序列式第二語言習得過程。此方法提供了對人類語言學習過程具生態效度的模擬，使研究人員能夠檢視L1對L2習得所產生的促進與干擾效應。

2. 研究方法

2.1 SLABERT框架

SLABERT框架實作了序列式語言學習，模型首先在L1（母語）數據上進行訓練，然後在L2（英語）數據上進行微調。這種序列式方法模擬了人類第二語言習得過程，使研究人員能夠觀察當L1的語言知識影響L2學習時所發生的遷移效應。

2.2 MAO-CHILDES資料集

研究人員建構了多語言年齡排序CHILDES（MAO-CHILDES）資料集，包含五種類型學多樣語言：德語、法語、波蘭語、印尼語和日語。此資料集由自然主義的兒童導向語料組成，提供了反映實際語言習得環境且具生態效度的訓練數據。

2.3 基於TILT的遷移學習

本研究採用Papadimitriou與Jurafsky（2020）建立的「透過語言模型遷移進行歸納偏誤測試」（TILT）方法。此方法能夠系統性地檢視不同類型的訓練數據如何誘發促進或阻礙跨語言遷移的結構特徵。

3. 實驗結果

3.1 語系距離效應

實驗結果顯示，語系距離能顯著預測負遷移現象。與英語親緣關係較遠的語言（如日語和印尼語）表現出更強的干擾效應，而親緣關係較近的語言（德語和法語）則展現更多正遷移。此發現與人類第二語言習得研究相符，驗證了SLABERT方法的生態效度。

3.2 會話語料與腳本語料對比

一項關鍵發現揭示，與腳本語料相比，會話語料對語言習得提供了更大的促進作用。這表明自然、互動的語言輸入包含更具跨語言可遷移性的結構特性，可能源於普遍會話模式與修復機制的存在。

4. 技術分析

4.1 數學框架

L1與L2之間的遷移效應可透過以下公式進行量化：

令 $T_{L1 \rightarrow L2}$ 表示從L1到L2的遷移效應，以L1預訓練後在L2任務上的效能提升來衡量。遷移效率可表示為：

$\eta_{transfer} = \frac{P_{L2|L1} - P_{L2|random}}{P_{L2|monolingual} - P_{L2|random}}$

其中 $P_{L2|L1}$ 為L1預訓練後的L2表現，$P_{L2|monolingual}$ 為單語L2表現，而 $P_{L2|random}$ 為隨機初始化後的表現。

語言之間的距離度量 $D(L1,L2)$ 可使用來自WALS（世界語言結構圖譜）等資料庫的類型學特徵進行計算，遵循Berzak等人（2014）的方法：

$D(L1,L2) = \sqrt{\sum_{i=1}^{n} w_i (f_i(L1) - f_i(L2))^2}$

其中 $f_i$ 代表類型學特徵，$w_i$ 為其相應權重。

4.2 分析框架範例

本研究採用系統性評估框架，使用BLiMP（語言最小配對基準）測試套件。此基準透過測試特定句法現象的最小配對來評估文法知識。評估流程如下：

1. L1預訓練：模型在五種語言的兒童導向語料數據上進行訓練
2. L2微調：在英語數據上進行序列式訓練
3. 評估：在BLiMP文法判斷任務上進行效能測量
4. 遷移分析：與單語及跨語言基線進行比較

此框架能夠精確測量不同語言對和語言現象之間的正遷移（促進）與負遷移（干擾）效應。

5. 未來應用

SLABERT框架為未來研究與應用開闢了多個具前景的方向：

• 教育科技：開發考慮學習者母語背景的個人化語言學習系統
• 低資源自然語言處理：利用遷移模式提升訓練數據有限語言的效能
• 認知建模：增強人類語言習得過程的計算模型
• 跨文化人工智慧：開發能更好理解並適應語言多樣性的人工智慧系統

未來工作應探索將框架擴展至更多語言對，納入額外語言特徵，並研究不同熟練度層級的遷移效應。

6. 參考文獻

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Learn Language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
2. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the Association for Computational Linguistics.
3. Berzak, Y., et al. (2014). Reconstructing Native Language Typology from Foreign Language Usage. In Proceedings of the 18th Conference on Computational Natural Language Learning.
4. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
5. Conneau, A., et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.