RNN語言模型與跨語言句法偏誤：英語與西班牙語關係子句依附之比較

1. 緒論

本文探討循環神經網路（RNN）語言模型所習得的句法偏誤，特別聚焦於關係子句（RC）依附歧義現象。核心假設是：RNN的架構偏誤（例如，近因偏誤）偶然地與英語中主要的人類解析偏好（低依附）相符，但卻與西班牙語中對比的偏好（高依附）不符。這在英語模型中創造了一種類人句法能力的假象，但此現象無法跨語言推廣，從而挑戰了「必要語言偏誤存在於訓練資料中」的假設。

2. 方法論與實驗設計

2.1. 關係子句依附歧義

本研究使用具有歧義RC依附的句子來探測模型，例如：「Andrew had dinner yesterday with the nephew of the teacher that was divorced.」 存在兩種可能的解釋：依附於較高的名詞片語（「nephew」－高依附）或依附於較低的名詞片語（「teacher」－低依附）。雖然兩者在文法上皆有效，但英語使用者表現出可靠的「低依附」偏誤，而西班牙語使用者則表現出「高依附」偏誤。

2.2. 模型架構與訓練

標準的基於RNN的語言模型（例如，LSTM或GRU）在大型英語和西班牙語文本語料庫上進行訓練。訓練目標是給定先前上下文，最小化下一個詞的負對數概似：$L(\theta) = -\sum_{t=1}^{T} \log P(w_t | w_{

2.3. 評估指標

模型偏好是透過比較模型在每種解釋（高依附 vs. 低依附）下賦予句子後續部分的條件機率來量化。偏誤分數計算為對數機率差：$\text{Bias} = \log P(\text{LOW}) - \log P(\text{HIGH})$。

關鍵實驗參數

語言： 英語、西班牙語
模型類型： RNN（LSTM/GRU）
評估指標： 對數機率差
人類基準： 低依附偏誤（英語）、高依附偏誤（西班牙語）

3. 結果與分析

3.1. 英語模型表現

在英語文本上訓練的RNN語言模型一致地表現出顯著的「低依附」偏誤，反映了有據可查的人類偏好。這表明模型的內部表徵與英語中此現象的人類句法處理方式一致。

3.2. 西班牙語模型表現

形成鮮明對比的是，在西班牙語文本上訓練的RNN語言模型未能表現出類人的「高依附」偏誤。相反，它們通常表現出微弱甚至相反的（低依附）偏誤，表明未能捕捉西班牙語資料中存在的類型學上常見的句法偏好。

3.3. 跨語言比較

英語和西班牙語模型表現之間的差異強烈表明，英語模型表面上的成功並非源於從資料中學習抽象句法規則，而是源於RNN固有的近因偏誤（傾向依附於最近的名詞）與英語的「低依附」偏好之間的重疊。這種架構偏誤不利於學習西班牙語所需的「高依附」偏好。

4. 技術細節與數學框架

語言模型的核心是根據上下文對詞 $w_t$ 進行序列預測。對於RNN，隱藏狀態 $h_t$ 的更新方式為：$h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$，其中 $f$ 是非線性激活函數（例如，tanh或LSTM單元）。詞彙上的機率分佈為：$P(w_t | w_{

5. 分析框架：非程式碼個案研究

個案： 評估RNN語言模型對句子「The journalist interviewed the assistant of the senator who was controversial.」中RC依附的理解。

步驟 1 - 解析生成： 建構兩個最小差異的句子後續部分，強制導向高依附（助理具爭議性）或低依附（參議員具爭議性）的解釋。
步驟 2 - 機率查詢： 將每個完整句子（上下文 + 強制後續部分）輸入訓練好的RNN語言模型，並提取序列機率 $P(\text{sentence})$。
步驟 3 - 偏誤計算： 計算 $\Delta = \log P(\text{LOW continuation}) - \log P(\text{HIGH continuation})$。
步驟 4 - 解釋： 正的 $\Delta$ 表示低依附偏誤（類英語）；負的 $\Delta$ 表示高依附偏誤（類西班牙語）。將此結果與人類心理語言學資料進行比較。

6. 核心洞見與分析師觀點

核心洞見： 本文為NLP社群提供了一個關鍵的現實檢驗。它表明，語言模型中看似「學習句法」的現象，往往可能是一種海市蜃樓——是模型架構缺陷（如近因偏誤）與特定語言（英語）統計模式之間的幸運巧合。無法在西班牙語中複現此結果，暴露了這種「學習」的脆弱性。正如Linzen等人（2016）關於評估語言模型中句法知識的開創性研究所強調的，我們必須警惕基於狹隘、語言特定的成功，而將類人的語言能力歸因於模型。

邏輯脈絡： 論證結構優雅。它從已知的人類語言對比（英語低依附 vs. 西班牙語高依附偏誤）開始，在兩種語言上訓練標準模型，並發現了表現不對稱性。作者隨後邏輯性地將這種不對稱性與RNN已知的非語言特性（近因偏誤）聯繫起來，提供了一個簡潔的解釋，無需假設抽象的規則學習。這個脈絡有效地削弱了「訓練信號本身包含足夠資訊來學習深層句法」的假設。

優點與缺陷： 主要優點是巧妙地利用跨語言變異作為對照實驗，以區分資料驅動的學習與架構偏誤。這是一個強大的方法學貢獻。然而，分析因其聚焦於單一（儘管重要）的句法現象而有所局限。它留下了一個開放性問題：這個問題在其他方面有多普遍？英語語言模型中其他明顯的句法能力是否同樣是虛幻的？此外，本研究使用了較舊的RNN架構；使用現代的基於Transformer的模型（具有不同的歸納偏誤，如注意力機制）進行測試是關鍵的下一步，正如從GPT-2到GPT-3等模型的演變所暗示的。

可行洞見： 對於研究人員和工程師而言，本文要求評估策略的轉變。首先， 跨語言評估必須成為任何關於模型語言能力主張的標準壓力測試，超越以英語為中心的基準套件。其次， 我們需要更多能區分架構偏誤與真正學習的「探針」，或許可以透過在單一語言中設計對抗性資料集來實現。第三， 對於為非英語語言建構生產系統的人來說，這是一個嚴厲的警告：現成的架構可能嵌入了與目標語言格格不入的句法偏誤，可能降低複雜解析任務的效能。前進的道路包括設計更具語言學意識的模型架構，或開發明確懲罰這些不必要歸納偏誤的訓練目標，超越簡單的下一個詞預測。

7. 未來應用與研究方向

多語言與低資源NLP： 開發在類型學上多樣化的語言間皆穩健的評估框架和模型架構，確保公平的效能。
診斷性基準測試： 建立一套「偏誤檢測」任務，在部署前審計預訓練模型是否存在虛假相關性和架構偽影。
語言學導向的模型設計： 探索結合明確、參數化語言先驗（例如，基於通用依存關係）的混合模型，以引導學習，特別是針對低資源語言。
認知建模： 利用模型表現與人類資料（如西班牙語案例）之間的脫節，生成關於人類語言處理以及人類所使用的「訓練信號」本質的新假設。
穩健的機器翻譯： 透過確保源語言解析偏誤不會錯誤地轉移到目標語言，來提高涉及結構歧義句子的翻譯品質。

8. 參考文獻

Davis, F., & van Schijndel, M. (2020). Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment. arXiv:2005.00165.
Linzen, T., Dupoux, E., & Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics.
Carreiras, M., & Clifton, C. (1999). Another word on parsing relative clauses: Eye-tracking evidence from Spanish and English. Memory & Cognition.
Fernández, E. M. (2003). Bilingual sentence processing: Relative clause attachment in English and Spanish. John Benjamins Publishing.
Radford, A., et al. (2018). Improving language understanding by generative pre-training. OpenAI Blog.
Dyer, C., et al. (2019). How to train your RNN to capture linguistic structure. BlackboxNLP Workshop.

目錄