RNN語言模型與跨語言句法偏見：英文與西班牙文關係子句依附對比

1. 引言

本文研究循環神經網絡（RNN）語言模型學習到嘅句法偏見，特別聚焦於關係子句（RC）依附歧義現象。核心假設係，RNN嘅架構偏見（例如，近因偏見）偶然地同英文主流嘅人類解析偏好（低依附）吻合，但就同西班牙文嘅相反偏好（高依附）唔一致。呢個現象令英文模型產生一種類似人類句法能力嘅錯覺，但呢種能力並唔能夠跨語言通用，從而挑戰咗「必要嘅語言偏見存在於訓練數據中」呢個假設。

2. 方法論與實驗設計

2.1. 關係子句依附歧義

本研究使用具有歧義RC依附嘅句子來探測模型，例如：「Andrew琴晚同嗰位離咗婚嘅老師個侄食飯。」 有兩種解釋可能：依附於較高嘅名詞短語（「侄」- 高依附）或者較低嘅名詞短語（「老師」- 低依附）。雖然兩種喺文法上都成立，但英文使用者表現出穩定嘅低依附偏見，而西班牙文使用者則表現出高依附偏見。

2.2. 模型架構與訓練

標準嘅基於RNN嘅語言模型（例如，LSTM或GRU）喺大量英文同西班牙文文本語料庫上進行訓練。訓練目標係最小化給定上文嘅下一個詞嘅負對數似然：$L(\theta) = -\sum_{t=1}^{T} \log P(w_t | w_{

2.3. 評估指標

模型偏好係透過比較模型喺每種解釋（高依附 vs. 低依附）下賦予句子延續嘅條件概率來量化。偏見分數計算為對數概率差：$\text{Bias} = \log P(\text{LOW}) - \log P(\text{HIGH})$。

關鍵實驗參數

語言： 英文，西班牙文
模型類型： RNN（LSTM/GRU）
評估指標： 對數概率差
人類基準： 低依附偏見（英文），高依附偏見（西班牙文）

3. 結果與分析

3.1. 英文模型表現

喺英文文本上訓練嘅RNN語言模型持續表現出顯著嘅低依附偏見，反映咗有充分記錄嘅人類偏好。呢個表明模型嘅內部表徵同人類喺英文中對呢個現象嘅句法處理係一致嘅。

3.2. 西班牙文模型表現

形成鮮明對比嘅係，喺西班牙文文本上訓練嘅RNN語言模型未能表現出類人嘅高依附偏見。相反，佢哋經常表現出微弱甚至相反（低依附）嘅偏見，表明模型未能捕捉到西班牙文數據中存在嘅類型學上常見嘅句法偏好。

3.3. 跨語言比較

英文同西班牙文模型表現之間嘅分歧強烈表明，英文模型嘅表面成功並非源於從數據中學習抽象句法規則，而係源於RNN固有嘅近因偏見（傾向依附於最近嘅名詞）同英文低依附偏好之間嘅重疊。呢種架構偏見阻礙咗學習西班牙文所需嘅高依附偏好。

4. 技術細節與數學框架

語言模型嘅核心係根據上文順序預測詞語 $w_t$。對於RNN，隱藏狀態 $h_t$ 嘅更新方式為：$h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$，其中 $f$ 係非線性激活函數（例如，tanh或LSTM單元）。詞彙表上嘅概率分佈為：$P(w_t | w_{

5. 分析框架：非編碼案例研究

案例： 評估RNN語言模型對句子「記者訪問咗嗰位有爭議嘅參議員嘅助理。」中RC依附嘅理解。

步驟 1 - 解析生成： 構建兩個最小差異嘅句子延續，強制產生高依附（助理有爭議）或低依附（參議員有爭議）嘅解釋。
步驟 2 - 概率查詢： 將每個完整句子（上文 + 強制延續）輸入已訓練嘅RNN語言模型，並提取序列概率 $P(\text{sentence})$。
步驟 3 - 偏見計算： 計算 $\Delta = \log P(\text{LOW continuation}) - \log P(\text{HIGH continuation})$。
步驟 4 - 解釋： 正值 $\Delta$ 表示低依附偏見（類似英文）；負值 $\Delta$ 表示高依附偏見（類似西班牙文）。將此結果同人類心理語言學數據進行比較。

6. 核心洞察與分析師觀點

核心洞察： 本文為NLP界提供咗一個重要嘅現實檢驗。佢表明，語言模型中看似「學習句法」嘅現象，好多時可能係海市蜃樓——係模型架構缺陷（例如近因偏見）同特定語言（英文）統計模式之間嘅幸運巧合。無法喺西班牙文複製結果，暴露咗呢種「學習」嘅脆弱性。正如Linzen等人（2016）關於評估語言模型句法知識嘅開創性工作中所強調，我哋必須警惕基於狹窄、語言特定嘅成功，就將類人嘅語言能力歸因於模型。

邏輯流程： 論證構建得非常巧妙。佢從已知嘅人類語言對比（英文低依附 vs. 西班牙文高依附偏見）開始，喺兩種語言上訓練標準模型，並發現表現不對稱。作者然後邏輯上將呢種不對稱同RNN一個已知嘅、非語言嘅特性（近因偏見）聯繫起來，提供咗一個簡潔嘅解釋，而唔需要假設抽象規則學習。呢個流程有效地削弱咗「訓練信號本身包含足夠信息用於學習深層句法」呢個假設。

優點與不足： 主要優點係巧妙地利用跨語言變異作為對照實驗，將數據驅動嘅學習同架構偏見區分開。呢個係一個強大嘅方法學貢獻。然而，分析因聚焦於單一（儘管重要）嘅句法現象而受到一定限制。佢留下咗一個開放性問題：呢個問題有幾普遍——英文語言模型中其他表面嘅句法能力係咪同樣係虛幻嘅？此外，研究使用較舊嘅RNN架構；正如從GPT-2到GPT-3等模型嘅演變所示，用現代基於Transformer嘅模型（具有唔同嘅歸納偏見，例如注意力機制）進行測試係關鍵嘅下一步。

可行建議： 對於研究人員同工程師，本文要求評估策略嘅轉變。首先， 跨語言評估必須成為任何關於模型語言能力聲稱嘅標準壓力測試，超越以英文為中心嘅基準套件。其次， 我哋需要更多能夠區分架構偏見同真正學習嘅「探針」，或許可以透過喺單一語言中設計對抗性數據集來實現。第三， 對於為非英文語言構建生產系統嘅人，呢個係一個嚴厲警告：現成嘅架構可能嵌入咗與目標語言格格不入嘅句法偏見，可能會降低複雜解析任務嘅表現。前進嘅道路包括設計更具語言學知識嘅模型架構，或者開發明確懲罰呢啲唔想要嘅歸納偏見嘅訓練目標，超越簡單嘅下一個詞預測。

7. 未來應用與研究方向

多語言與低資源NLP： 開發喺類型學上多樣化嘅語言之間穩健嘅評估框架同模型架構，確保公平嘅表現。
診斷基準測試： 創建一套「偏見檢測」任務，用於喺部署前審計預訓練模型是否存在虛假相關性同架構偽影。
語言學知識模型設計： 探索混合模型，整合明確嘅、參數化嘅語言學先驗（例如，基於通用依存關係）來引導學習，特別係對於低資源語言。
認知建模： 利用模型表現同人類數據之間嘅脫節（如西班牙文案例）來生成關於人類語言處理以及人類所用「訓練信號」本質嘅新假設。
穩健機器翻譯： 透過確保源語言嘅解析偏見唔會錯誤地轉移到目標語言，來提高涉及結構歧義句子嘅翻譯質量。

8. 參考文獻

Davis, F., & van Schijndel, M. (2020). Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment. arXiv:2005.00165.
Linzen, T., Dupoux, E., & Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics.
Carreiras, M., & Clifton, C. (1999). Another word on parsing relative clauses: Eye-tracking evidence from Spanish and English. Memory & Cognition.
Fernández, E. M. (2003). Bilingual sentence processing: Relative clause attachment in English and Spanish. John Benjamins Publishing.
Radford, A., et al. (2018). Improving language understanding by generative pre-training. OpenAI Blog.
Dyer, C., et al. (2019). How to train your RNN to capture linguistic structure. BlackboxNLP Workshop.

目錄