目錄
26.27%
關係抽取效能提升
14,320
MEN語料庫新聞文章數量
6,061
標註實體數量
1. 緒論
馬來西亞英語在自然語言處理領域代表著獨特的語言挑戰——這是一種低資源的克里奧爾語，除了標準英語外，還融合了馬來語、華語和坦米爾語的元素。本研究旨在解決將標準預訓練語言模型應用於馬來西亞英語文本時，在命名實體識別與關係抽取任務中出現的關鍵效能落差。
馬來西亞英語特有的形態句法適應性、語義特徵和語碼轉換模式，導致現有頂尖模型出現顯著的效能衰退。我們的研究引入了MENmBERT和MENBERT，這些專為此目的設計的語言模型透過策略性遷移學習方法來彌補這一落差。
2. 背景與相關研究
將預訓練語言模型適應特定領域或特定語言語料庫的做法，已在各種自然語言處理任務中展現出顯著改善。Martin等人（2020）和Antoun等人（2021）的研究表明，在專業語料庫上進行進一步預訓練，能提升模型在目標語言情境下的表現。
由於其克里奧爾語特性，馬來西亞英語帶來了獨特挑戰，其特點包括來自多種源語言的借詞、複合詞和衍生詞。語碼轉換現象——使用者在單一語句中混合英語和馬來語——為標準自然語言處理模型帶來了額外複雜度。
3. 研究方法
3.1 預訓練方法
MENmBERT透過在馬來西亞英語新聞語料庫上持續預訓練，實現從英語預訓練語言模型的遷移學習。預訓練目標遵循遮蔽語言建模方法：
$$L_{MLM} = -\mathbb{E}_{x \sim D} \sum_{i=1}^{n} \log P(x_i | x_{\backslash i})$$
其中 $x$ 代表輸入序列，$D$ 是MEN語料庫分佈，$x_{\backslash i}$ 表示第 $i$ 個詞元被遮蔽的序列。
3.2 微調策略
模型在MEN資料集上進行微調，該資料集包含200篇新聞文章，具有6,061個標註實體和4,095個關係實例。微調過程針對NER和RE任務使用特定任務層，並採用交叉熵損失優化：
$$L_{NER} = -\sum_{i=1}^{N} \sum_{j=1}^{T} y_{ij} \log(\hat{y}_{ij})$$
其中 $N$ 是序列數量，$T$ 是序列長度，$y_{ij}$ 是真實標籤，$\hat{y}_{ij}$ 是預測機率。
4. 實驗結果
4.1 命名實體識別效能
與bert-base-multilingual-cased相比，MENmBERT在NER效能上實現了1.52%的整體提升。雖然整體改善幅度看似適中，但詳細分析顯示在特定實體標籤上具有顯著改善，特別是針對馬來西亞特有實體和語碼轉換表達。
圖1： NER效能比較顯示MENmBERT在馬來西亞特有實體類型上優於基準模型，特別是在馬來西亞情境獨有的地點和組織實體上表現尤為突出。
4.2 關係抽取效能
最顯著的改善出現在關係抽取任務中，MENmBERT實現了26.27%的效能提升。這一大幅改善證明了模型在理解馬來西亞英語情境語義關係方面的增強能力。
關鍵洞察
- 語言特定預訓練能顯著提升低資源方言的處理效能
- 語碼轉換模式需要專門的模型架構
- 從高資源語言到低資源語言的遷移學習展現出前景看好的成果
- 地域聚焦的語料庫能增強模型對區域語言變體的處理效能
5. 分析框架
產業分析師觀點
核心洞察
這項研究從根本上挑戰了「一體適用」的多語言自然語言處理方法。26.27%的RE效能躍升不僅是漸進式改善，更是對主流模型如何辜負邊緣化語言變體的嚴厲控訴。馬來西亞英語並非特例，而是數百個服務不足語言群體的警示信號。
邏輯脈絡
研究方法遵循高效的三步拆解傳統智慧：識別效能落差（標準模型嚴重失敗）、部署目標性遷移學習（MENmBERT架構）、透過嚴謹基準測試驗證。此方法借鏡了醫療自然語言處理中成功的領域適應策略（Lee等人，2019），但將其應用於語言多樣性保護。
優勢與缺陷
優勢： 14,320篇文章的語料庫體現了嚴謹的資料整理努力。雙模型方法（MENmBERT和MENBERT）展現了方法論的精密性。RE效能躍升無可否認。
缺陷： 僅1.52%的NER改善引人質疑——要麼評估指標存在缺陷，要麼方法具有根本限制。論文對此差異避重就輕，未提供令人滿意的解釋。模型對新聞領域資料的依賴限制了泛化能力。
可行建議
對於在東南亞營運的企業：立即考慮採用。對於研究人員：將此方法複製應用於新加坡英語、印度英語變體。對於模型開發者：這證明了「多語言」在實踐中意味著「僅限主流語言」——是時候進行典範轉移了。
分析框架範例
案例研究：語碼轉換文本中的實體識別
輸入：「I'm going to the pasar malam in Kuala Lumpur then meeting Encik Ahmad at KLCC」
標準BERT輸出：[組織] pasar malam, [地點] Kuala Lumpur, [其他] Encik Ahmad, [其他] KLCC
MENmBERT輸出：[活動] pasar malam, [城市] Kuala Lumpur, [人物] Encik Ahmad, [地標] KLCC
這展示了MENmBERT對馬來西亞文化情境和實體類型的優越理解能力。
6. 未來應用
MENmBERT的成功為未來研究和應用開闢了多個前景看好的方向：
- 跨語言遷移： 將類似方法應用於其他英語變體（新加坡英語、印度英語）
- 多模態整合： 結合文本與音訊資料以提升語碼轉換檢測能力
- 即時應用： 部署於馬來西亞市場的客服聊天機器人
- 教育科技： 為馬來西亞英語使用者量身打造的語言學習工具
- 法律與政府應用： 馬來西亞法律和行政文件的文件處理
此方法展示了對全球其他低資源語言變體和克里奧爾語的可擴展性。
7. 參考文獻
- Devlin, J., et al. (2019). BERT：用於語言理解的深度雙向轉換器預訓練。
- Liu, Y., et al. (2019). RoBERTa：一種穩健優化的BERT預訓練方法。
- Conneau, A., et al. (2020). 大規模無監督跨語言表徵學習。
- Lan, Z., et al. (2020). ALBERT：用於語言表徵自監督學習的精簡BERT。
- Martin, L., et al. (2020). CamemBERT：美味法語語言模型。
- Antoun, W., et al. (2021). AraBERT：基於轉換器的阿拉伯語理解模型。
- Chanthran, M., et al. (2024). 用於自然語言處理任務的馬來西亞英語新聞資料集。
- Lee, J., et al. (2019). BioBERT：預訓練生物醫學語言表徵模型。