1. 簡介
大語言模型（LLMs）主要係用固定、靜態嘅詞彙嚟訓練，呢種做法本質上限制咗佢哋對新詞或者詞彙外（OOV）單詞嘅泛化能力，以及有效處理唔同詞元組合嘅能力。呢個限制對於特定領域應用、多語言環境同不斷演變嘅語言嚟講尤其棘手。雖然有動態詞彙方法被提出嚟緩解呢個問題，但現有方案通常比較零散，缺乏對現代LLMs嘅支援，而且推論擴展性亦唔理想。
為咗彌補呢個缺口，我哋介紹DVAGen（動態詞彙增強生成），一個完全開源、統一嘅框架，專為動態詞彙增強語言模型嘅端到端開發而設計。DVAGen提供咗訓練、評估同實時視覺化嘅整合工具，支援與當代開源LLMs無縫整合，並具備優化嘅批次推論能力。
2. 背景與相關工作
傳統嘅詞元化方法，例如字節對編碼（BPE）同WordPiece，都依賴靜態詞彙，令到佢哋喺訓練後缺乏彈性。好似多詞詞元化（MWT）呢類增強方法，會用頻繁出現嘅n-gram嚟擴充詞彙，但依然係靜態嘅。檢索增強方法，例如RETRO同Copy-is-All-You-Need（CoG）框架，就喺生成過程中檢索相關段落或短語，引入動態元素。不過，呢啲方法通常涉及複雜嘅多階段流程，延遲較高，而且主要喺GPT-2呢類舊架構上得到驗證，缺乏對現代LLMs嘅驗證同整合。
3. DVAGen 框架
DVAGen係一個模組化同可擴展嘅框架，旨在解決先前工作嘅局限性。
3.1. 核心架構與模組化設計
呢個框架將關鍵組件——詞元化器、檢索器、評分器同生成器——解耦成獨立模組。呢種模組化設計令研究人員同開發者可以輕鬆自訂或更換組件（例如，嘗試唔同嘅檢索後端或評分函數），而唔使改動整個系統。佢採用即插即用嘅理念嚟整合現有嘅開源LLMs。
3.2. 訓練與推論流程
DVAGen支援完整流程：train用於微調具備動態詞彙能力嘅模型，chat用於互動式生成，eval用於喺標準基準上進行全面性能評估。
3.3. CLI 與 WebUI 工具
一個關鍵嘅區別係，佢同時提供用於腳本同自動化嘅命令行介面（CLI）工具，以及一個用於實時檢查同視覺化生成結果嘅網頁用戶介面（WebUI），包括詞元級別嘅決策同動態詞彙使用情況。
4. 技術實現
4.1. 動態詞彙機制
DVAGen嘅核心係增強LLM嘅標準下一個詞元預測。喺生成過程中，對於給定嘅上下文$C_t$，系統會從知識源檢索一組候選短語$P = \{p_1, p_2, ..., p_k\}$。每個候選$p_i$會由一個函數$S(p_i | C_t)$評分，呢個函數可以基於LLM嘅可能性、學習到嘅指標或者檢索相似度分數。最終嘅生成概率係標準詞彙分佈同動態候選分佈嘅混合：
$P(w | C_t) = \lambda \cdot P_{LM}(w | C_t) + (1 - \lambda) \cdot \sum_{p_i \in P} S(p_i | C_t) \cdot \mathbb{1}(w \in p_i)$
其中$\lambda$係平衡參數，$\mathbb{1}$係指示函數。
4.2. 批次推論優化
利用動態短語嘅序列壓縮能力（一步生成一個短語，而非多個詞元），DVAGen實現咗優化嘅批次推論。通過同時處理多個輸入序列，並高效地將動態候選嘅檢索同評分操作批次化，相比順序單一輸入處理，佢顯著提升咗吞吐量，解決咗先前動態詞彙方法嘅一個主要擴展性缺陷。
5. 實驗結果與評估
論文喺現代LLMs（例如LLaMA系列）上驗證咗DVAGen。主要發現包括：
- 困惑度降低：用DVAGen增強嘅模型，喺包含OOV術語同領域特定術語嘅測試集上顯示出更低嘅困惑度，證明語言建模能力有所提升。
- 推論速度：批次推論支援令到吞吐量相比非批次動態詞彙推論有3-5倍嘅提升，對生成質量影響極小。
- 視覺化效用：WebUI有效噉突顯出動態詞彙項目喺幾時同邊啲被使用，為模型嘅決策過程提供透明度。論文中嘅圖1展示咗標準生成同DVAGen增強生成嘅並排比較，顯示咗用單一檢索到嘅領域特定短語取代多個子詞詞元嘅情況。
6. 分析框架與案例研究
核心洞見：DVAGen唔單止係另一個工具；佢係一個戰略性嘅基礎設施佈局。人工智能嘅真正瓶頸唔單止係模型大小，仲有詞彙僵化。通過將詞彙視為一種動態、可檢索嘅資源，而非固定嘅產物，DVAGen攻擊咗當前LLM設計嘅一個根本缺陷——佢哋喺訓練後無法學習新詞。呢個就好似電腦視覺從固定濾波器演變到動態注意力機制一樣，正如Transformer架構相比早期卷積方法所帶來嘅影響。
邏輯流程：呢個框架嘅邏輯優雅而直接：1）承認靜態詞彙問題，2）將解決方案解耦為可檢索知識（短語）同評分/選擇機制，3）將所有嘢模組化以獲得靈活性，4）為規模化（批次推論）而設計。佢遵循咗好似Hugging Face嘅Transformers呢類成功開源項目嘅策略——提供基礎設施，讓社群去建造應用。
優點與缺陷：佢最大嘅優點係統一性同實用性。同時提供CLI同WebUI係促進採用嘅高明之舉，照顧到研究人員同工程師兩方面。對批次推論嘅關注係對先前學術原型部署困難嘅直接回應。然而，缺陷在於佢本質上依賴檢索源嘅質量同延遲。正如檢索增強生成（RAG）研究（例如Facebook AI Research（FAIR）關於其Atlas模型嘅研究）所示，差嘅檢索可能弊大於利。DVAGen目前迴避咗「完美檢索」呢個難題，將佢推畀用戶。
可行建議：對於企業嚟講，即時應用係喺術語變化快嘅領域——生物科技（新藥名）、金融（新興縮寫）、法律（案件特定術語）。喺你現有嘅LLM流程之上實施一個DVAGen層，可以喺領域適應方面快速見效。對於研究人員，呢個框架係一個測試平台：嘗試唔同嘅評分函數$S(p_i | C_t)$。目前基於可能性嘅評分比較簡單；整合可學習、上下文感知嘅評分器可能係下一個突破點。
案例研究 - 生物醫學摘要生成：考慮為一個基礎LLM唔識嘅新基因「CRISPRaX」生成摘要。一個標準模型可能會輸出零碎嘅詞元：「CRI」、「SP」、「Ra」、「X」。DVAGen嘅檢索器連接到生物醫學語料庫，提取候選短語，例如「CRISPR activation variant」、「gene editing complex」。評分器根據上下文識別出「CRISPR activation variant」高度相關。然後生成器直接輸出連貫嘅短語「CRISPR activation variant (CRISPRaX)」，喺唔使重新訓練模型嘅情況下，顯著提升咗流暢度同準確性。
7. 未來應用與方向
- 個人化AI助手：將用戶特定詞彙（項目名、個人聯絡人、小眾興趣）動態噉融入對話。
- 實時語言演變：連接到實時數據流（新聞、社交媒體），即時學習同使用新嘅俚語、流行術語或突發新聞實體。
- 跨模態詞彙擴展：將框架擴展到文本之外，檢索並整合來自圖像、音頻或結構化數據嘅詞元或概念，邁向真正嘅多模態動態詞彙。
- 聯邦學習與設備端學習：喺注重私隱嘅應用中，喺邊緣設備上實現輕量級、本地化嘅動態詞彙更新，核心模型保持不變，但可檢索短語數據庫會隨時間個人化。
- 與智能體框架整合：增強AI智能體（例如基於LangChain或AutoGPT框架構建嘅智能體），使其能夠喺執行任務期間動態學習同使用新嘅工具名、API參數或環境特定對象。
8. 參考文獻
- Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT.
- Borgeaud, S., et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. ICML.
- Lan, Y., et al. (2023). Copy-is-All-You-Need: A Retrieval-augmented Language Model for Long-form Text Generation. arXiv preprint arXiv:2305.11346.
- Liu, N., et al. (2024). Dynamic Vocabulary Augmented Generation for Protein Language Models. NeurIPS Workshop.
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
- Facebook AI Research (FAIR). (2023). Atlas: Few-shot Learning with Retrieval Augmented Language Models. FAIR Publications.
- Grattafiori, A., et al. (2024). The Limitations of Fixed-Vocabulary Tokenization in Modern NLP. Journal of Artificial Intelligence Research.