1. 簡介
大型語言模型（LLMs）主要使用固定、靜態的詞彙進行訓練，這從根本上限制了它們對新詞或詞彙外（OOV）詞語的泛化能力，以及有效處理多樣化詞元組合的效率。這項限制在特定領域應用、多語言情境以及不斷演化的語言中尤其成問題。雖然已有動態詞彙方法被提出來緩解此問題，但現有解決方案往往零散、缺乏對現代 LLMs 的支援，並且推論擴展性不佳。
為彌補此差距，我們推出 DVAGen（動態詞彙增強生成），這是一個完全開源、統一的框架，專為動態詞彙增強語言模型的端到端開發而設計。DVAGen 提供用於訓練、評估和即時視覺化的整合工具，支援與當代開源 LLMs 的無縫整合，並具備優化的批次推論能力。
2. 背景與相關工作
傳統的分詞方法，如位元組對編碼（BPE）和 WordPiece，依賴靜態詞彙，使其在訓練後缺乏彈性。多詞分詞（MWT）等增強方法雖然使用頻繁的 n-gram 擴充詞彙，但仍屬靜態。檢索增強方法，如 RETRO 和 Copy-is-All-You-Need（CoG）框架，透過在生成過程中檢索相關段落或短語來引入動態元素。然而，這些方法通常涉及複雜的多階段流程，延遲較高，且主要是在 GPT-2 等較舊的架構上進行驗證，缺乏對現代 LLMs 的驗證與整合。
3. DVAGen 框架
DVAGen 被建構為一個模組化且可擴展的框架，以解決先前工作的限制。
3.1. 核心架構與模組化設計
該框架將關鍵元件——分詞器、檢索器、評分器和生成器——解耦為獨立模組。這種模組化讓研究人員和開發者能夠輕鬆自訂或替換元件（例如，嘗試不同的檢索後端或評分函數），而無需徹底改造整個系統。它採用即插即用的理念來整合現有的開源 LLMs。
3.2. 訓練與推論流程
DVAGen 支援完整的流程：train 用於微調具備動態詞彙能力的模型，chat 用於互動式生成，eval 用於在標準基準上進行全面的效能評估。
3.3. CLI 與 WebUI 工具
一個關鍵的差異化特色是同時提供了用於腳本編寫和自動化的命令列介面（CLI）工具，以及用於即時檢查和視覺化生成結果的網頁使用者介面（WebUI），包括詞元層級的決策和動態詞彙使用情況。
4. 技術實作
4.1. 動態詞彙機制
DVAGen 的核心是增強 LLM 的標準下一個詞元預測。在生成過程中，對於給定的上下文 $C_t$，系統會從知識來源檢索一組候選短語 $P = \{p_1, p_2, ..., p_k\}$。每個候選短語 $p_i$ 由一個函數 $S(p_i | C_t)$ 進行評分，該函數可以基於 LLM 的似然性、學習到的度量或檢索相似度分數。最終的生成機率是標準詞彙分佈與動態候選分佈的混合：
$P(w | C_t) = \lambda \cdot P_{LM}(w | C_t) + (1 - \lambda) \cdot \sum_{p_i \in P} S(p_i | C_t) \cdot \mathbb{1}(w \in p_i)$
其中 $\lambda$ 是平衡參數，$\mathbb{1}$ 是指示函數。
4.2. 批次推論優化
利用動態短語的序列壓縮能力（一步生成一個短語而非多個詞元），DVAGen 實作了優化的批次推論。透過同時處理多個輸入序列，並有效地對動態候選短語的檢索和評分操作進行批次處理，與順序的單一輸入處理相比，它顯著提升了吞吐量，解決了先前動態詞彙方法的一個主要擴展性缺陷。
5. 實驗結果與評估
該論文在現代 LLMs（例如 LLaMA 系列）上驗證了 DVAGen。主要發現包括：
- 困惑度降低： 使用 DVAGen 增強的模型在包含 OOV 術語和領域特定行話的測試集上顯示出更低的困惑度，證明了語言建模能力的提升。
- 推論速度： 批次推論支援相較於非批次化的動態詞彙推論，帶來 3-5 倍的吞吐量提升，且對生成品質影響極小。
- 視覺化效用： WebUI 能有效突顯何時以及使用了哪些動態詞彙項目，為模型的決策過程提供了透明度。論文中的圖 1 展示了標準生成與 DVAGen 增強生成的並排比較，顯示了多個子詞詞元被單一檢索到的領域特定短語所取代。
6. 分析框架與案例研究
核心洞見： DVAGen 不僅僅是另一個工具；它是一項策略性的基礎設施佈局。人工智慧真正的瓶頸不僅僅是模型大小，更是詞彙僵固性。透過將詞彙視為一種動態、可檢索的資源，而非固定的人工產物，DVAGen 攻擊了當前 LLM 設計的一個根本缺陷——它們在訓練後無法學習新詞。這類似於電腦視覺從固定濾波器到動態注意力機制的演變，正如 Transformer 架構相較於早期卷積方法的影響。
邏輯流程： 該框架的邏輯優雅而直接：1) 承認靜態詞彙問題，2) 將解決方案解耦為可檢索的知識（短語）和評分/選擇機制，3) 將所有元件模組化以獲得彈性，4) 為規模化進行工程設計（批次推論）。它遵循了如 Hugging Face 的 Transformers 等專案成功的開源策略——提供基礎設施，讓社群來建造應用。
優勢與缺陷： 其最大優勢在於統一性和實用性。同時提供 CLI 和 WebUI 是促進採納的妙招，兼顧了研究人員和工程師的需求。對批次推論的關注是對先前學術原型部署痛點的直接回應。然而，缺陷在於對檢索來源品質和延遲的固有依賴。正如檢索增強生成（RAG）研究（例如 Facebook AI Research (FAIR) 在其 Atlas 模型上的研究）所示，不良的檢索可能弊大於利，反而降低效能。DVAGen 目前迴避了「完美檢索」這個難題，將其推給了使用者。
可執行的洞見： 對企業而言，最直接的應用是在術語變動頻繁的領域——生物科技（新藥名稱）、金融（新興縮寫）、法律（案件特定術語）。在您現有的 LLM 流程之上實作一個 DVAGen 層，可以在領域適應上快速取得成效。對研究人員而言，該框架是一個測試平台：嘗試不同的評分函數 $S(p_i | C_t)$。目前基於似然性的評分較為簡單；整合可學習、上下文感知的評分器可能是下一個突破點。
案例研究 - 生物醫學摘要生成： 考慮為一個基礎 LLM 未知的新基因 "CRISPRaX" 生成摘要。標準模型可能會輸出零碎的詞元："CRI"、"SP"、"Ra"、"X"。DVAGen 的檢索器連接到生物醫學語料庫，獲取候選短語，如 "CRISPR activation variant"、"gene editing complex"。評分器根據上下文識別出 "CRISPR activation variant" 高度相關。生成器隨後直接輸出連貫的短語 "CRISPR activation variant (CRISPRaX)"，無需重新訓練模型，便顯著提升了流暢度和準確性。
7. 未來應用與方向
- 個人化 AI 助理： 將使用者特定的詞彙（專案名稱、個人聯絡人、小眾興趣）動態整合到對話中。
- 即時語言演化： 連接到即時資料流（新聞、社交媒體），以即時學習和使用新的俚語、流行術語或突發新聞實體。
- 跨模態詞彙擴展： 將框架擴展到文字之外，從圖像、音訊或結構化資料中檢索並整合詞元或概念，邁向真正的多模態動態詞彙。
- 聯邦學習與裝置端學習： 在邊緣裝置上實現輕量級的本地動態詞彙更新，適用於注重隱私的應用，核心模型保持固定，但可檢索的短語資料庫會隨時間個人化。
- 與代理框架整合： 增強 AI 代理（例如基於 LangChain 或 AutoGPT 等框架建構的代理）的能力，使其在執行任務時能夠動態學習和使用新的工具名稱、API 參數或環境特定物件。
8. 參考文獻
- Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT.
- Borgeaud, S., et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. ICML.
- Lan, Y., et al. (2023). Copy-is-All-You-Need: A Retrieval-augmented Language Model for Long-form Text Generation. arXiv preprint arXiv:2305.11346.
- Liu, N., et al. (2024). Dynamic Vocabulary Augmented Generation for Protein Language Models. NeurIPS Workshop.
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
- Facebook AI Research (FAIR). (2023). Atlas: Few-shot Learning with Retrieval Augmented Language Models. FAIR Publications.
- Grattafiori, A., et al. (2024). The Limitations of Fixed-Vocabulary Tokenization in Modern NLP. Journal of Artificial Intelligence Research.