1. 引言
大语言模型（LLMs）主要使用固定的静态词汇表进行训练，这从根本上限制了其泛化到新词或词汇外（OOV）词以及高效处理多样化词元组合的能力。这一限制在特定领域应用、多语言环境和不断演化的语言中尤为突出。虽然已有动态词汇方法被提出以缓解此问题，但现有解决方案往往较为零散，缺乏对现代大语言模型的支持，并且推理可扩展性较差。
为弥补这一差距，我们推出了DVAGen（动态词汇增强生成），这是一个完全开源、统一的框架，专为动态词汇增强语言模型的端到端开发而设计。DVAGen提供了用于训练、评估和实时可视化的集成工具，支持与当代开源大语言模型无缝集成，并具备优化的批量推理能力。
2. 背景与相关工作
传统的分词方法，如字节对编码（BPE）和WordPiece，依赖于静态词汇表，导致其在训练后缺乏灵活性。诸如多词分词（MWT）等增强方法通过引入高频n-gram来扩展词汇表，但本质上仍是静态的。检索增强方法，如RETRO和“复制即所需”（CoG）框架，通过在生成过程中检索相关段落或短语来引入动态元素。然而，这些方法通常涉及复杂、多阶段的流水线，延迟较高，且主要是在GPT-2等较旧架构上得到验证，缺乏对现代大语言模型的验证和集成。
3. DVAGen框架
DVAGen被构建为一个模块化且可扩展的框架，以解决先前工作的局限性。
3.1. 核心架构与模块化设计
该框架将关键组件——分词器、检索器、打分器和生成器——解耦为独立模块。这种模块化设计使得研究人员和开发者能够轻松定制或替换组件（例如，尝试不同的检索后端或打分函数），而无需重构整个系统。它采用即插即用的理念来集成现有的开源大语言模型。
3.2. 训练与推理流水线
DVAGen支持完整的流水线：train用于微调具备动态词汇能力的模型，chat用于交互式生成，eval用于在标准基准测试上进行全面的性能评估。
3.3. 命令行与WebUI工具
一个关键的差异化优势是同时提供了用于脚本编写和自动化的命令行界面（CLI）工具，以及用于实时检查和可视化生成结果的Web用户界面（WebUI），包括词元级决策和动态词汇使用情况。
4. 技术实现
4.1. 动态词汇机制
DVAGen的核心在于增强大语言模型的标准下一个词元预测。在生成过程中，对于给定上下文 $C_t$，系统从知识源中检索一组候选短语 $P = \{p_1, p_2, ..., p_k\}$。每个候选短语 $p_i$ 由一个打分函数 $S(p_i | C_t)$ 进行评分，该函数可以基于大语言模型的似然度、学习到的度量或检索相似度分数。最终的生成概率是标准词汇分布与动态候选分布的组合：
$P(w | C_t) = \lambda \cdot P_{LM}(w | C_t) + (1 - \lambda) \cdot \sum_{p_i \in P} S(p_i | C_t) \cdot \mathbb{1}(w \in p_i)$
其中 $\lambda$ 是平衡参数，$\mathbb{1}$ 是指示函数。
4.2. 批量推理优化
利用动态短语的序列压缩能力（一步生成一个短语而非多个词元），DVAGen实现了优化的批量推理。通过并发处理多个输入序列，并高效地对动态候选短语的检索和打分操作进行批处理，与顺序的单输入处理相比，它显著提高了吞吐量，从而解决了先前动态词汇方法中的一个主要可扩展性缺陷。
5. 实验结果与评估
论文在现代大语言模型（例如LLaMA系列）上验证了DVAGen。主要发现包括：
- 困惑度降低： 使用DVAGen增强的模型在包含OOV术语和领域特定行话的测试集上表现出更低的困惑度，证明了其语言建模能力的提升。
- 推理速度： 批量推理支持使得吞吐量相比非批处理的动态词汇推理提升了3-5倍，且对生成质量影响极小。
- 可视化效用： WebUI有效地高亮显示了何时以及使用了哪些动态词汇项，为模型的决策过程提供了透明度。论文中的图1展示了标准生成与DVAGen增强生成的并排对比，显示了用单个检索到的领域特定短语替换多个子词词元的过程。
6. 分析框架与案例研究
核心洞见： DVAGen不仅仅是另一个工具；它是一种战略性的基础设施布局。人工智能的真正瓶颈不仅仅是模型规模，还有词汇僵化。通过将词汇表视为动态、可检索的资源而非固定产物，DVAGen攻击了当前大语言模型设计中的一个根本缺陷——它们在训练后无法学习新词。这类似于计算机视觉从固定滤波器到动态注意力机制的演变，正如Transformer架构相比早期卷积方法所展现的影响。
逻辑流程： 该框架的逻辑优雅而直接：1）承认静态词汇表问题，2）将解决方案解耦为可检索知识（短语）和打分/选择机制，3）将所有组件模块化以实现灵活性，4）为规模化（批量推理）进行工程化设计。它遵循了如Hugging Face的Transformers等项目成功的开源策略——提供基础设施，让社区构建上层应用。
优势与不足： 其最大优势在于统一性和实用性。同时提供CLI和WebUI是促进采纳的妙招，兼顾了研究人员和工程师的需求。对批量推理的关注直接回应了先前学术原型在部署上的痛点。然而，其不足在于对检索源质量和延迟的内在依赖。正如检索增强生成（RAG）研究（例如Facebook AI Research（FAIR）关于其Atlas模型的研究）所示，糟糕的检索可能弊大于利，导致性能下降。DVAGen目前回避了“完美检索”这一难题，将其推给了用户。
可操作的见解： 对于企业而言，最直接的应用领域是术语变化频繁的领域——生物技术（新药名称）、金融（新兴缩写）、法律（特定案例术语）。在现有的大语言模型流水线上实施一个DVAGen层，可以快速在领域适应方面取得成效。对于研究人员，该框架是一个试验台：可以尝试不同的打分函数 $S(p_i | C_t)$。当前基于似然度的打分较为简单；集成可学习的、上下文感知的打分器可能是下一个突破点。
案例研究 - 生物医学摘要生成： 考虑为一个基础大语言模型未知的新基因“CRISPRaX”生成摘要。标准模型可能会输出碎片化的词元：“CRI”、“SP”、“Ra”、“X”。DVAGen的检索器连接到生物医学语料库，获取候选短语如“CRISPR激活变体”、“基因编辑复合体”。打分器根据上下文识别出“CRISPR激活变体”高度相关。随后，生成器直接输出连贯的短语“CRISPR激活变体（CRISPRaX）”，无需重新训练模型即可显著提高流畅性和准确性。
7. 未来应用与方向
- 个性化AI助手： 将用户特定的词汇（项目名称、个人联系人、小众兴趣）动态融入对话中。
- 实时语言演化： 连接到实时数据流（新闻、社交媒体），即时学习并使用新的俚语、流行术语或突发新闻实体。
- 跨模态词汇扩展： 将框架从文本扩展到从图像、音频或结构化数据中检索和集成词元或概念，迈向真正的多模态动态词汇。
- 联邦学习与端侧学习： 在边缘设备上实现轻量级的本地动态词汇更新，适用于隐私敏感的应用场景，其中核心模型保持固定，但可检索的短语数据库会随时间个性化。
- 与智能体框架集成： 增强AI智能体（例如基于LangChain或AutoGPT等框架构建的智能体）的能力，使其在执行任务期间能够动态学习并使用新的工具名称、API参数或环境特定对象。
8. 参考文献
- Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT.
- Borgeaud, S., et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. ICML.
- Lan, Y., et al. (2023). Copy-is-All-You-Need: A Retrieval-augmented Language Model for Long-form Text Generation. arXiv preprint arXiv:2305.11346.
- Liu, N., et al. (2024). Dynamic Vocabulary Augmented Generation for Protein Language Models. NeurIPS Workshop.
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
- Facebook AI Research (FAIR). (2023). Atlas: Few-shot Learning with Retrieval Augmented Language Models. FAIR Publications.
- Grattafiori, A., et al. (2024). The Limitations of Fixed-Vocabulary Tokenization in Modern NLP. Journal of Artificial Intelligence Research.