동적 어휘를 활용한 생성: 언어 모델의 새로운 패러다임

1. 서론

본 논문은 현대 언어 모델(LM)에 깊게 자리 잡은 정적 어휘 패러다임에 도전합니다. 현재의 LM은 사전 정의된 코퍼스로 학습된 고정된 토크나이저에 의존하며, 이는 모델 구축 후 변경할 수 없게 됩니다. 기본적인 작업에는 충분하지만, 이 정적 접근 방식은 도메인 특화 구문을 통합하거나 인용을 위한 원문 참조 범위를 포함하는 것과 같은 고급 생성 시나리오에서의 적응성을 제한합니다. 본 논문은 동적 어휘를 제안합니다. 이는 LM이 입력 및 출력 시 모두 주문형으로 임의의 텍스트 범위(구문)를 원자적 생성 단위로 통합할 수 있도록 하는 프레임워크입니다.

핵심 혁신은 다중 토큰 구문을 정적 어휘의 단일 토큰과 마찬가지로 일급 객체로 취급하는 데 있습니다. 이는 초기 토큰화 코퍼스에 의해 부과된 제약을 넘어서, 도메인 적응 및 증거 기반 생성의 한계를 해결합니다.

2. 방법론

방법론은 LM이 컨텍스트에 따라 동적으로 변화하는 어휘를 처리할 수 있도록 하는 데 중점을 둡니다.

3. 실험 및 결과

제안된 동적 어휘 프레임워크는 여러 차원에서 평가되어 상당한 개선을 입증합니다.

4. 기술적 세부사항

핵심 기술적 과제는 동적 후보 집합에서 점수를 매기고 선택하는 것입니다. 각 생성 단계 $t$에서 모델은 정적 어휘 $V_s$와 컨텍스트와 관련된 동적 구문 집합 $P_t$를 가집니다. 결합된 집합 $V_s \cup P_t$에 대한 확률 분포가 계산됩니다. 토큰 $(y_1, y_2, ..., y_k)$로 구성된 구문 $p \in P_t$에 대해, 그 점수는 구문 인코더의 표현 $e(p)$에서 도출됩니다: $$\text{Score}(p) = f(\mathbf{h}_t, e(p))$$ 여기서 $\mathbf{h}_t$는 단계 $t$에서 모델의 은닉 상태이고 $f$는 점수 함수(예: 내적 또는 학습된 선형 레이어)입니다. 이를 통해 모델이 단일 토큰과 다중 토큰 구문을 동등한 기준으로 비교할 수 있습니다. 학습 목표는 두 생성 모드를 균형 있게 조정하는 수정된 손실 함수를 사용하여 표준 다음 토큰 예측과 다음 구문 예측을 인터리빙합니다.

5. 분석 프레임워크 및 사례 연구

동적 어휘 통합 평가 프레임워크:

1. 구문 관련성 식별: 컨텍스트(예: 문서 스니펫)가 주어지면, 경량 검색기나 분류기를 사용하여 매우 관련성이 높은 후보 텍스트 범위(명사구, 고유 명사, 기술 용어)를 식별합니다.
2. 인코더 매핑: 이러한 후보 범위를 사전 학습된 동적 구문 인코더에 통과시켜 벡터 표현 $e(p)$를 얻습니다.
3. 어휘 확장: 이 구문 벡터들을 현재 시퀀스에 대한 LM의 생성 어휘에 주입합니다.
4. 생성 및 선택: 자기회귀 디코딩 중에 LM은 원래 토큰과 새로운 구문 모두에 점수를 매깁니다. "...the play Citizenship"이라는 컨텍스트 다음에 "theatre production"이라는 구문이 높은 점수를 받아 원자적 생성으로 이어질 수 있습니다.

6. 미래 응용 분야 및 방향

응용 분야:

• 개인화된 어시스턴트: 사용자 특정 구문(연락처 이름, 프로젝트 제목, 개인적 슬랭)을 동적으로 통합합니다.
• 코드 생성: API 이름, 라이브러리 함수 또는 일반적인 코드 스니펫을 원자적 단위로 통합합니다. GitHub Copilot의 제안과 유사하지만 생성 과정에 더 깊이 통합됩니다.
• 용어 통제를 통한 실시간 번역: 승인된 번역 용어집을 동적 구문으로 주입하여 도메인 용어의 일관되고 정확한 번역을 보장합니다.
• 제어된 텍스트 생성: 동적 구문을 "레버"로 사용하여 콘텐츠를 특정 주제, 스타일 또는 안전 제약 조건으로 유도합니다.

• 효율적인 구문 검색: 대규모 코퍼스에서 관련 구문을 실시간으로 식별하는 더 빠른 알고리즘 개발.
• 다중 모달 확장: 텍스트 구문과 함께 이미지 패치나 오디오 세그먼트를 포함하는 동적 어휘를 생성하여 다중 모달 생성을 가능하게 합니다.
• 평생 학습: 구문 인코더가 이전에 학습한 구문을 파괴적으로 잊지 않고 새로운 데이터로부터 지속적으로 학습할 수 있도록 합니다.
• 이론적 분석: 동적 어휘를 사용한 생성의 정보 이론적 한계와 형식적 보장을 조사합니다.

7. 참고문헌

1. Liu, Y., Ji, T., Sun, C., Wu, Y., & Wang, X. (2024). Generation with Dynamic Vocabulary. arXiv:2410.08481.
2. Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
3. Gao, L., et al. (2023). The AI Feedback (AIF) Pipeline: A Framework for Making Language Models Better. arXiv preprint.
4. Koehn, P., & Knowles, R. (2017). Six Challenges for Neural Machine Translation. Proceedings of the First Workshop on Neural Machine Translation.
5. Menick, J., et al. (2022). Teaching Language Models to Support Answers with Verified Quotes. DeepMind.
6. Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
7. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).

8. 전문가 분석