تولید با واژگان پویا: یک پارادایم جدید برای مدل‌های زبانی

1. مقدمه

این مقاله به چالش کشیدن پارادایم واژگان ایستا که در مدل‌های زبانی مدرن (LMs) ریشه دوانده است، می‌پردازد. مدل‌های زبانی کنونی به توکنایزرهای ثابتی متکی هستند که بر روی پیکره‌های از پیش تعریف شده آموزش دیده‌اند و پس از ساخت مدل، تغییرناپذیر می‌شوند. اگرچه این رویکرد برای وظایف پایه کافی است، اما رویکرد ایستا، انطباق‌پذیری را در سناریوهای پیشرفته تولید، مانند گنجاندن عبارات خاص حوزه یا بازه‌های استناد عین متن، محدود می‌کند. این مقاله واژگان پویا را پیشنهاد می‌دهد، چارچوبی که به مدل‌های زبانی اجازه می‌دهد تا بازه‌های متنی دلخواه (عبارات) را به عنوان واحدهای تولید اتمی، هم در ورودی و هم در خروجی، به صورت درخواستی در خود بگنجانند.

نوآوری اصلی در این است که عبارات چندتوکنی به عنوان شهروندان درجه یک، مشابه توکن‌های منفرد در یک واژگان ایستا، در نظر گرفته می‌شوند. این امر محدودیت‌های موجود در انطباق حوزه‌ای و تولید مبتنی بر شواهد را برطرف کرده و از محدودیت‌های تحمیل شده توسط پیکره اولیه توکن‌سازی فراتر می‌رود.

2. روش‌شناسی

روش‌شناسی بر توانمندسازی مدل‌های زبانی برای مدیریت واژگانی متمرکز است که بر اساس زمینه به صورت پویا تغییر می‌کند.

3. آزمایش‌ها و نتایج

چارچوب پیشنهادی واژگان پویا در ابعاد متعددی ارزیابی شده و بهبودهای قابل توجهی را نشان می‌دهد.

4. جزئیات فنی

چالش فنی اصلی، امتیازدهی و انتخاب از مجموعه‌ای پویا از کاندیداها است. در هر مرحله تولید $t$، مدل یک واژگان ایستا $V_s$ و یک مجموعه پویا از عبارات $P_t$ مرتبط با زمینه را دارد. توزیع احتمال روی مجموعه ترکیبی $V_s \cup P_t$ محاسبه می‌شود. برای یک عبارت $p \in P_t$ متشکل از توکن‌های $(y_1, y_2, ..., y_k)$، امتیاز آن از نمایش کدگذار عبارت $e(p)$ مشتق می‌شود: $$\text{Score}(p) = f(\mathbf{h}_t, e(p))$$ که در آن $\mathbf{h}_t$ حالت پنهان مدل در مرحله $t$ و $f$ یک تابع امتیازدهی است (مانند ضرب داخلی یا یک لایه خطی آموخته شده). این امر به مدل اجازه می‌دهد تا توکن‌های منفرد و عبارات چندتوکنی را بر اساس یک پایه مشترک مقایسه کند. هدف آموزشی، پیش‌بینی توکن بعدی استاندارد را با پیش‌بینی عبارت بعدی درهم می‌آمیزد و از یک تابع زیان اصلاح شده استفاده می‌کند که دو حالت تولید را متعادل می‌سازد.

5. چارچوب تحلیل و مطالعه موردی

چارچوب برای ارزیابی یکپارچه‌سازی واژگان پویا:

1. شناسایی ارتباط عبارت: با توجه به یک زمینه (مانند قطعه‌ای از یک سند)، از یک بازیاب سبک‌وزن یا طبقه‌بند برای شناسایی بازه‌های متنی کاندید (عبارات اسمی، موجودیت‌های نام‌دار، اصطلاحات فنی) که بسیار مرتبط هستند، استفاده کنید.
2. نگاشت کدگذار: این بازه‌های کاندید را از طریق کدگذار عبارات پویای از پیش آموزش دیده عبور دهید تا نمایش‌های برداری آنها $e(p)$ به دست آید.
3. افزایش واژگان: این بردارهای عبارت را به واژگان تولید مدل زبانی برای توالی جاری تزریق کنید.
4. تولید و انتخاب: در طول رمزگشایی خودرگرسیو، مدل زبانی هم توکن‌های اصلی و هم عبارات جدید را امتیازدهی می‌کند. عبارت "تولید تئاتر" ممکن است پس از زمینه "... نمایش شهروندی" امتیاز بالایی داشته باشد که منجر به تولید اتمی آن می‌شود.

6. کاربردها و جهت‌های آینده

کاربردها:

• دستیارهای شخصی‌سازی شده: گنجاندن پویای عبارات خاص کاربر (نام‌های مخاطبین، عنوان پروژه‌ها، اصطلاحات عامیانه شخصی).
• تولید کد: یکپارچه‌سازی نام‌های API، توابع کتابخانه‌ای یا قطعات کد رایج به عنوان واحدهای اتمی، مشابه پیشنهادهای GitHub Copilot اما با یکپارچگی عمیق‌تر در فرآیند تولید.
• ترجمه بلادرنگ با کنترل اصطلاحات: تزریق واژه‌نامه‌های ترجمه تأیید شده به عنوان عبارات پویا برای اطمینان از ترجمه یکنواخت و دقیق اصطلاحات حوزه.
• تولید متن کنترل شده: استفاده از عبارات پویا به عنوان "اهرم" برای هدایت محتوا به سمت موضوعات، سبک‌ها یا محدودیت‌های ایمنی خاص.

• بازیابی کارآمد عبارت: توسعه الگوریتم‌های سریع‌تر برای شناسایی عبارات مرتبط از پیکره‌های بزرگ به صورت بلادرنگ.
• گسترش چندوجهی: ایجاد یک واژگان پویا که شامل تکه‌های تصویر یا بخش‌های صوتی در کنار عبارات متنی برای تولید چندوجهی باشد.
• یادگیری مادام‌العمر: توانمندسازی کدگذار عبارت برای یادگیری مستمر از داده‌های جدید بدون فراموشی فاجعه‌بار عبارات آموخته شده قبلی.
• تحلیل نظری: بررسی محدودیت‌های اطلاعاتی-نظری و تضمین‌های رسمی تولید با واژگان پویا.

7. مراجع

1. Liu, Y., Ji, T., Sun, C., Wu, Y., & Wang, X. (2024). Generation with Dynamic Vocabulary. arXiv:2410.08481.
2. Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Blog.
3. Gao, L., et al. (2023). The AI Feedback (AIF) Pipeline: A Framework for Making Language Models Better. arXiv preprint.
4. Koehn, P., & Knowles, R. (2017). Six Challenges for Neural Machine Translation. Proceedings of the First Workshop on Neural Machine Translation.
5. Menick, J., et al. (2022). Teaching Language Models to Support Answers with Verified Quotes. DeepMind.
6. Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
7. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).

8. تحلیل کارشناسی