الفهرس
1 المقدمة
أصبح تصنيف اللهجات تحديًا حاسمًا في مجال تقنيات الصوت، خاصة بالنسبة للغة الإنجليزية التي تتمتع بتباينات إقليمية كبيرة. تقدم هذه الورقة ثلاث نماذج مبتكرة للتعلم العميق - Multi-DenseNet وPSA-DenseNet وMPSA-DenseNet - التي تدمج بين التعلم متعدد المهام وآليات الانتباه مع بنية DenseNet لتعزيز أداء تصنيف اللهجات الإنجليزية.
2 الطرق والمواد
2.1 جمع البيانات والمعالجة المسبقة
استخدمت هذه الدراسة بيانات صوتية من ست لهجات إنجليزية: مناطق الناطقين باللغة الإنجليزية (المملكة المتحدة، الولايات المتحدة، اسكتلندا) والمناطق غير الناطقة باللغة الإنجليزية (الصين، ألمانيا، الهند). تم تحويل الإشارات الصوتية إلى معاملات السيبستروم الترددية الميل (MFCC) من خلال عملية استخراج قياسية: $MFCC = DCT(\log(Mel(|STFT(signal)|^2)))$، حيث يمثل STFT تحويل فورييه قصير المدى ويمثل DCT تحويل جيب التمام المتقطع.
2.2 هيكل النموذج
2.2.1 DenseNet متعدد المهام
يستخدم DenseNet متعدد المهام آلية تعلم متعددة المهام، حيث يتعلم النموذج تصنيف اللهجة والمهام المساعدة (مثل التعرف على جنس المتحدث أو التنبؤ بالفئة العمرية) في وقت واحد. تجمع دالة الخسارة بين أهداف متعددة: $L_{total} = \alpha L_{accent} + \beta L_{auxiliary}$، حيث $\alpha$ و $\beta$ معلمتا الوزن.
2.2.2 PSA-DenseNet
يدمج PSA-DenseNet وحدة الانتباه الذاتي المستقطب (PSA) في بنية DenseNet. يتم حساب آلية الانتباه على النحو التالي: $Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$، حيث تمثل Q وK وV مصفوفات الاستعلام والمفتاح والقيمة على التوالي، ويمثل $d_k$ بُعد المفتاح.
2.2.3 MPSA-DenseNet
يجمع MPSA-DenseNet بين التعلم متعدد المهام وآلية الاهتمام PSA، ليخلق هجينًا معماريًا يستفيد بالكامل من مزايا الطريقتين لتحقيق أداء متميز في تصنيف اللهجات.
2.3 التنفيذ التقني
تم تنفيذ النموذج باستخدام إطار عمل PyTorch، والمكونات الرئيسية كالتالي:
class MPSADenseNet(nn.Module):3 النتائج والتحليل
أظهرت نتائج التجربة أن نموذج MPSA-DenseNet حقق أعلى دقة تصنيف بلغت 94.2%، متفوقاً بشكل ملحوظ على نموذج DenseNet الأساسي (87.5%) ونموذج EPSA (91.3%). أظهرت مصفوفة الارتباك أن الأداء كان متميزاً بشكل خاص في لهجات الإنجليزية الهندية (96.1%) والإنجليزية الأمريكية (95.4%)، بينما كانت دقة التصنيف للهجة الإنجليزية الاسكتلندية أقل قليلاً (92.7%) لكنها لا تزال مبهرة.
مقارنة الأداء
- MPSA-DenseNet: 94.2% دقة
- PSA-DenseNet: 91.3% دقة
- DenseNet متعدد المهام: 89.8% دقة
- DenseNet الأساسي: 87.5% دقة
تحليل متعمق
يمثل نموذج MPSA-DenseNet تقدماً كبيراً في مجال تصنيف اللهجات من خلال الجمع الفعال بين التعلم متعدد المهام وآلية الانتباه. يتوافق هذا النهج مع الاتجاه الحديث في معالجة الصوت لاستخدام تقنيات تكميلية لتعزيز الأداء. تماماً كما أحدثت CycleGAN (Zhu et al., 2017) ثورة في مجال تحويل الصورة إلى صورة من خلال الجمع بين الاتساق الدوري والتدريب التبادلي، يظهر MPSA-DenseNet قوة الدمج المعماري في مجال معالجة الكلام.
يتغلب مكون التعلم متعدد المهام على التحدي الأساسي المتمثل في محدودية البيانات الموسومة باللهجات من خلال تمكين النموذج من تعلم تمثيلات مشتركة عبر المهام ذات الصلة. لقد أثبتت هذه الطريقة نجاحها في مجالات أخرى، كما في نموذج BERT من جوجل (Devlin et al., 2018) الذي استخدم نمذجة اللغة المقنعة كمهمة مساعدة. تمكن آلية الاهتمام PSA المستوحاة من مبدأ الاهتمام الذاتي في المحول (Vaswani et al., 2017) النموذج من التركيز على المناطق ذات الأهمية الصوتية في الإشارة الصوتية، على غرار طريقة إدراك البشر لتغيرات اللهجة.
تُظهر أساليب التعلم العميق قدرات متفوقة في تعلم الميزات مقارنة بالطرق التقليدية القائمة على MFCC والمذكورة في مؤتمرات INTERSPEECH. إن دقة 94.2% التي حققها MPSA-DenseNet تتجاوز بشكل ملحوظ نطاق 82-87% المبلغ عنه عادة في أدبيات تصنيف اللهجات للطرق القائمة على SVM و HMM. يعتبر هذا التحسن في الأداء ملحوظًا بشكل خاص نظرًا لاحتواء مجموعة البيانات على لهجات غير أصلية صعبة (والتي تظهر عادة تباينًا أكبر من اللهجات الأصلية).
يحدد نجاح MPSA-DenseNet اتجاهات واعدة للبحث المستقبلي، بما في ذلك التكيف مع اللغات قليلة الموارد والتكامل مع أنظمة التعرف على الكلام من طرف إلى طرف. كما أشارت منشورات حديثة في IEEE/ACM Transactions on Audio, Speech, and Language Processing، فإن الجمع بين آليات الاهتمام والتعلم متعدد المهام يمثل نموذجًا قويًا لمعالجة التحديات المعقدة في معالجة الصوت.
4 المناقشة والاتجاهات المستقبلية
يظهر إطار عمل MPSA-DenseNet إمكانات كبيرة في التطبيقات العملية مثل أنظمة التعرف على الكلام ومنصات تعلم اللغة وعلم اللغة القضائي. تشمل اتجاهات البحث المستقبلية:
- التوسع إلى اللغات واللهجات منخفضة الموارد
- التكيف الفوري للهجات في أنظمة تحويل الكلام إلى نص
- الدمج مع بنية Transformer لتعزيز قدرات الفهم السياقي
- التطبيق في نظام تعلم اللغة المخصص
- تطوير نظام التعرف التلقائي على الكلام (ASR) المقاوم لتداخل اللهجات
5 المراجع
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
- Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). Densely connected convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition.
- Song, T., Nguyen, L. T. H., & Ta, T. V. (2023). MPSA-DenseNet: A novel deep learning model for English accent classification. arXiv preprint arXiv:2306.08798.