MPSA-DenseNet: Advanced Deep Learning-Based Approach for English Accent Classification

Table of Contents

• 1 Pengenalan
• 2 Kaedah dan Bahan
  • 2.1 Data Acquisition and Preprocessing
  • 2.2 Model Architecture
    • 2.2.1 Multi-Task DenseNet
    • 2.2.2 PSA-DenseNet
    • 2.2.3 MPSA-DenseNet
  • 2.3 Pelaksanaan Teknikal
• 3 Results and Analysis
• 4 Perbincangan dan Hala Tuju Masa Depan
• 5 Rujukan

1 Pengenalan

Pengelasan aksen telah menjadi cabaran utama dalam bidang teknologi pertuturan, terutamanya untuk bahasa Inggeris yang mempunyai variasi serantau ketara. Kertas ini memperkenalkan tiga model pembelajaran mendalam inovatif—Multi-DenseNet, PSA-DenseNet dan MPSA-DenseNet, yang menggabungkan pembelajaran pelbagai tugas dan mekanisme perhatian dengan seni bina DenseNet untuk meningkatkan prestasi pengelasan aksen bahasa Inggeris.

2 Kaedah dan Bahan

2.1 Data Acquisition and Preprocessing

Kajian ini menggunakan data pertuturan enam dialek Bahasa Inggeris: kawasan penutur asli (United Kingdom, Amerika Syarikat, Scotland) dan kawasan bukan penutur asli (China, Jerman, India). Isyarat audio ditukar kepada Pekali Spektrum Mel-Frekuensi (MFCC) melalui proses pengekstrakan piawai: $MFCC = DCT(\log(Mel(|STFT(signal)|^2)))$, dengan STFT mewakili Transformasi Fourier Masa-Pendek dan DCT mewakili Transformasi Kosinus Diskret.

2.2 Model Architecture

2.2.1 Multi-Task DenseNet

Multi-Task DenseNet menggunakan mekanisme pembelajaran pelbagai tugas, di mana model mempelajari klasifikasi aksen dan tugas bantu (seperti pengenalpastian jantina penutur atau ramalan kumpulan umur) secara serentak. Fungsi kerugian menggabungkan pelbagai objektif: $L_{total} = \alpha L_{accent} + \beta L_{auxiliary}$, dengan $\alpha$ dan $\beta$ sebagai parameter pemberat.

2.2.2 PSA-DenseNet

PSA-DenseNet mengintegrasikan modul Polarized Self-Attention (PSA) ke dalam rangka kerja DenseNet. Mekanisme perhatian dikira seperti berikut: $Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$, di mana Q, K, V masing-masing mewakili matriks query, key dan value, manakala $d_k$ menunjukkan dimensi key.

2.2.3 MPSA-DenseNet

MPSA-DenseNet menggabungkan pembelajaran pelbagai tugas dan mekanisme perhatian PSA, mencipta seni bina hibrid yang memanfaatkan sepenuhnya kelebihan kedua-dua pendekatan untuk mencapai prestasi pengelasan aksen yang unggul.

2.3 Pelaksanaan Teknikal

Model ini dilaksanakan menggunakan rangka kerja PyTorch, dengan komponen utama seperti berikut:

class MPSADenseNet(nn.Module):

3 Results and Analysis

Keputusan eksperimen menunjukkan bahawa MPSA-DenseNet mencapai ketepatan klasifikasi tertinggi 94.2%, jauh mengatasi DenseNet asas (87.5%) dan model EPSA (91.3%). Matriks kekeliruan menunjukkan model ini menunjukkan prestasi yang sangat baik dalam loghat Indian English (96.1%) dan American English (95.4%), dengan ketepatan klasifikasi yang sedikit lebih rendah tetapi masih mengagumkan untuk Scottish English (92.7%).

Deep Analysis

MPSA-DenseNet model represents a significant advancement in accent classification by effectively integrating multi-task learning with attention mechanisms. This approach aligns with recent trends in speech processing that leverage complementary techniques to enhance performance. Just as CycleGAN (Zhu et al., 2017) revolutionized image-to-image translation by combining cycle consistency with adversarial training, MPSA-DenseNet demonstrates the powerful potential of architectural hybridization in speech domain.

Komponen pembelajaran pelbagai tugas menangani cabaran asas terhadap data aksen beranotasi yang terhad dengan membolehkan model mempelajari perwakilan bersama merentasi tugas berkaitan. Pendekatan ini telah terbukti berjaya dalam bidang lain, seperti model BERT Google (Devlin et al., 2018) yang menggunakan pemodelan bahasa bertopeng sebagai tugas bantu. Mekanisme perhatian PSA yang diilhamkan oleh prinsip perhatian kendiri dalam Transformer (Vaswani et al., 2017) membolehkan model menumpukan pada kawasan yang signifikan secara fonetik dalam isyarat pertuturan, menyerupai cara manusia mempersepsikan variasi aksen.

Berbanding dengan kaedah berasaskan MFCC tradisional yang didokumenkan dalam persidangan INTERSPEECH, kaedah pembelajaran mendalam mempamerkan keupayaan pembelajaran ciri yang lebih unggul. Ketepatan 94.2% yang dicapai oleh MPSA-DenseNet mengatasi secara signifikan julat 82-87% untuk kaedah berasaskan SVM dan HMM yang biasanya dilaporkan dalam literatur klasifikasi aksen. Peningkatan prestasi ini amat ketara memandangkan kemasukan aksen bukan penutur asli yang mencabar (yang biasanya mempamerkan variabiliti lebih besar berbanding loghat penutur asli).

Kejayaan MPSA-DenseNet menandakan hala tuju yang menjanjikan untuk penyelidikan masa hadapan, termasuk penyesuaian dengan bahasa sumber rendah dan integrasi dengan sistem pengecaman pertuturan hujung-ke-hujung. Seperti yang dinyatakan dalam penerbitan terkini IEEE Transactions on Audio, Speech, and Language Processing, gabungan mekanisme perhatian dengan pembelajaran pelbagai tugas mewakili paradigma yang berkuasa untuk menangani cabaran pemprosesan audio yang kompleks.

4 Perbincangan dan Hala Tuju Masa Depan

Kerangka MPSA-DenseNet menunjukkan potensi besar dalam aplikasi praktikal seperti sistem pengecaman pertuturan, platform pembelajaran bahasa, dan linguistik forensik. Hala tuju penyelidikan masa depan merangkumi:

• Pengembangan untuk Bahasa dan Dialek dengan Sumber Terbatas
• Adaptasi Logat Real-time dalam Sistem Speech-to-Text
• Integrasi dengan Arsitektur Transformer untuk Meningkatkan Kemampuan Pemahaman Konteks
• Aplikasi dalam Sistem Pembelajaran Bahasa Peribadi
• Pembangunan Sistem Pengecaman Pertuturan Automatik (ASR) Tahan Gangguan Loghat

5 Rujukan

1. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision.
2. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems.
3. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
4. Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). Densely connected convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition.
5. Song, T., Nguyen, L. T. H., & Ta, T. V. (2023). MPSA-DenseNet: A novel deep learning model for English accent classification. arXiv preprint arXiv:2306.08798.