SLABERT: Modelagem da Aquisição de Segunda Língua com BERT

Índice

1. Introdução

Esta investigação aborda a lacuna crítica na literatura de PLN relativa à transferência negativa na aquisição de segunda língua (ASL). Embora a transferência interlinguística tenha sido amplamente estudada na investigação humana sobre ASL, a maioria das abordagens de PLN tem-se focado principalmente nos efeitos da transferência positiva, negligenciando o impacto significativo da transferência negativa que ocorre quando as estruturas linguísticas de uma língua nativa (L1) interferem na aquisição de uma língua estrangeira (L2).

O estudo apresenta o SLABERT (Second Language Acquisition BERT), uma estrutura inovadora que modela a aquisição sequencial de segunda língua usando dados de Fala Dirigida à Criança (FDC). Esta abordagem fornece uma simulação ecologicamente válida dos processos humanos de aprendizagem de línguas, permitindo que os investigadores examinem tanto os efeitos facilitadores como os interferentes da L1 na aquisição da L2.

2. Metodologia

2.1 Estrutura SLABERT

A estrutura SLABERT implementa a aprendizagem sequencial de línguas, na qual os modelos são primeiro treinados com dados da L1 (língua nativa) e depois afinados com dados da L2 (inglês). Esta abordagem sequencial espelha os processos humanos de aquisição de segunda língua, permitindo que os investigadores observem os efeitos de transferência que ocorrem quando o conhecimento linguístico da L1 influencia a aprendizagem da L2.

2.2 Conjunto de Dados MAO-CHILDES

Os investigadores construíram o conjunto de dados Multilingual Age Ordered CHILDES (MAO-CHILDES), compreendendo cinco línguas tipologicamente diversas: Alemão, Francês, Polonês, Indonésio e Japonês. Este conjunto de dados consiste em Fala Dirigida à Criança naturalista, fornecendo dados de treino ecologicamente válidos que refletem ambientes reais de aquisição de língua.

2.3 Aprendizagem por Transferência Baseada em TILT

O estudo emprega a abordagem Test for Inductive Bias via Language Model Transfer (TILT) estabelecida por Papadimitriou e Jurafsky (2020). Esta metodologia permite o exame sistemático de como diferentes tipos de dados de treino induzem características estruturais que facilitam ou dificultam a transferência interlinguística.

3. Resultados Experimentais

3.1 Efeitos da Distância entre Famílias Linguísticas

As experiências demonstram que a distância entre famílias linguísticas prevê significativamente a transferência negativa. Línguas mais distantemente relacionadas com o inglês (como o japonês e o indonésio) mostraram maiores efeitos de interferência, enquanto parentes mais próximos (alemão e francês) exibiram mais transferência positiva. Esta descoberta está alinhada com a investigação humana sobre ASL, validando a validade ecológica da abordagem SLABERT.

3.2 Fala Conversacional vs. Fala Roteirizada

Uma descoberta fundamental revela que os dados de fala conversacional proporcionam maior facilitação para a aquisição de língua em comparação com dados de fala roteirizada. Isto sugere que o input linguístico natural e interativo contém propriedades estruturais que são mais transferíveis entre línguas, potencialmente devido à presença de padrões conversacionais universais e mecanismos de reparação.

4. Análise Técnica

4.1 Estrutura Matemática

O efeito de transferência entre L1 e L2 pode ser quantificado usando a seguinte formulação:

Seja $T_{L1 \rightarrow L2}$ o efeito de transferência de L1 para L2, medido como melhoria de desempenho em tarefas de L2 após pré-treino em L1. A eficiência da transferência pode ser expressa como:

$\eta_{transfer} = \frac{P_{L2|L1} - P_{L2|random}}{P_{L2|monolingual} - P_{L2|random}}$

onde $P_{L2|L1}$ é o desempenho em L2 após pré-treino em L1, $P_{L2|monolingual}$ é o desempenho monolingue em L2, e $P_{L2|random}$ é o desempenho com inicialização aleatória.

A métrica de distância linguística $D(L1,L2)$ entre línguas pode ser calculada usando características tipológicas de bases de dados como o WALS (World Atlas of Language Structures), seguindo a abordagem de Berzak et al. (2014):

$D(L1,L2) = \sqrt{\sum_{i=1}^{n} w_i (f_i(L1) - f_i(L2))^2}$

onde $f_i$ representa características tipológicas e $w_i$ os seus pesos respetivos.

4.2 Exemplo da Estrutura de Análise

A investigação emprega uma estrutura de avaliação sistemática usando a suíte de testes BLiMP (Benchmark of Linguistic Minimal Pairs). Esta referência avalia o conhecimento gramatical através de pares mínimos que testam fenómenos sintáticos específicos. O protocolo de avaliação segue:

1. Pré-treino em L1: Os modelos são treinados com dados FDC de cada uma das cinco línguas
2. Afinação em L2: Treino sequencial com dados da língua inglesa
3. Avaliação: Medição do desempenho em julgamentos de gramaticalidade do BLiMP
4. Análise de Transferência: Comparação com referências monolingues e interlinguísticas

Esta estrutura permite a medição precisa de ambos os efeitos de transferência positiva (facilitação) e transferência negativa (interferência) através de diferentes pares de línguas e fenómenos linguísticos.

5. Aplicações Futuras

A estrutura SLABERT abre várias direções promissoras para investigação e aplicações futuras:

• Tecnologia Educacional: Desenvolvimento de sistemas personalizados de aprendizagem de línguas que consideram os antecedentes linguísticos nativos dos aprendizes
• PLN de Baixos Recursos: Aproveitar padrões de transferência para melhorar o desempenho para línguas com dados de treino limitados
• Modelação Cognitiva: Modelos computacionais melhorados dos processos humanos de aquisição de língua
• IA Intercultural: Desenvolvimento de sistemas de IA que compreendem e acomodam melhor a diversidade linguística

Trabalhos futuros deverão explorar a extensão da estrutura para mais pares de línguas, incorporar características linguísticas adicionais e investigar efeitos de transferência em diferentes níveis de proficiência.

6. Referências

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Learn Language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
2. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the Association for Computational Linguistics.
3. Berzak, Y., et al. (2014). Reconstructing Native Language Typology from Foreign Language Usage. In Proceedings of the 18th Conference on Computational Natural Language Learning.
4. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
5. Conneau, A., et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.