Avaliação de Modelos de Linguagem Neural como Modelos Cognitivos da Aquisição da Linguagem

Índice

1 Introdução

O rápido avanço dos modelos de linguagem neural (MLs) despertou interesse no seu potencial como modelos cognitivos da aquisição da linguagem humana. No entanto, existem lacunas metodológicas significativas entre os paradigmas de avaliação de MLs e as práticas estabelecidas da investigação linguística. Este artigo examina criticamente se as abordagens atuais de *benchmarking* captam adequadamente a complexidade estrutural da linguagem humana e se os MLs treinados com dados à escala infantil podem genuinamente informar a nossa compreensão da aquisição da linguagem.

2 Limitações Metodológicas dos *Benchmarks* Atuais

2.1 Deficiências dos *Benchmarks* Baseados em Modelos

Os *benchmarks* atuais de avaliação sintática sofrem de homogeneidade estrutural que não representa a diversidade encontrada na linguística teórica. As abordagens baseadas em modelos, como as usadas no BLiMP e no SyntaxGym, carecem das construções gramaticais matizadas que caracterizam a aquisição natural da linguagem. Os autores demonstram que, quando testados com dados de pequena escala que modelam a aquisição da linguagem infantil, os MLs não têm um desempenho melhor do que modelos de referência simples, levantando questões sobre as suas verdadeiras capacidades linguísticas.

2.2 Problemas de Desfasamento na Escala de Dados

A discrepância nos dados de treino entre os MLs e os aprendizes humanos apresenta um desafio fundamental. Enquanto modelos como o BERT são treinados com milhares de milhões de *tokens*, as crianças adquirem a linguagem com exposição a aproximadamente 10 milhões de palavras por ano, com um vocabulário medido em centenas aos três anos de idade. Este desfasamento de escala compromete as comparações diretas entre o desempenho dos MLs e a aquisição da linguagem humana.

3 Estrutura Experimental e Resultados

3.1 Avaliação do Conjunto de Dados LI-Adger

O estudo emprega o conjunto de dados LI-Adger, uma coleção cuidadosamente curada e avaliada quanto à aceitabilidade gradiente por falantes nativos, especificamente concebida para investigar o conhecimento gramatical estrutural. Este conjunto de dados fornece um terreno de teste mais rigoroso do que os *benchmarks* baseados em modelos, oferecendo perspetivas sobre se os MLs captam os juízos gramaticais subtis que caracterizam a competência linguística humana.

3.2 Análise Comparativa de Desempenho

Os resultados experimentais revelam que os MLs avaliam frases de formas inconsistentes com os utilizadores humanos da linguagem no conjunto de dados LI-Adger. Como mostrado na Figura 1, modelos como o BabyBERTa, AO-CHILDES, AO-NEWSELA e Wikipedia-1 demonstram todos desvios significativos em relação aos padrões de desempenho humano, indicando diferenças fundamentais na forma como estes modelos representam e processam informação sintática.

4 Estrutura Técnica e Fundamentos Matemáticos

A avaliação dos modelos de linguagem baseia-se em métricas probabilísticas que avaliam quão bem os modelos preveem estruturas gramaticais. A estrutura matemática central envolve o cálculo da probabilidade de sequências de frases:

$P(w_1, w_2, ..., w_n) = \prod_{i=1}^n P(w_i | w_1, w_2, ..., w_{i-1})$

Onde $w_i$ representa palavras numa sequência, e a capacidade do modelo de atribuir probabilidades mais altas a frases gramaticais versus agramaticais serve de base para avaliar o conhecimento sintático. No entanto, esta abordagem tem limitações na captação dos juízos de aceitabilidade matizados que caracterizam a competência linguística humana.

5 Estrutura de Análise: Exemplo de Estudo de Caso

Caso: Avaliação da Concordância Sujeito-Verbo

A estrutura de análise envolve comparar o desempenho dos MLs em pares mínimos que testam fenómenos gramaticais específicos. Por exemplo, avaliar as atribuições de probabilidade do modelo a:

• Gramatical: "Os gatos em cima da mesa estão a dormir"
• Agramatical: "Os gatos em cima da mesa está a dormir"

A estrutura avalia se o modelo atribui consistentemente probabilidades mais altas a construções gramaticais em diversos ambientes sintáticos, indo além de avaliações simples baseadas em modelos para testar conhecimento gramatical genuíno.

6 Aplicações Futuras e Direções de Investigação

A investigação futura deve focar-se no desenvolvimento de estruturas de avaliação que se alinhem melhor com os processos de aquisição da linguagem humana. As direções principais incluem:

• Criar *benchmarks* com juízos de aceitabilidade gradiente avaliados por humanos
• Desenvolver modelos treinados com dados à escala infantil e com limitações realistas de *input*
• Incorporar aprendizagem multimodal para simular melhor a aquisição da linguagem humana
• Estabelecer métricas de avaliação que captem trajetórias de desenvolvimento

Análise de Especialista: Ideia Central, Fluxo Lógico, Pontos Fortes e Fracos, Perspetivas Aplicáveis

Ideia Central

O artigo apresenta uma crítica devastadora às práticas atuais de avaliação de MLs, expondo como os *benchmarks* baseados em modelos criam uma ilusão de competência linguística que colapsa sob testes rigorosos. Os autores revelam que o que estamos a medir não é conhecimento gramatical genuíno, mas reconhecimento de padrões em conjuntos de dados artificialmente restritos.

Fluxo Lógico

O argumento progride com precisão cirúrgica: primeiro demonstrando as inadequações dos *benchmarks*, depois mostrando como modelos de referência simples igualam os MLs em dados à escala infantil e, finalmente, revelando a lacuna de desempenho em conjuntos de dados avaliados por humanos. A cadeia lógica é inquebrável – se os MLs não conseguem superar modelos simples em dados à escala de aquisição e falham na gramaticalidade julgada por humanos, o seu valor como modelos cognitivos é fundamentalmente questionável.

Pontos Fortes e Fracos

Pontos Fortes: A crítica metodológica é brilhante e há muito esperada. Ao expor a pobreza estrutural dos *benchmarks* atuais, os autores forçam a área a confrontar verdades desconfortáveis. A sua utilização de conjuntos de dados avaliados por humanos representa um passo crucial para uma avaliação mais significativa.

Pontos Fracos: O artigo fica aquém de propor *benchmarks* alternativos concretos, deixando os investigadores com críticas, mas com orientação construtiva limitada. Além disso, embora identifiquem o problema da escala de dados, não abordam adequadamente se as arquiteturas atuais poderiam alguma vez aprender a partir de dados à escala infantil, independentemente dos métodos de avaliação.

Perspetivas Aplicáveis

As equipas de investigação devem abandonar imediatamente os *benchmarks* baseados em modelos para avaliação sintática e transitar para conjuntos de dados julgados por humanos. A área precisa de coleções padronizadas e em larga escala de juízos de aceitabilidade gradiente, semelhantes à abordagem LI-Adger. Mais fundamentalmente, devemos reconsiderar se as arquiteturas atuais de MLs são sequer capazes de captar conhecimento gramatical semelhante ao humano, ou se precisamos de abordagens completamente diferentes para a modelação cognitiva computacional.

7 Referências

1. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs. arXiv:1912.00582
2. Linzen, T., & Baroni, M. (2021). Syntactic Structure from Deep Learning. Annual Review of Linguistics
3. Huebner, P. A., et al. (2021). BabyBERTa: Learning More Grammar With Small-Scale Child-Directed Language. arXiv:2106.02144
4. Chowdhury, S. R., & Zamparelli, R. (2018). RNN Simulations of Grammaticality Judgments on Long-distance Dependencies. Proceedings of COLING
5. Goodfellow, I., et al. (2014). Generative Adversarial Networks. Advances in Neural Information Processing Systems