Évaluation des modèles de langage neuronaux comme modèles cognitifs de l'acquisition du langage

Table des matières

1 Introduction

Les progrès rapides des modèles de langage neuronaux (LM) ont suscité un intérêt pour leur potentiel en tant que modèles cognitifs de l'acquisition du langage humain. Cependant, il existe des écarts méthodologiques significatifs entre les paradigmes d'évaluation des LM et les pratiques établies de la recherche linguistique. Cet article examine de manière critique si les approches de benchmarking actuelles capturent adéquatement la complexité structurelle du langage humain et si les LM entraînés sur des données à l'échelle de l'enfant peuvent véritablement éclairer notre compréhension de l'acquisition du langage.

2 Limites méthodologiques des benchmarks actuels

2.1 Déficiences des benchmarks basés sur des modèles

Les benchmarks d'évaluation syntaxique actuels souffrent d'une homogénéité structurelle qui ne représente pas la diversité trouvée en linguistique théorique. Les approches basées sur des modèles dans des benchmarks comme BLiMP et SyntaxGym manquent des constructions grammaticales nuancées qui caractérisent l'acquisition du langage naturel. Les auteurs démontrent que, lorsqu'ils sont testés sur des données à petite échelle modélisant l'acquisition du langage chez l'enfant, les LM ne performent pas mieux que des modèles de base simples, ce qui soulève des questions sur leurs véritables capacités linguistiques.

2.2 Problèmes d'inadéquation de l'échelle des données

L'écart entre les données d'entraînement des LM et celles des apprenants humains présente un défi fondamental. Alors que des modèles comme BERT sont entraînés sur des milliards de tokens, les enfants acquièrent le langage avec une exposition à environ 10 millions de mots par an, avec un vocabulaire mesuré en centaines à l'âge de trois ans. Cette inadéquation d'échelle compromet les comparaisons directes entre la performance des LM et l'acquisition du langage humain.

3 Cadre expérimental et résultats

3.1 Évaluation du jeu de données LI-Adger

L'étude utilise le jeu de données LI-Adger, une collection soigneusement constituée évaluée pour l'acceptabilité graduelle par des locuteurs natifs et spécifiquement conçue pour sonder la connaissance grammaticale structurelle. Ce jeu de données fournit un terrain d'essai plus rigoureux que les benchmarks basés sur des modèles, offrant des insights sur la capacité des LM à capturer les jugements grammaticaux subtils qui caractérisent la compétence linguistique humaine.

3.2 Analyse comparative des performances

Les résultats expérimentaux révèlent que les LM évaluent les phrases d'une manière incompatible avec les utilisateurs du langage humain sur le jeu de données LI-Adger. Comme le montre la Figure 1, les modèles incluant BabyBERTa, AO-CHILDES, AO-NEWSELA et Wikipedia-1 démontrent tous des écarts significatifs par rapport aux modèles de performance humaine, indiquant des différences fondamentales dans la manière dont ces modèles représentent et traitent l'information syntaxique.

4 Cadre technique et fondements mathématiques

L'évaluation des modèles de langage repose sur des métriques probabilistes qui évaluent la capacité des modèles à prédire les structures grammaticales. Le cadre mathématique central implique le calcul de la probabilité des séquences de phrases :

$P(w_1, w_2, ..., w_n) = \prod_{i=1}^n P(w_i | w_1, w_2, ..., w_{i-1})$

Où $w_i$ représente les mots dans une séquence, et la capacité du modèle à attribuer des probabilités plus élevées aux phrases grammaticales par rapport aux phrases non grammaticales sert de base à l'évaluation des connaissances syntaxiques. Cependant, cette approche présente des limites pour capturer les jugements d'acceptabilité nuancés qui caractérisent la compétence linguistique humaine.

5 Cadre d'analyse : exemple d'étude de cas

Cas : Évaluation de l'accord sujet-verbe

Le cadre d'analyse implique de comparer la performance des LM sur des paires minimales qui testent des phénomènes grammaticaux spécifiques. Par exemple, évaluer les attributions de probabilité du modèle pour :

• Grammatical : "Les chats sur la table dorment"
• Non grammatical : "Les chats sur la table dort"

Le cadre évalue si le modèle attribue systématiquement des probabilités plus élevées aux constructions grammaticales dans divers environnements syntaxiques, dépassant les simples évaluations basées sur des modèles pour tester une véritable connaissance grammaticale.

6 Applications futures et orientations de recherche

Les recherches futures devraient se concentrer sur le développement de cadres d'évaluation mieux alignés sur les processus d'acquisition du langage humain. Les orientations clés incluent :

• Créer des benchmarks avec des jugements d'acceptabilité graduelle évalués par des humains
• Développer des modèles entraînés sur des données à l'échelle de l'enfant avec des limitations d'entrée réalistes
• Intégrer l'apprentissage multimodal pour mieux simuler l'acquisition du langage humain
• Établir des métriques d'évaluation qui capturent les trajectoires développementales

Analyse d'expert : Idée centrale, enchaînement logique, points forts et faiblesses, perspectives pratiques

Idée centrale

L'article livre une critique dévastatrice des pratiques actuelles d'évaluation des LM, exposant comment les benchmarks basés sur des modèles créent une illusion de compétence linguistique qui s'effondre sous un test rigoureux. Les auteurs révèlent que ce que nous mesurons n'est pas une véritable connaissance grammaticale, mais une reconnaissance de motifs sur des jeux de données artificiellement contraints.

Enchaînement logique

L'argumentation progresse avec une précision chirurgicale : démontrant d'abord les insuffisances des benchmarks, puis montrant comment des modèles de base simples égalent les LM sur des données à l'échelle de l'enfant, et révélant finalement l'écart de performance sur les jeux de données évalués par des humains. La chaîne logique est imparable - si les LM ne peuvent pas surpasser des modèles simples sur des données à l'échelle de l'acquisition et échouent sur la grammaticalité jugée par des humains, leur valeur en tant que modèles cognitifs est fondamentalement discutable.

Points forts et faiblesses

Points forts : La critique méthodologique est brillante et attendue depuis longtemps. En exposant la pauvreté structurelle des benchmarks actuels, les auteurs forcent le domaine à confronter des vérités inconfortables. Leur utilisation de jeux de données évalués par des humains représente une étape cruciale vers une évaluation plus significative.

Faiblesses : L'article s'arrête avant de proposer des benchmarks alternatifs concrets, laissant les chercheurs avec des critiques mais un guidage constructif limité. De plus, bien qu'ils identifient le problème de l'échelle des données, ils n'abordent pas de manière adéquate la question de savoir si les architectures actuelles pourraient jamais apprendre à partir de données à l'échelle de l'enfant, indépendamment des méthodes d'évaluation.

Perspectives pratiques

Les équipes de recherche doivent immédiatement abandonner les benchmarks basés sur des modèles pour l'évaluation syntaxique et passer à des jeux de données jugés par des humains. Le domaine a besoin de collections standardisées et à grande échelle de jugements d'acceptabilité graduelle similaires à l'approche LI-Adger. Plus fondamentalement, nous devons reconsidérer si les architectures LM actuelles sont même capables de capturer une connaissance grammaticale semblable à celle des humains, ou si nous avons besoin d'approches entièrement différentes pour la modélisation cognitive computationnelle.

7 Références

1. Warstadt, A., et al. (2020). BLiMP : The Benchmark of Linguistic Minimal Pairs. arXiv:1912.00582
2. Linzen, T., & Baroni, M. (2021). Syntactic Structure from Deep Learning. Annual Review of Linguistics
3. Huebner, P. A., et al. (2021). BabyBERTa : Learning More Grammar With Small-Scale Child-Directed Language. arXiv:2106.02144
4. Chowdhury, S. R., & Zamparelli, R. (2018). RNN Simulations of Grammaticality Judgments on Long-distance Dependencies. Proceedings of COLING
5. Goodfellow, I., et al. (2014). Generative Adversarial Networks. Advances in Neural Information Processing Systems