Imaginez que vous appreniez à cuisiner. Vous savez faire une omelette et vous savez griller du pain. Si je vous demande de faire "une omelette grillée", vous comprenez immédiatement l'instruction, même si personne ne vous a jamais montré cette combinaison précise. C'est ça, la généralisation compositionnelle. C'est la capacité de comprendre des phrases nouvelles en assemblant des morceaux connus selon des règles logiques, plutôt que de mémoriser chaque phrase entière par cœur.
La question brûlante dans le monde de l'intelligence artificielle aujourd'hui est simple mais terrifiante pour les ingénieurs : les grands modèles de langage (LLM) comme GPT-4 ou Llama possèdent-ils cette capacité ? Ou sont-ils simplement des perroquets statistiques très doués qui ont vu trop de données ? La réponse courte est : c'est compliqué. Et les chiffres racontent une histoire fascinante de progrès fragiles.
Pourquoi nos modèles actuels échouent souvent au test du "nouveau"
Les architectures classiques, comme les Transformers standard, brillent quand elles voient des exemples similaires à ceux sur lesquels elles ont été entraînées. Sur des tests internes (in-distribution), un modèle performant peut atteindre 96 à 99 % de précision. Impressionnant, non ? Mais changez légèrement les règles du jeu, introduisez une nouvelle combinaison de mots ou une structure syntaxique jamais vue, et la performance s'effondre souvent entre 16 et 35 %. C'est ce qu'on appelle le fossé de systématisme.
Pourquoi cet effondrement ? Parce que ces modèles n'apprennent pas vraiment les règles de la langue. Ils apprennent des probabilités statistiques. Si la phrase "saute deux fois" apparaît souvent avec "courir", ils associent ces concepts. Mais si on leur demande d'appliquer la règle "deux fois" à une action inconnue, ils paniquent. Ils cherchent dans leur mémoire statistique quelque chose qui ressemble, au lieu de construire la réponse logiquement.
Le terrain de jeu : SCAN, CFQ et COGS
Comment mesure-t-on cette capacité ? Des chercheurs ont créé des bancs d'essai rigoureux. Le plus célèbre est SCAN, lancé en 2018 par Lake et Baroni. C'est un jeu vidéo textuel simplifié où l'IA doit transformer des commandes comme "jump twice and run" en séquences d'actions. Le piège ? Les actions de test contiennent toujours une combinaison inédite, comme ajouter l'action "jump" qui n'existait pas dans certaines paires d'entraînement.
Ensuite, il y a CFQ (Compositional Freebase Questions), publié par Google Research en 2020. Avec 240 000 paires question-requête, c'est quatre fois plus gros que WikiSQL. Les créateurs utilisent une métrique appelée "divergence composée" pour mesurer à quel point les données de test diffèrent des données d'entraînement. Plus la divergence est élevée, plus le test est difficile pour un modèle qui manque de raisonnement systématique.
Et puis il y a COGS, présenté en 2020 par Kim et Linzen. Ce benchmark est cruellement efficace. Il retire volontairement certaines structures grammaticales de l'entraînement (comme l'usage transitif d'un verbe) pour voir si le modèle peut les réinventer lors du test. Les résultats initiaux étaient dévastateurs pour les LSTMs et Transformers basiques : moins de 35 % de réussite sur les généralisations, contre près de 100 % sur les cas simples.
Le tournant : le prompting change la donne (2022-2025)
Heureusement, l'arrivée des LLM massifs et des techniques de prompting intelligentes a changé la perspective. Entre 2022 et 2025, une méthode appelée "least-to-most prompting" a fait des merveilles. Au lieu de demander directement la réponse, on force le modèle à décomposer le problème en sous-étapes, comme un humain qui réfléchit à voix haute.
Les résultats sont stupéfiants. En utilisant seulement 0,4 à 1 % des données d'entraînement originales, certains modèles atteignent 95 à 99,7 % de précision sur SCAN et CFQ. Cela suggère que les LLM possèdent déjà les connaissances nécessaires pour raisonner systématiquement, mais qu'ils ont besoin de la bonne "baguette magique" (le prompt) pour les activer. Ils ne manquent pas d'intelligence ; ils manquent parfois de focus.
| Benchmark | Année | Type de tâche | Précision Modèles Classiques (Test Novel) | Précision LLM + Prompting Avancé |
|---|---|---|---|---|
| SCAN | 2018 | Navigation synthétique | ~16-35 % | ~99,7 % |
| CFQ | 2020 | Sémantique / Base de données | Déclin rapide avec divergence | ~95,0 % (moyenne MCD) |
| COGS | 2020 | Interprétation sémantique formelle | 16-35 % | ~99,2 % |
| gSCAN | 2020 | Compréhension ancrée (visuel) | Faible (difficulté cross-modal) | Variable, encore fragile |
La limite invisible : quand la complexité explose
Mais attention aux faux triomphes. Ces scores proches de 100 % concernent des tâches bien définies. Dès qu'on sort des sentiers battus, les fissures réapparaissent. Prenez le benchmark STaR (Systematic Relational Reasoning) sorti en 2025. Il teste la capacité à inférer des règles relationnelles abstraites. Là, beaucoup de modèles populaires peinent à dépasser largement le hasard.
Une autre étude récente, avec le framework Scylla, tente de mesurer la "complexité critique" : le moment exact où un modèle passe de la compréhension réelle à la simple mémorisation. Il s'avère que cette limite varie énormément d'un modèle à l'autre. Certains modèles plus petits ou anciens craquent vite, tandis que les modèles frontière maintiennent une robustesse impressionnante sur des chaînes de raisonnement plus longues.
Il y a aussi le piège de la sur-généralisation. Dans le Thematic Generalization Benchmark V2 (mis à jour en août 2025), on demande aux modèles de trouver une règle fine cachée derrière quelques exemples. Souvent, les LLM choisissent une catégorie trop large parce qu'elle couvre plus de surface visible, ignorant la règle subtile. Ils donnent une explication cohérente, convaincante, mais fausse. C'est le cauchemar des ingénieurs : une IA qui ment avec assurance.
Ce que cela signifie pour vous, développeur ou chercheur
Si vous travaillez sur des applications NLP critiques (juridique, médical, finance), ne vous fiez pas aveuglément aux scores de benchmark standards. Un modèle qui réussit COGS grâce à un prompt spécifique peut échouer lamentablement si votre utilisateur tape une phrase légèrement différente, avec une longueur inhabituelle ou une entité rare.
- Vérifiez la sensibilité aux graines aléatoires : Comme noté dans les études sur COGS, la variance entre deux exécutions identiques peut être de ±6 à 8 points. Ne validez pas un modèle sur une seule course.
- Contrôlez le décodage : Une simple modification comme le top-p sampling (nucleus sampling) peut améliorer la précision de plusieurs points sur des tâches compositionnelles. Votre configuration technique compte autant que votre architecture.
- Testez la rupture : Créez vos propres jeux de test "hors distribution". Mélangez les opérateurs. Allongez les phrases. Si la performance chute brutalement, votre modèle ne raisonne pas, il reconnaît des motifs.
L'avenir : vers des biais structurels plus forts ?
Les experts convergent vers une idée : les réseaux de neurones purs manquent de biais structurels innés pour la compositionnalité stricte. Ils approximent le raisonnement logique par la puissance brute des calculs. Pour aller plus loin, la recherche se dirige vers l'intégration de composants explicites : grammaires formelles, sémantique typée, ou modules de raisonnement séparés du module linguistique.
En attendant, la généralisation compositionnelle reste un domaine actif. Ce n'est pas un problème résolu. C'est une frontière stratégique. Les LLM peuvent raisonner systématiquement, oui, mais sous conditions strictes. Leur intelligence est puissante, mais elle est aussi fragile face à la nouveauté radicale. Comprendre cette fragilité est la clé pour construire des systèmes IA fiables.
Qu'est-ce que la généralisation compositionnelle exactement ?
C'est la capacité d'un système à comprendre ou générer des significations pour des expressions nouvelles en recombinant des éléments connus (mots, structures) selon des règles apprises, sans avoir mémorisé l'expression entière. C'est l'équivalent informatique de notre capacité humaine à comprendre "je mange une pomme bleue" même si nous n'avons jamais entendu cette phrase précise auparavant.
Pourquoi les benchmarks comme SCAN sont-ils importants si les LLM modernes réussissent presque tout ?
Parce qu'ils révèlent les failles fondamentales. Même si les LLM atteignent 99% sur SCAN avec des prompts complexes, ils montrent souvent des limites sur des tâches plus ouvertes ou relationnelles (comme STaR). Ces benchmarks servent de garde-fous pour vérifier que le succès n'est pas juste une illusion due à la saturation des données d'entraînement.
Les LLM raisonnent-ils réellement ou simulent-ils le raisonnement ?
La communauté scientifique est divisée. D'un côté, les résultats élevés sur des tâches structurées suggèrent une forme de raisonnement fonctionnel. De l'autre, la fragilité face aux changements mineurs de format ou de contexte indique que les mécanismes restent largement statistiques. Ils ne "comprennent" pas les règles comme un mathématicien, mais ils les approximent avec une précision suffisante pour la plupart des applications courantes.
Comment améliorer la généralisation compositionnelle de mon propre modèle ?
Plusieurs leviers existent : utiliser des techniques de prompting avancées comme "least-to-most" pour forcer la décomposition des problèmes, ajuster les paramètres de décodage (comme le top-p), et surtout, créer des jeux de données d'entraînement qui incluent explicitement des variations structurelles pour éviter le surapprentissage des motifs superficiels.
Y a-t-il des coûts associés à l'utilisation de ces benchmarks ?
Les benchmarks eux-mêmes (SCAN, CFQ, COGS) sont généralement gratuits et open-source pour la recherche académique et commerciale. Le coût réel vient du calcul nécessaire pour évaluer les modèles, surtout si vous utilisez des API payantes pour tester des milliers de combinaisons, ou si vous entraînez des modèles sur GPU.
