Imaginez un système d'intelligence artificielle qui refuse systématiquement des prêts bancaires. Il ne regarde pas l'origine ethnique du candidat. Il ne vérifie pas son genre. Pourtant, le taux de rejet est deux fois plus élevé pour les minorités. Comment est-ce possible ? La réponse réside dans ce qu'on appelle la discrimination par proxy. C'est un piège sournois où l'algorithme utilise une donnée neutre en apparence - comme le code postal ou le style d'écriture - qui agit en réalité comme un substitut indirect pour une caractéristique protégée.
Avec l'avènement des grands modèles de langage (LLM), ce problème devient critique. Ces modèles traitent des quantités massives de texte non structuré et détectent des corrélations subtiles que même les humains pourraient manquer. Si vous construisez ou utilisez des systèmes de décision basés sur l'IA en 2026, comprendre et atténuer ce risque n'est plus optionnel. C'est une nécessité technique et éthique.
Qu'est-ce que la discrimination par proxy exactement ?
La discrimination par proxy se produit lorsqu'un système prend une distinction entre individus ou groupes sociaux basée sur des caractéristiques qui corrélatent avec des attributs protégés (genre, âge, race, ethnie), sans utiliser explicitement ces attributs. Le « proxy » est donc un élément ou une qualité individuelle que l'IA utilise pour faire des distinctions.
Prenons un exemple concret historique : les codes postaux. Dans le passé, certaines entreprises utilisaient le code postal pour évaluer le risque de crédit ou l'éligibilité à une assurance. En soi, un code postal est juste un chiffre. Mais en raison de la ségrégation résidentielle historique aux États-Unis, le code postal est fortement corrélé avec la race et le statut socio-économique. L'algorithme, cherchant à prédire le risque financier, a utilisé le code postal comme proxy pour la race. Résultat : une discrimination raciale déguée en analyse géographique.
Dans le contexte des LLM, c'est encore plus flou. Un modèle peut associer certains mots, tournures de phrase ou références culturelles à un genre ou une origine spécifique. Si le modèle apprend que « les personnes utilisant ce type de vocabulaire sont moins fiables », il discrimine indirectement tout groupe associé à ce vocabulaire, même si le mot lui-même n'est pas interdit.
Pourquoi les LLM aggravent-ils le problème ?
Les grands modèles de langage fonctionnent différemment des algorithmes traditionnels. Ils ingèrent des billions de paramètres et s'entraînent sur des données textuelles vastes et variées. Cette capacité leur permet d'identifier des motifs statistiques extrêmement subtils. Voici pourquoi cela pose problème :
- Opacité du processus : Les LLM sont souvent qualifiés de « boîtes noires ». Lorsqu'ils génèrent une décision (comme recommander un candidat au recrutement), le raisonnement implique des dizaines de transformations intermédiaires invisibles pour l'humain.
- Corrélations cachées : Les LLM peuvent trouver des liens entre des variables qui semblent totalement indépendantes. Par exemple, l'utilisation d'une marque de voiture spécifique dans un CV pourrait être corrélée avec un groupe démographique particulier dans les données d'entraînement.
- Effet de levier des big data : Plus le jeu de données est grand, plus l'IA peut identifier de proxies fins. Comme le soulignent les recherches publiées dans l'Iowa Law Review, les IA armées de big data sont structurellement conçues pour engager la discrimination par proxy dès qu'elles sont privées d'informations directes sur une classe suspecte mais prédictive.
Le paradoxe est brutal : supprimer les données sensibles (comme le nom ou la photo) ne suffit pas. L'IA va simplement chercher un autre indicateur, moins intuitif, pour arriver au même résultat discriminatoire. C'est ce qu'on appelle la « substitution de proxy ».
Identifier les proxies : le défi de l'inconnu
Le cœur du problème avec la discrimination par proxy, c'est que le proxy peut être « n'importe quoi ». Selon la recherche menée par la Chaire Santé, il est difficile, voire impossible, d'identifier ex-ante (avant le déploiement) quels éléments agiront comme proxies.
De plus, plusieurs proxies peuvent opérer simultanément, créant ce qu'on appelle la discrimination intersectionnelle. Imaginez un système qui évalue la confiance accordée à un auteur. Si le modèle combine implicitement le ton de voix (proxy de genre) et le lieu de résidence (proxy de race), il peut créer une catégorie vulnérable très spécifique qui subira un traitement injustifié. Distinguer cette discrimination complexe d'une simple erreur statistique est un casse-tête juridique et technique.
Stratégies concrètes pour éviter la discrimination par proxy
Il n'existe pas de solution magique, mais une combinaison de stratégies rigoureuses peut considérablement réduire les risques. Voici comment procéder étape par étape.
1. Audits formels et explications abductives
Oubliez les simples tests statistiques agrégés. Ils ne suffisent plus. La communauté académique propose désormais l'utilisation d'explications abductives formelles. Cette méthode vise à expliquer les décisions individuelles de l'IA en identifiant quelles caractéristiques agissent comme des proxies injustifiés pour des attributs protégés, en s'appuyant sur des connaissances contextuelles.
Le principe est simple : une décision est biaisée si toutes les explications suffisantes pour cette décision incluent un attribut protégé (directement ou via un proxy). Par exemple, si le refus de crédit de Yahya s'explique uniquement par des facteurs qui ne s'appliquent qu'aux hommes, alors le processus souffre de discrimination par proxy liée au genre, même si le mot « homme » n'apparaît jamais dans le code.
2. Intégration des connaissances métier (Domain Knowledge)
Ne laissez pas l'IA travailler seule dans le vide. Vous devez intégrer des règles métier et des contraintes légales directement dans le processus de décision. Si vous savez que le code postal est un proxy connu pour la race dans votre région, excluez-le ou pondérez-le lourdement. Créez une base de connaissances « interdites » qui liste les corrélations connues entre vos données d'entrée et les attributs protégés.
3. Tests de contre-factuels individuels
Utilisez des outils de test qui modifient légèrement les entrées pour voir si la décision change. Si changer le prénom d'un candidat de « Marie » à « Marc » (tout en gardant le même CV) inverse la recommandation du LLM, vous avez probablement un proxy lié au genre. Ces tests doivent être automatisés et effectués régulièrement, pas seulement avant le lancement.
4. Surveillance continue et réévaluation
Les proxies émergent avec le temps. Les tendances linguistiques changent, les comportements utilisateurs évoluent. Un audit ponctuel ne sert à rien. Mettez en place un monitoring continu des sous-groupes. Ne regardez pas seulement la performance globale du modèle, mais segmentez les résultats par différents critères démographiques pour détecter les inégalités croissantes.
| Approche | Efficacité contre les proxies | Complexité technique | Limites principales |
|---|---|---|---|
| Suppression des données sensibles | Faible | Basse | L'IA trouve d'autres proxies (substitution) |
| Audits statistiques agrégés | Moyenne | Moyenne | Manque les biais individuels et intersectionnels |
| Explications abductives formelles | Élevée | Haute | Requiert expertise et ressources computationnelles |
| Tests contre-factuels | Élevée | Moyenne | Nécessite de définir manuellement les variations à tester |
Les risques juridiques et la responsabilité
En 2026, le paysage légal autour de l'IA se durcit, mais reste flou sur la question des proxies. Le problème majeur est que la loi anti-discrimination traditionnelle exige souvent de prouver une intention discriminatoire ou un mécanisme clair. Avec la discrimination par proxy, le mécanisme est caché et l'intention est absente.
Cela crée un danger paradoxal : les organisations peuvent engager une discrimination involontaire massive tout en restant juridiquement protégées parce qu'il est difficile de qualifier la différence de traitement comme « irraisonnable » sans connaître le proxy exact. Cependant, avec l'émergence de régulations comme l'AI Act en Europe et diverses lois étatiques aux États-Unis, la charge de la preuve tend à se déplacer vers les développeurs. Vous devrez bientôt démontrer activement que vous avez mis en place des garde-fous contre les biais structurels, pas seulement déclarer que votre modèle est « aveugle ».
Conclusion pratique : vers une IA transparente
Éviter la discrimination par proxy dans les systèmes LLM demande un changement de mentalité. Il ne s'agit pas seulement de nettoyer les données, mais de comprendre la société dans laquelle ces données ont été générées. Chaque variable que vous introduisez dans votre modèle porte une histoire sociale. Votre rôle est d'interroger cette histoire.
Commencez petit. Identifiez les décisions à haut risque prises par vos LLM (recrutement, prêt, justice, santé). Appliquez-y des audits formels. Exigez des explications interprétables pour chaque décision individuelle. Et surtout, acceptez que la perfection n'existe pas. La lutte contre les proxies est une course continue, nécessitant vigilance, transparence et une volonté politique forte au sein de votre organisation.
Quelle est la différence entre le biais direct et la discrimination par proxy ?
Le biais direct survient lorsque le modèle utilise explicitement une caractéristique protégée (comme le genre) pour prendre une décision. La discrimination par proxy se produit lorsque le modèle utilise une caractéristique neutre en apparence (comme le code postal ou le style d'écriture) qui est fortement corrélée avec une caractéristique protégée, conduisant au même résultat discriminatoire sans utiliser l'attribut sensible directement.
Comment détecter un proxy dans un modèle LLM ?
La détection est difficile car les proxies sont souvent cachés. Les méthodes les plus efficaces incluent les tests contre-factuels (modifier une entrée pour voir si la décision change injustement) et l'utilisation d'explications abductives formelles qui analysent le raisonnement individuel du modèle. Il faut aussi cartographier les corrélations connues entre vos données d'entrée et les attributs protégés grâce à l'expertise métier.
Est-il possible d'éliminer complètement la discrimination par proxy ?
Non, il est quasi impossible de l'éliminer totalement car les corrélations sociales sont infinies et évolutives. L'objectif n'est pas la perfection absolue, mais la réduction significative des risques via une surveillance continue, des audits réguliers et une conception transparente des systèmes qui permet de repérer et corriger les dérives rapidement.
Pourquoi la suppression des données sensibles ne suffit-elle pas ?
Parce que les modèles d'IA, surtout les LLM, sont excellents pour trouver des substituts. Si vous retirez la race ou le genre, le modèle peut apprendre à utiliser le nom, le lieu de naissance, les centres d'intérêt ou même la syntaxe comme indicateurs indirects de ces mêmes caractéristiques. C'est ce qu'on appelle l'effet de substitution de proxy.
Quels sont les impacts juridiques de la discrimination par proxy en 2026 ?
Les cadres juridiques évoluent rapidement. Bien que la preuve de l'intention discriminatoire soit difficile, les nouvelles réglementations imposent de plus en plus la responsabilité aux développeurs d'IA de démontrer qu'ils ont mis en place des processus actifs de détection et de mitigation des biais. L'opacité du modèle n'est plus une excuse valable face aux autorités de régulation.
