⚖️ Responsabilité civile & pénale
AI Act & RGPD
Discrimination algorithmique
Mis à jour : février 2026 · Temps de lecture : ~14 min
Un algorithme de recrutement qui pénalise les CV contenant le mot « féminin ». Un système de scoring bancaire qui défavorise systématiquement les quartiers à forte population immigrée. Une IA de reconnaissance faciale dont le taux d’erreur explose sur les visages à peau foncée. Ces cas ne relèvent plus de la science-fiction ni de l’anecdote : ils documentent un problème structurel de l’intelligence artificielle.
Avec l’entrée en application progressive du règlement européen sur l’intelligence artificielle (AI Act, règlement UE 2024/1689), la question des biais discriminatoires passe du terrain éthique au terrain juridique. Les développeurs, fournisseurs et déployeurs de systèmes d’IA font désormais face à un régime d’obligations précis et à des sanctions qui peuvent atteindre 35 millions d’euros ou 7 % du chiffre d’affaires mondial.
Données historiques
Les données reflètent les discriminations passées
10 ans de CV masculins → l'IA apprend que « homme = bon candidat »
Entraînement du modèle
L'algorithme amplifie les patterns discriminatoires
Variables proxy (code postal → ethnie), sous-représentation de groupes entiers
Déploiement en production
Des décisions automatisées impactent des vies réelles
Refus de crédit, triage de CV, scoring judiciaire — sans recours humain
Boucle de rétroaction
Les résultats biaisés renforcent les données futures
Police prédictive surpatrouillant les mêmes quartiers → plus d'arrestations → « confirmation » du biais
Anatomie d'un biais algorithmique — du jeu de données à la boucle vicieuse
DÉCRYPTAGE
Les biais algorithmiques ne sont pas des bugs
Un biais algorithmique désigne une distorsion systématique dans les résultats produits par un système d’IA, qui conduit à traiter certains individus ou groupes de manière inégale sur la base de caractéristiques protégées : genre, origine ethnique, âge, handicap, orientation sexuelle ou situation sociale.
Contrairement à une idée reçue tenace, les algorithmes ne sont pas neutres. Comme le résume la CNIL dans son rapport sur les enjeux éthiques de l’IA : les biais, la discrimination et l’exclusion constituent des effets clairement identifiés des algorithmes. Le Défenseur des droits et la CNIL ont d’ailleurs alerté dès 2020 sur le fait qu’il n’y a « ni magie technologique ni neutralité mathématique : les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines ».
📊
Données biaisées
L'historique reflète les discriminations passées. IA de recrutement entraînée sur 10 ans de CV masculins.
👥
Sous-représentation
Certains groupes absents des jeux de données. Reconnaissance faciale peu performante sur les peaux foncées.
🔗
Variables proxy
Critères neutres en apparence corrélés aux caractéristiques protégées. Le code postal comme proxy de l'ethnie.
🧠
Biais de conception
Les choix des développeurs reflètent leurs propres angles morts. Équipes peu diversifiées, systèmes à leur image.
⚠️
Attention — biais indirect
Le
Défenseur des droits a souligné que la combinaison de critères apparemment neutres peut produire des effets discriminatoires, même si aucun de ces critères ne correspond directement à un motif prohibé. Le biais peut être invisible à l'œil nu — et pourtant dévastateur.
JURISPRUDENCE
Quand l’IA reproduit le racisme et le sexisme
Plusieurs affaires ont marqué la prise de conscience internationale. Ces cas ne sont pas des exceptions — ils révèlent un schéma récurrent où les systèmes d’IA, déployés sans garde-fous suffisants, amplifient les discriminations à une échelle industrielle.
L'IA qui n'aimait pas les femmes
Un outil de tri de CV automatisé, entraîné sur les recrutements des dix années précédentes — largement dominés par des profils masculins.
L'algorithme pénalisait systématiquement les termes associés aux femmes : « capitaine du club d'échecs féminin », diplômes d'universités féminines. Amazon a abandonné le projet, incapable de garantir l'absence de discriminations résiduelles.
Sexisme
Recrutement
Projet abandonné
APPLE / GOLDMAN SACHS · 2019
Le crédit qui désavantage les femmes
L'Apple Card, développée avec Goldman Sachs, s'est retrouvée au cœur d'une polémique quand des utilisateurs ont constaté que les femmes se voyaient systématiquement accorder des limites de crédit inférieures à celles de leur conjoint, à revenus équivalents. L'enquête du régulateur new-yorkais a conclu à l'absence de discrimination intentionnelle — mais le résultat était le même.
Sexisme
Scoring crédit
Enquête régulatoire
La justice prédictive raciste
L'algorithme COMPAS, utilisé par la justice américaine pour évaluer le risque de récidive, a été démontré comme discriminatoire envers les personnes noires — leur attribuant un score de dangerosité plus élevé à profil équivalent. L'analyse de ProPublica a révélé que les accusés noirs avaient presque deux fois plus de chances d'être faussement qualifiés à haut risque.
Racisme
Justice pénale
Impact maximal
L'étiquetage raciste
L'algorithme de labellisation automatique de Google a classifié des personnes noires comme des « gorilles ». Plutôt que de corriger le réseau neuronal — devenu trop complexe pour être analysé —
Google a simplement désactivé la fonctionnalité. Huit ans plus tard, le problème de fond n'a toujours pas été résolu.
Racisme
Vision par ordinateur
Fonctionnalité supprimée
📌
Et en France ?
Ces affaires ne se limitent pas aux géants américains. Le
Défenseur des droits a pointé les risques de discrimination algorithmique dans le système Parcoursup, où la prise en compte du critère de l'établissement d'origine peut constituer une discrimination indirecte fondée sur le lieu de résidence.
RÉGLEMENTATION
L’AI Act : la première loi au monde contre les biais algorithmiques
Le règlement sur l’intelligence artificielle (AI Act), publié au Journal officiel de l’UE le 12 juillet 2024, constitue la première législation complète au monde dédiée à l’IA. Son objectif fondamental est explicitement de compléter le droit existant en matière de non-discrimination en réduisant le risque de discrimination algorithmique.
Son approche repose sur une classification par niveaux de risque, avec des obligations croissantes — et c’est la catégorie haut risque qui concentre les exigences les plus strictes en matière de biais.
❌ INACCEPTABLE
Scoring social, manipulation subliminale
INTERDIT
depuis fév. 2025
⚠️ HAUT RISQUE
Recrutement, crédit, justice, santé, éducation
Obligations strictes
art. 10 — anti-biais
C'est ici que se concentrent les obligations de détection, prévention et correction des biais. Les systèmes listés à
l'annexe III du règlement sont tous classés à haut risque.
💬 LIMITÉ
Chatbots, IA génératives
Transparence obligatoire
⚪ MINIMAL
Filtres anti-spam, jeux vidéo
Aucune obligation
TEXTE CLÉ
Article 10 — le cœur du dispositif anti-biais
L’article 10 du règlement impose aux fournisseurs de systèmes d’IA à haut risque des exigences précises en matière de gouvernance des données. C’est le pivot de la stratégie européenne de prévention des discriminations algorithmiques.
📊
Qualité et représentativité
Les jeux de données doivent être « pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d'erreurs et complets » (art. 10, §3). Ils doivent posséder les propriétés statistiques appropriées, y compris pour les groupes susceptibles d'être affectés.
🔍
Examen systématique des biais
L'article 10(2)(f) exige un « examen en vue d'éventuels biais susceptibles d'affecter la santé et la sécurité des personnes, d'avoir une incidence négative sur les droits fondamentaux ou d'entraîner une discrimination interdite ».
🔧
Mesures correctives obligatoires
L'article 10(2)(g) impose la mise en place de « mesures appropriées visant à détecter, prévenir et atténuer les éventuels biais repérés ». Pas de demi-mesures — c'est une obligation de résultat.
⚡
ZONE DE TENSION — Art. 10(5) vs RGPD
Pour détecter les biais raciaux ou de genre, il faut parfois traiter des
données sensibles (origine ethnique, genre…). L'AI Act l'autorise exceptionnellement pour les systèmes à haut risque, mais sous conditions très strictes — pseudonymisation, sécurité renforcée, limitation d'accès. Or le RGPD
interdit en principe le traitement de ces catégories de données. Comme le souligne une
analyse de l'articulation AI Act/RGPD, cette divergence crée une véritable zone grise réglementaire.
BOUCLIER EXISTANT
Le RGPD protège déjà contre les décisions algorithmiques biaisées
Indépendamment de l’AI Act, le RGPD constitue déjà un rempart important contre les discriminations algorithmiques. Plusieurs dispositions sont directement mobilisables.
Article 22 — Droit de ne pas être soumis à une décision automatisée. Toute personne a le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques ou l’affectant significativement. Ce droit s’applique directement aux systèmes d’IA de recrutement, de scoring ou d’octroi de prestations.
Article 35 — Analyse d’impact relative à la protection des données (AIPD). Obligatoire pour tout traitement susceptible d’engendrer un risque élevé pour les droits et libertés. La CNIL recommande de réaliser systématiquement une AIPD pour les systèmes d’IA traitant des données personnelles, en intégrant l’analyse des biais potentiels.
Principes de minimisation et de loyauté. Les données doivent être traitées de manière licite, loyale et transparente. Un traitement qui produit des effets discriminatoires peut être considéré comme déloyal au sens du RGPD.
RGPD
Art. 22 (décisions auto.), art. 35 (AIPD), principes de loyauté
Amende max.
20 M€ / 4 % CA
Statut
En vigueur
AI ACT
Art. 10 (données), art. 9 (risques), art. 14 (contrôle humain)
Amende max.
35 M€ / 7 % CA
Plein effet
Août 2026
Les deux régimes se cumulent — la
CNIL a confirmé que l'AI Act complète le RGPD, il ne le remplace pas.
La directive (UE) 2024/493 sur la responsabilité du fait des produits défectueux vient ajouter une couche supplémentaire : elle inclut désormais les logiciels dans son champ d’application. Un système d’IA biaisé peut être qualifié de produit défectueux, ouvrant droit à réparation dans un régime de responsabilité sans faute. En droit français, les victimes disposent en outre des voies de recours du Code civil (articles 1240 et 1241) et des dispositions anti-discrimination du Code pénal et du Code du travail.
RESPONSABILITÉ
Qui paie quand l’IA discrimine ? La chaîne de responsabilité
L’AI Act ne laisse personne s’en tirer. La responsabilité est partagée entre deux acteurs clés — et chacun a des obligations propres.
💻
Fournisseur
Le développeur
●
Système de gestion des risques couvrant tout le cycle de vie (art. 9)
●
Qualité et non-discrimination des jeux de données (art. 10)
●
Traçabilité — logs conservés 6 mois minimum (art. 12, 19)
●
Documentation technique décrivant les mesures anti-biais (art. 11)
●
Évaluation de conformité avant mise sur le marché (art. 43)
🏢
Déployeur
L'entreprise utilisatrice
●
Utilisation conforme aux instructions du fournisseur
●
Surveillance humaine effective des décisions algorithmiques
●
Signalement de tout dysfonctionnement constaté
●
Analyse d'impact sur les droits fondamentaux — FRAIA (art. 26)
⚠️
Piège de la requalification
Un déployeur qui modifie la finalité d'un système d'IA ou qui l'utilise en dehors des conditions prévues par le fournisseur peut être requalifié en fournisseur, avec toutes les obligations correspondantes. La frontière est mince — et le risque financier explose.
SANCTIONS
Les amendes qui font réfléchir
L’article 99 de l’AI Act prévoit un régime de sanctions graduées, comparables dans leur ampleur au RGPD. Le montant retenu est toujours le plus élevé des deux.
Pratiques IA interdites
Scoring social, manipulation subliminale (art. 5)
35 M€
ou 7 % du CA mondial
Non-respect des obligations haut risque
Biais non corrigés, absence de documentation (art. 16, 26)
15 M€
ou 3 % du CA mondial
Informations inexactes aux autorités
Données fausses ou trompeuses fournies aux régulateurs
7,5 M€
ou 1,5 % du CA mondial
🚨
Cumul des sanctions
Une entreprise qui déploie un système discriminatoire sans avoir respecté les obligations de transparence, de documentation et de contrôle humain s'expose à
plusieurs amendes distinctes pour chaque manquement, comme le souligne l'
analyse d'AGN Avocats.
GOUVERNANCE
Qui surveille en France ?
La gouvernance française de l’AI Act implique plusieurs autorités. Chacune intervient dans son domaine de compétence — et la CNIL a pris les devants avec un service dédié à l’intelligence artificielle et des techniques d’audit permettant de détecter les discriminations sans nécessairement accéder au code source.
Autorité cheffe de file pour les systèmes d'IA impliquant des données personnelles. Anime les
bacs à sable réglementaires et publie des recommandations.
Surveillance du marché pour la protection des consommateurs face aux systèmes d'IA biaisés.
Supervision des systèmes d'IA utilisés dans les médias et les plateformes en ligne.
CALENDRIER
Les échéances à ne pas manquer
AOÛ
2024
Entrée en vigueur de l'AI Act
Publication au JOUE — le compte à rebours commence
FÉV
2025
Interdiction des pratiques inacceptables
Scoring social, manipulation subliminale + obligation de littératie IA
AOÛ
2025
Obligations GPAI + autorités nationales
Modèles d'IA à usage général + désignation des régulateurs nationaux
AOÛ
2026
CRITIQUE
Application complète — systèmes à haut risque
Recrutement, crédit, justice, santé, éducation — toutes les obligations anti-biais en vigueur
AOÛ
2027
Extension aux produits réglementés
Systèmes intégrés dans des dispositifs médicaux, jouets, machines…
PLAN D'ACTION
Huit mesures concrètes pour ne pas être le prochain cas d’école
Sur la base des recommandations de la CNIL, du Défenseur des droits et des exigences de l’AI Act, voici les actions concrètes à mener — dans l’ordre.
Identifier tous les systèmes d'IA déployés. Classer selon les niveaux de risque AI Act. Recrutement, crédit, éducation = quasi-systématiquement haut risque.
Vérifier la représentativité des jeux de données. Rechercher les corrélations proxy. Documenter la provenance et les limites de chaque dataset.
Tests de disparité statistique avant et après déploiement. Comparer les résultats entre groupes. Outils : AI Fairness 360 (IBM), Fairlearn (Microsoft).
Aucune décision significative entièrement automatisée sans recours humain. Désigner des opérateurs formés pour les décisions critiques.
Logs conservés 6 mois minimum. Registre des systèmes automatisés accessible au personnel. Meilleure défense en cas de contrôle.
👥
Diversifier les équipes
La sous-représentation dans les équipes techniques est une source documentée de biais. Diversité = détection des angles morts.
AIPD au titre du RGPD + FRAIA au titre de l'AI Act pour tout système à haut risque. Ne pas attendre le contrôle pour les préparer.
Les audits algorithmiques par des tiers indépendants deviennent le standard de marché — et un signal fort de conformité.
SYNTHÈSE
Ce qu’il faut retenir
1
Les biais algorithmiques ne sont pas des bugs — ce sont des reflets systémiques des discriminations contenues dans les données et les choix de conception.
2
L'AI Act impose aux fournisseurs de systèmes à haut risque des obligations de détection, prévention et correction des biais (article 10), avec des sanctions allant jusqu'à 15 M€ ou 3 % du CA mondial.
3
Le RGPD complète ce dispositif via le droit à ne pas être soumis à une décision entièrement automatisée (article 22) et l'obligation d'analyse d'impact.
4
La responsabilité est partagée : le fournisseur (développeur) et le déployeur (entreprise utilisatrice) sont tous deux exposés en cas de discrimination algorithmique.
!
L'application complète pour les systèmes à haut risque est fixée au 2 août 2026 — mais les obligations RGPD s'appliquent déjà maintenant. Anticiper est le meilleur investissement.