Amazon, 2015 — Le cas d'école mondial
Un algorithme de scoring CV noté de 1 à 5 étoiles. L'objectif : identifier les meilleurs talents. Le résultat : l'IA pénalise systématiquement les CV contenant le mot « women's » et dévalorise les diplômes d'universités féminines.
Amazon abandonne l'outil en 2017, incapable de garantir qu'il ne trouverait pas d'autres proxies pour discriminer. Depuis, le cadre juridique a radicalement changé.
Le règlement européen sur l’IA (AI Act) classe désormais tous les outils de recrutement automatisé dans la catégorie « haut risque ». Le RGPD encadre déjà les décisions automatisées via son article 22. Et le droit pénal français sanctionne la discrimination à l’embauche de 3 à 5 ans d’emprisonnement. La question n’est plus de savoir si votre algorithme de recrutement sera audité, mais quand — et si vous serez prêt.
Pourquoi c’est structurel
Le biais algorithmique en recrutement n’est pas un accident technique isolé. Le mécanisme est direct : un algorithme de tri de CV apprend à partir des recrutements passés de l’entreprise. Si ces recrutements reflétaient des déséquilibres — par exemple, une majorité d’hommes recrutés dans les postes techniques — le modèle va reproduire ce schéma.
Comme le détaille l’étude de Télécom Paris pour la Fondation Abeona, l’algorithme d’Amazon a appris à favoriser les verbes d’action comme « executed » ou « captured », plus fréquents dans les CV masculins, tout en pénalisant les marqueurs féminins.
Trois mécanismes se cumulent — et c’est ce qui rend le problème structurel, pas ponctuel.
Biais de données historiques
Les données d'entraînement reflètent les inégalités passées. Un secteur tech à 80 % masculin produit un modèle qui favorise les profils masculins.
Biais de conception
Choix de variables ou de métriques de succès biaisées. Définir la « performance » par la durée en poste désavantage les congés maternité.
Boucle de rétroaction
Les décisions biaisées alimentent les futures données d'entraînement. L'IA recommande des profils similaires aux précédents recrutés, réduisant la diversité.
Le double verrou juridique
Les entreprises françaises utilisant l’IA en recrutement sont soumises à un double régime juridique — RGPD et AI Act — et les deux s’appliquent cumulativement.
RGPD — Le verrou existant
L'article 22 pose un principe clair : toute personne a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques.
La CNIL a constaté lors d'un contrôle qu'un système d'évaluation automatique de CV vidéo ne savait pas gérer la diversité des accents des candidats — biais discriminatoire avéré.
AI Act — Le nouveau standard
Le règlement (UE) 2024/1689 classe explicitement les systèmes de recrutement IA dans la catégorie « haut risque » (annexe III, point 4) : tri de CV, scoring, présélection, évaluation des compétences, diffusion ciblée d'offres.
Le calendrier qui se resserre
Ce que l’AI Act exige concrètement
L’AI Act impose aux fournisseurs et déployeurs de systèmes de recrutement IA un ensemble d’exigences détaillées. Trois articles visent directement les biais.
Gestion des risques
Un système continu, planifié et itératif doit couvrir l'ensemble du cycle de vie. Pour un outil de recrutement : identifier les risques de discrimination, tester le modèle pour les mesurer, prévoir des garde-fous pour les réduire à un niveau acceptable.
Gouvernance des données
C'est l'article le plus directement lié aux biais. L'article 10 exige que les jeux de données soient « pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d'erreurs ».
Supervision humaine
Le système doit permettre aux recruteurs de comprendre ses capacités et limites, surveiller son fonctionnement, détecter les anomalies, et rester conscients du risque d'automatisation biaisée — le fait de faire aveuglément confiance à l'IA.
Mesurer l’invisible
Auditer un algorithme de recrutement ne se résume pas à vérifier s’il utilise la variable « genre ». L’audit doit mesurer l’impact réel des décisions du modèle sur les différents groupes protégés.
Les métriques essentielles
| Métrique | Ce qu'elle mesure | Seuil d'alerte |
|---|---|---|
| Disparate Impact Ratio | Rapport taux de sélection groupe défavorisé / groupe favorisé | < 80 % (règle des 4/5e) |
| Demographic Parity | Égalité des taux de sélection entre groupes | Écart > 5 points |
| Equal Opportunity Diff. | Égalité des taux de vrais positifs entre groupes | Écart significatif |
| False Positive/Negative | Déséquilibre des erreurs entre groupes | Ratio asymétrique |
La règle des 4/5e (four-fifths rule) est le standard international repris par la Local Law 144 de New York : si le taux de sélection d’un groupe est inférieur à 80 % du taux du groupe le plus sélectionné, il y a présomption de disparate impact.
Les outils disponibles
Le protocole d’audit en 5 étapes
Un audit sérieux ne se fait pas en cochant des cases. Voici le processus structuré recommandé pour les entreprises françaises.
Cartographier les outils IA en place
Identifiez chaque outil IA dans votre chaîne de recrutement : ATS avec scoring automatique, chatbot de pré-qualification, analyse vidéo, tests psychométriques automatisés, matching CV/offre. Pour chacun, déterminez s'il « influence de manière décisive » la décision.
Collecter et documenter les données
Rassemblez les données historiques du système : candidatures reçues, scores attribués, décisions prises (shortlist, entretien, embauche), ventilées par genre et par tout autre critère protégé. L'article 10§5 vous autorise à traiter ces données sensibles spécifiquement pour détecter les biais.
Calculer les métriques de disparité
Appliquez les métriques (disparate impact, demographic parity, equal opportunity) à chaque étape de l'entonnoir de recrutement : sourcing, screening, shortlist, entretien, offre. Un biais peut apparaître à une étape et pas à une autre.
Appliquer des techniques de mitigation
Si des biais sont détectés, trois approches de correction s'offrent à vous :
Documenter et itérer
Toute l'analyse, les résultats, les choix de correction et leurs justifications doivent être consignés dans la documentation technique (art. 11) et les journaux d'activité (art. 12). Cette documentation devra être mise à disposition de l'autorité de surveillance sur demande.
Le miroir new-yorkais
La France n’a pas encore d’obligation d’audit spécifique comparable, mais la Local Law 144 de New York, en vigueur depuis juillet 2023, préfigure ce que l’AI Act exigera en Europe.
Cette loi impose trois obligations aux employeurs utilisant des outils de décision automatisée en recrutement (AEDT) :
Les sanctions sont de 500 à 1 500 $ par violation et par jour. Un audit du contrôleur de l’État de New York publié en 2025 a toutefois révélé des failles d’application : sur 32 entreprises examinées, 17 instances de non-conformité potentielle ont été identifiées.
Au-delà du genre — Les biais intersectionnels
Un audit limité au genre serait incomplet. Les biais algorithmiques en recrutement sont intersectionnels et touchent plusieurs critères protégés simultanément. L’article L1132-1 du Code du travail liste les motifs de distinction illicite : genre, âge, origine, handicap, situation de famille, orientation sexuelle, apparence physique, état de santé, etc.
Genre
Données historiques déséquilibrées, vocabulaire genré
Âge
Pénalisation des profils « atypiques » ou des longues expériences
Origine
Biais dans la reconnaissance vocale ou textuelle
Handicap
Non-prise en compte des parcours non linéaires
Classe sociale
Survalorisation des diplômes prestigieux
Comme l’a documenté l’Institut Montaigne dans son rapport de 2020, les biais algorithmiques « vont au-delà des biais techniques » et peuvent standardiser et amplifier des discriminations existantes à grande échelle.
Huit leviers pour agir
Le prix du silence
Au-delà des sanctions administratives, le risque pénal est réel en France. L’article 225-1 du Code pénal punit la discrimination à l’embauche de 3 ans d’emprisonnement et 45 000 € d’amende — et ces sanctions visent les dirigeants, pas l’entreprise seule.
Le fait que la discrimination soit le résultat d’un algorithme ne constitue pas une excuse. Au contraire, l’utilisation d’un outil dont on savait ou aurait dû savoir qu’il comportait des biais aggrave la responsabilité.
Ce qui arrive
Le paysage réglementaire va continuer à se structurer. La Commission européenne travaille à l’élaboration de normes harmonisées qui préciseront les exigences techniques de l’AI Act. Leur respect donnera une présomption de conformité — un avantage considérable pour les entreprises qui s’y conformeront en avance.
En France, la CNIL a été désignée pour jouer un rôle clé dans la gouvernance de l’IA. Chaque État membre doit mettre en place au moins un bac à sable réglementaire (regulatory sandbox) d’ici août 2026, permettant aux entreprises de tester leurs systèmes dans un environnement contrôlé.
Par ailleurs, le Comité européen de l’IA (articles 65-66 du règlement) assurera la coordination entre États membres et publiera des lignes directrices d’interprétation. Les premières guidelines spécifiques au recrutement sont attendues.
Le verdict
Tous les outils de recrutement IA sont « haut risque » au sens de l'AI Act — tri de CV, scoring, entretiens vidéo, matching, diffusion d'offres ciblées.
Échéance du 2 août 2026 — conformité aux articles 9 à 15 : gestion des risques, gouvernance des données, supervision humaine, documentation technique.
L'audit de biais n'est plus optionnel — mesurez le disparate impact ratio à chaque étape de l'entonnoir, seuil d'alerte à 80 % (règle des 4/5e).
Les sanctions se cumulent : RGPD (20 M€ / 4 % CA) + AI Act (15 M€ / 3 % CA) + pénal (3 ans / 45 000 €) + réputation.
La supervision humaine divise par trois les taux de discrimination — imposez une validation humaine pour toute décision d'exclusion.
Documentez tout : tests, résultats, corrections, justifications — ce dossier sera votre meilleure défense en cas de contrôle ou de contentieux.