Non détectés et résolus, les biais peuvent aboutir à des discriminations. Dans une optique d’usage responsable de l’intelligence artificielle, la réponse à apporter ne peut être que technologique.

De nombreux travaux de recherche ont été menés sur des systèmes d’intelligence artificielle en production. Ils ont notamment abouti à en souligner les biais et les discriminations qu’ils reproduisaient.

Comme le rappelle notamment DataScientest, ces effets sont particulièrement tangibles dans le domaine de la reconnaissance faciale. La solution Rekognition d’Amazon a par exemple été épinglée par l’American Civil Liberties Union (ACLU) pour ses erreurs à l’encontre des minorités.

Biais : problème sociétal ou technique ?

Scoring de crédit, sélection de candidats dans les processus de recrutement, classification de photos… Les cas d’usage du machine learning susceptibles de perpétuer des discriminations sont multiples.

Prendre conscience de ces risques et y apporter des réponses sont d’autant plus importants que les applications de l’IA se diversifient et s’industrialisent. Eric Biernat, Directeur Big Data Analytics chez OCTO Technology, tient cependant à préciser le débat autour des biais.

“S’agit-il d’un problème technique ou sociétal ? Je pense qu’il est sociétal. Et je ne crois pas du tout à une réponse technologique aux problèmes sociétaux”, avance-t-il. “Des méthodes permettent de mettre en exergue un certain nombre de biais. Cependant, je ne considère pas que la technologie puisse occuper une place très forte dans leur résolution.”

Pour Eric Biernat, ce ne sont pas les algorithmes de ML qui sont biaisés. Les porteurs des biais, ce sont les données. L’expert regrette ainsi les accusations, de racisme ou de sexisme par exemple, à l’encontre du machine learning.

Ces réactions passeraient ainsi à côté du véritable débat et donc des moyens de remédier aux biais et aux discriminations, “des formes de violence.” Et le principal levier d’action, c’est la culture. “Peu d’efforts ont été menés pour agir profondément sur la culture”, regrette Eric Biernat.

A lire aussi : Travailler avec la data, une démarche tout sauf anodine sur l’organisation

Des biais captés par les données

Les biais partent donc des individus et se traduisent dans les données utilisées ensuite par les modèles d’IA pour prendre des décisions. “De manière très infime, des biais peuvent avoir pour origine des problématiques mathématiques d’optimisation des algorithmes. Cependant, dans l’immense majorité des cas, ce sont les données qui sont en cause”, complète Annabelle Blangero, Senior Manager chez Ekimetrics.

Concrètement, les biais peuvent résulter de données déséquilibrées, avec une sous-représentation d’une catégorie. C’est particulièrement vrai pour la reconnaissance faciale où les datasets d’entraînement sont principalement constitués d’hommes blancs. Les biais sont aussi la conséquence de choix de méthodes d’échantillonnage.

“Mais même en faisant attention à ces biais, il ne faut pas négliger le fait que nous sommes dans une société non égalitaire. Prenons l’exemple du recrutement de développeurs, majoritairement des hommes. Cette réalité se traduit par des données déséquilibrées”, souligne l’ancienne chercheuse, toujours très impliquée dans les réflexions et travaux sur l’IA responsable.

Eric Biernat avance une analyse : “les données sont le miroir non politisé de notre société”. Ainsi, loin d’être responsable, le machine learning offre une opportunité dans une société de l’interdiction d’extraire les biais des données pour permettre ensuite un traitement en profondeur au sein des organisations et de la société.

“Un certain nombre de choses ne se disent plus, mais qui pourtant existent dans la Data. Le machine learning va extraire un pattern présent dans les données et l’amplifier. Il opère ainsi comme une caisse de résonance. Il faut l’écouter le machine learning, car c’est le seul qui dit la vérité”, argue le directeur d’Octo Technology.

Le machine learning au service des comités d’éthique

Il encourage en conséquence les membres des comités d’éthique des organisations à inviter le machine learning à leur table dans le cadre d’une approche de type “know your enemy”. Car, poursuit-il, “le seul capable de vous tendre le miroir des usages de votre société, c’est le machine learning puisqu’il n’a aucune considération politique. Et si la variable la plus discriminante aujourd’hui pour accéder à un poste de pouvoir c’est le sexe, alors il vous le dira.”

Eric Biernat exhorte donc à agir rapidement en s’appuyant sur le ML avant que des actions au niveau des seuls données et/ou superficielles ne viennent masquer la réalité des biais et des discriminations. Mais cette problématique est-elle aujourd’hui une priorité dans les organisations lorsqu’il s’agit d’intelligence artificielle ?

Les projets ont largement été tournés vers la recherche de la performance. Une inflexion dans cette trajectoire est cependant à noter, considèrent les deux experts. Par ailleurs, prévient Annabelle Blangero, les biais présentent des risques, outre les discriminations, de dégradation des performances.

Une absence de prise de conscience ou une inaction s’avère dès lors contre-productive. “Les biais peuvent limiter les performances, voire également la robustesse du modèle. Le cas d’usage génère alors moins de valeur. En ne ciblant par exemple que les femmes pour des produits de régime, vous vous coupez d’une partie des clients potentiels”, illustre la manager d’Ekimetrics.

Elle identifie un troisième risque résultant de l’utilisation de données d’historique. “La conséquence possible avec des modèles en production, c’est de rester dans le passé en perpétuant des discriminations alors que la société évolue.”

Une réponse collective et humaine aux biais

Quid alors des réponses à apporter ? Elles n’auront d’effets qu’à condition de faire l’objet de recherches et d’une mise en œuvre dans une dynamique collective. Sur le plan technique, des outils sont notamment développés et partagés en open source. Au niveau de la détection, des balises de mesure peuvent être déployées aux différents points de la chaîne.

L’observabilité et le monitoring porteront par exemple sur le suivi des distributions des données d’entraînement ou la mesure des écarts de prédiction entre sous-catégories, etc. Différents outils sont en outre disponibles “pour corriger, redresser les biais, avec des possibilités avant, pendant et après l’entraînement.”

Annabelle Blangero rejoint cependant la question soulevée par son confrère. “Est-ce que c’est au modèle de s’ajuster pour contrebalancer les biais de la société ? On touche là à des enjeux éthiques et humains.” Elle appelle donc chacun à prendre ses responsabilités, Etats, régulateurs, entreprises et société civile.

“La manière dont on prend conscience de l’existence de biais dans les modèles, c’est souvent par des actions des activistes ou des journalistes”, observe l’experte. Les entreprises mettant en production ces systèmes d’IA ont un rôle plus important à jouer. A leur échelon, les data scientists peuvent aussi agir, même si ces profils sont encore peu formés à ces enjeux lors de leur formation initiale ou ensuite en formation continue.

Le point de départ, c’est bien une décision de l’entreprise et de ses dirigeants, qui mettront en place des process et des checklists pour aider les data scientists à déterminer leurs actions et le mode opératoire. La solution réside également dans une plus grande diversité dans les profils des équipes Data et IA. Les prestataires ont aussi des moyens d’intervenir sur les biais en promouvant des bonnes pratiques, leur systématisation et par le conseil à leurs clients.

L’IA responsable, qui pourra à l’avenir passer par des labels ou des certifications, en cours d’émergence, s’attèle à la problématique des biais, ainsi qu’à celles de la transparence et des impacts environnementaux. Eric Biernat partage ces préconisations techniques et la convergence des enjeux de responsabilité, tout en insistant sur l’opportunité offerte par le machine learning.

“Techniquement, les options sont multiples”, confirme-t-il. “Mais plutôt que de faire taire le machine learning, et c’est le sens de mon propos, je propose de le faire tourner sur tous les sujets pour lesquels l’entreprise souhaite apporter plus d’éthique et d’équité […] Plutôt que d’être choqué par un algorithme mathématique, écoutons-le. Et j’inviterais vraiment le machine learning à la table des comités éthiques qui fleurissent dans les entreprises”, conclut-il.