Cet article a été publié originellement sur mydatacompany.fr

Dans un rapport conjoint, la Cnil et le Défenseur des droits souhaitent mobiliser face aux risques de discriminations induits par les algorithmes. Ils préconisent notamment un renforcement des obligations légales.

Cnil et Défenseur des droits lancent un appel à la mobilisation sur les discriminations liées aux algorithmes. Les deux organismes rappellent que ceux-ci sont désormais omniprésents, y compris au sein des services de l’Etat (prestations sociales, police, justice…).

Et si ces algorithmes « constituent des sources de progrès », ils « sont également porteurs de risques pour les droits fondamentaux » préviennent les auteurs d’un rapport commun. Et le principal risque, c’est donc celui lié à la discrimination.

 

Des biais dans les données d’apprentissage

Plusieurs facteurs peuvent aboutir à des algorithmes discriminatoires. Des données biaisées en sont un, notamment en matière de Machine Learning où ces données interviennent dans l’apprentissage.

Le rapport souligne ainsi que les algorithmes peuvent « combiner plusieurs sources de biais et venir ruiner les meilleures intentions. » Est cité l’exemple des systèmes développés pour détecter automatiquement les propos haineux à des fins de modération.

Discrimination dans la modération des contenus haineux

Or, les messages issus d’internautes afro-américains ont une probabilité plus élevée d’être signalés comme offensants ou haineux. Cette différence ne tient pas à une propension plus importante à la haine, mais à des biais dans les données d’apprentissage.

« De tels risques ne peuvent pas être ignorés à l’heure où, en France, les plateformes disposant dorénavant de seulement 24h pour retirer des propos haineux signalés, vont donc utiliser pleinement des procédés algorithmiques » préviennent les auteurs.

Face à ces risques, ils appellent donc à une grande vigilance et à des mesures concrètes de lutte contre les discriminations. Les deux organismes considèrent en effet que concepteurs comme utilisateurs de ces systèmes « n’affichent pas la vigilance nécessaire. »

Les auteurs de décisions discriminatoires sanctionnés

Et cela passe notamment par une responsabilisation des parties concernées. Le rapport considère ainsi que l’ignorance, l’incompétence technologique ou l’opacité des systèmes ne constituent pas une justification.

« Les biais algorithmiques doivent pouvoir être identifiés puis corrigés et les auteurs de décisions discriminatoires issues de traitement algorithmiques doivent pouvoir être sanctionnés » insistent Cnil et Défenseur des droits.

Obligations d’information, de transparence et d’explicabilité des algos

Pour prévenir les risques de discriminations découlant de l’utilisation d’algorithmes, ils proposent plusieurs orientations. La formation et la sensibilisation des professionnels techniques, concepteurs de ces outils, sont un premier levier.

Le rapport appelle aussi à soutenir la recherche dans les domaines de la mesure et de la prévention des biais. Ces travaux devraient notamment porter sur la notion de « fair learning ». Ce concept repose sur l’élaboration d’algorithmes répondant à des objectifs d’égalité et de compréhension, et non uniquement de performance.

Les deux autorités militent également pour un renforcement des obligations légales. Les algorithmes seraient ainsi soumis au respect de principes d’information, de transparence et d’explicabilité. Enfin, le rapport suggère de réaliser des études d’impact. Celles-ci visent à anticiper les effets discriminatoires des algorithmes et à contrôler leurs effets après leur déploiement.

« Le développement phénoménal des technologies algorithmiques et des systèmes apprenants impose, pour les institutions, de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper, pour permettre au débat démocratique de se tenir de manière éclairée tout en pensant un cadre juridique et une régulation protecteurs des droits et libertés » conclut le Défenseur des droits.