18

Un article publié par le média Pro Publica en 2016 considère que le logiciel Compas, utilisé aux États-Unis pour la prédiction de la récidive, porte préjudice à la population noire : «  It’s biased against blacks ». La publication crée une onde de choc dans l’espace public et alimente les débats sur l’équité des algorithmes et sur le bien-fondé de ces outils de prédiction du risque. Ces débats étaient jusque-là confinés dans des sphères de spécialistes. En partant de l’affaire ProPublica-Compas, nous avons exploré les différents embranchements de la controverse dans l’arène des « data sciences » et dans celle du monde de la justice. Si, dans l’espace médiatique, l’affaire Compas illustre les dérives liées aux algorithmes et vient renforcer les inquiétudes autour de l’intelligence artificielle (peur du remplacement, du renforcement des inégalités et de l’opacité), dans le monde académique deux arènes s’emparent de l’affaire. Dans l’arène des data sciences, les chercheurs discutent des critères d’équité et de leur incompatibilité, montrant à quel point la traduction d’un principe moral en indicateurs statistiques est problématique. Ils débattent également de la supériorité supposée de la machine sur l’homme dans les tâches de prédiction. Dans l’arène de la justice pénale, espace beaucoup plus hétérogène, l’affaire ProPublica-Compas renforce la prise de conscience qu’il est nécessaire de mieux évaluer les outils avant de les utiliser, de comprendre comment les juges s’approprient ces outils en contexte et amène les ONG qui défendent les prisonniers et les législateurs à changer de posture par rapport à ces outils de prédiction. Tandis que l’arène des data sciences fonctionne dans un entre-soi disciplinaire, focalisé sur les données et les algorithmes hors contexte, dans l’arène juridique, qui assemble des acteurs hétérogènes, la question de l’inscription des outils dans la pratique professionnelle occupe une place centrale.

An article published by the independent non-profit news media Pro Publica in 2016 argued that Compas software, used in the United States to predict recidivism, was ‘biased against blacks’. The publication sent shockwaves through the public sphere, fuelling broad debate on the fairness of algorithms and the merits of risk prediction tools – debates that had previously been limited to specialists in criminal justice. Starting with the ProPublica-Compas case, we explore the various facets of this controversy, both in the world of data science and in the world of criminal justice. In the media sphere, the Compas affair brought to the surface the potential abuses associated with algorithms, and it intensified concerns surrounding artificial intelligence (fear of AI replacing human judgment, worsening of inequalities and opacity). In the academic world, the subject was pursued in two separate arenas. First, in the arena of data sciences, researchers focused on two issues: fairness criteria and their mutual incompatibility, showing just how problematic it is to translate a moral principle into statistical indicators; and the supposed superiority of machines over humans in prediction tasks. In the criminal justice arena, which is much more heterogeneous, the ProPublica-Compas case strengthened the realization that it is necessary to evaluate predictive tools more thoroughly before using them, and to understand how judges use these tools in context, causing lawmakers and NGOs defending prisoners’ rights to modify their viewpoint on the matter. While the data science arena is relatively self-contained, focusing on data and algorithms out of their operational context, the criminal justice arena, which brings together heterogeneous actors, focuses on the tools’ actual usage in the criminal justice process.