21

L’Explicabilité de l’Intelligence Artificielle (IA) est citée par la littérature comme un pilier de l’éthique de l’IA. Mais rares sont les études qui explorent sa réalité organisationnelle. Cette étude propose de remédier à ce manque, à travers des interviews d’acteurs en charge de concevoir et déployer des IA au sein de 17 organisations. Nos résultats mettent en lumière la substitution massive de l’explicabilité par la mise en avant d’indicateurs de performance ; la substitution de l’exigence de compréhension par une exigence d’ accountability (rendre des comptes) ; et la place ambiguë des experts métiers au sein des processus de conception, mobilisés pour valider l’apparente cohérence d’algorithmes « boîtes noires » plutôt que pour les ouvrir et les comprendre. Dans la pratique organisationnelle, l’explicabilité apparaît alors comme suffisamment indéfinie pour faire coïncider des injonctions contradictoires. Comparant les prescriptions de la littérature et les pratiques sur le terrain, nous discutons du risque de cristallisation de ces problématiques organisationnelles via la standardisation des outils de gestion utilisés dans le cadre de (ou à la place de) l’effort d’explicabilité des IA.

The explainability of Artificial Intelligence (AI) is cited in the literature as a pillar of AI ethics, yet few studies explore its organizational reality. This study proposes to remedy this shortcoming, based on interviews with actors in charge of designing and implementing AI in 17 organizations. Our results highlight: the massive substitution of explainability by the emphasis on performance indicators; the substitution of the requirement of understanding by a requirement of accountability; and the ambiguous place of industry experts within design processes, where they are employed to validate the apparent coherence of ‘black-box’ algorithms rather than to open and understand them. In organizational practice, explainability thus appears sufficiently undefined to reconcile contradictory injunctions. Comparing prescriptions in the literature and practices in the field, we discuss the risk of crystallizing these organizational issues via the standardization of management tools used as part of (or instead of) AI explainability.