L’intégration de l’intelligence artificielle (IA) dans des environnements critiques, tels que les opérations militaires, soulève des défis majeurs d’explicabilité pour garantir la confiance et l’adoption par les utilisateurs. L’opacité technique des systèmes d’IA, qualifiée de « boîte noire » (Gunning, 2019), peut générer des incertitudes, en particulier dans des contextes où les décisions ont des implications opérationnelles majeures. Dans ces environnements, l’explicabilité joue un rôle central en fournissant des explications compréhensibles et adaptées, permettant aux utilisateurs de superviser efficacement les actions du système tout en maintenant leur autonomie et leur contrôle (Doshi-Velez & Kim, 2017 ; Hoffman et al., 2018). Ce besoin s’avère particulièrement crucial dans des secteurs tels que la détection sous-marine ou la guerre électronique, où les opérateurs doivent interpréter rapidement des données complexes pour soutenir leurs décisions dans des conditions de travail exigeantes. L’objectif de cette communication est de présenter les résultats d’une première étude exploratoire -en cours- réalisée dans le cadre d’une thèse CIFRE. Cet exposé vise d’une part, à déterminer le système d’activité et humain dans lequel devra s’intégrer cette IA et d’autre part, à prospecter à la fois les besoins que devrait couvrir le dispositif, en termes d’explicabilité.  

Des entretiens exploratoires semi-directifs seront réalisés auprès de militaires de la Marine nationale, couvrant un échantillon représentatif de différents profils et niveaux d’expertise (caractérisation socio-biographique en cours). La méthode des incidents critiques (Flanagan, 1954), sera mobilisée pour détecter et caractériser des situations, à la fois emblématiques et problématiques de travail, que le dispositif pourrait soutenir. Ces recueils ont aussi pour ambitions de recueillir des perspectives variées sur leurs attentes en matière d’explicabilité et sur les usages projetés des systèmes d’IA. L’objectif était de comprendre comment des facteurs tels que la surcharge informationnelle, les contraintes hiérarchiques, les conditions d’exercice de l’activité et les dynamiques collectives de travail influencent la manière dont les opérateurs pourraient interagir avec ces technologies. Ces analyses doivent permettre de mieux saisir les niveaux d’explicabilité attendus en fonction des exigences opérationnelles et des contextes d’activité.

Nous nous attendons à ce que les résultats montrent que l’explicabilité doit être contextuellement ajustée aux contraintes opérationnelles de l’activité et aux niveaux de compétence des utilisateurs (alors qu’elle est généralement prédéterminée et stabilisée en amont, lors de la conception). De premiers retours indiquent ainsi que les opérateurs militaires expriment le besoin d’explications synthétiques mais précises, directement exploitables dans leurs tâches critiques. À l’inverse, une explicabilité mal adaptée pourrait accroître la confusion et l’attention, susciter de la méfiance et au final compromettre l’efficacité opérationnelle du dispositif d’IA. Pour garantir une adoption durable, les systèmes d’IA doivent intégrer des explications ciblées qui soutiennent l’autonomie décisionnelle et renforcent la confiance des utilisateurs. Ces recommandations soulignent également l’importance d’une approche orientée utilisateur, combinant explicabilité, transparence pour optimiser l’intégration des systèmes IA dans des environnements critiques.

References:

• Doshi-Velez, F., & Kim, B. (2017). Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608.
• Flanagan J. C. (1954), The critical incident technique. The Psychological Bulletin, 51, 4, 327-358
• Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., & Yang, G. Z. (2019). XAI—Explainable artificial intelligence. Science robotics, 4(37), eaay7120.
• Hoffman, R. R., Mueller, S. T., Klein, G., & Litman, J. (2018). Metrics for explainable AI: Challenges and prospects. arXiv preprint arXiv:1812.04608