L’intelligence artificielle se répand à vitesse fulgurante du fait de sa facilité d’utilisation et de la confiance que nous lui accordons. Ces technologies sont, à tord, souvent considérées comme neutres et impartiales capables d’accompagner à la prise de décisions objectives. Le laboratoire d’innovation numérique de la CNIL décortique dans son dernier cahier de recherche les risques et propose des bonnes pratiques à mettre en place dans le cadre de l’IA Act.
“La loi impose une intervention humaine ou un contrôle humain intégré dans la procédure de décision, aboutissant à des dispositifs « hybrides » combinant puissance de calcul et discernement humain” expliquent les chercheurs de la CNIL. Les auteurs pointent les limites d’une confiance aveugle ou au contraire, d’une aversion à ces technologies à travers différents exemples telle que celle de la décision de la Cour de Justice de l’Union européenne. En décembre 2023, la Cour de Justice de l’Union Européenne a statué sur l’outil de credit scoring de la société Schufa, utilisé pour évaluer la solvabilité des clients bancaires. Le système constituait une forme de décision entièrement automatisée. Bien que la décision finale soit supposée être prise par un employé, les employés de banque se fiaient systématiquement au score fourni par l’algorithme, sans le remettre en question. La Cour a estimé que cette intervention n’était pas significative.
“Pour ne pas être qu’une simple formalité, le contrôle humain, tel que défini dans le règlement européen sur l’IA, doit permettre de détecter des erreurs, de diverger ou d’interrompre le système, autrement dit de fournir une véritable alternative à la sortie du système d’IA, analysent les chercheurs. Or ces compétences reposent sur des dispositions psychologiques que le règlement souligne, en indiquant que la personne chargée du contrôle doit avoir conscience des biais cognitifs possibles, comme une excessive confiance. Ce biais constitue un élément risquant d’altérer la qualité du contrôle exercé, et donc la fiabilité du dispositif dans son ensemble“.
Quand l’IA devient une autorité décisionnelle
Dans une autre étude menée en psychiatrie (Jacobs et al. 2021), des chercheurs demandent à une cohorte de cliniciens de prendre une série de décisions sur un patient fictif. Pour chaque patient, le clinicien doit décider d’un traitement, soit avec une recommandation d’un système d’apprentissage automatique et une brève justification de la réponse choisie, soit sans aucune recommandation (choix complètement indépendant). Que montre l’étude ? “Que, d’une part, les performances des groupes ayant et n’ayant pas accès aux recommandations du système d’apprentissage automatique sont virtuellement les mêmes, et que les deux groupes prennent de moins bonnes décisions que le système seul. D’autre part, lorsque le système produit une décision erronée, (où l’erreur est définie comme une position divergeant avec celle d’un collège d’experts en psychiatrie), la performance baisse par rapport au groupe de contrôle (sans accès au système d’apprentissage automatique), c’est-à-dire que l’humain tend à se conformer à la décision de l’algorithme sur ce type de cas“. Ce biais de confiance aveugle transforme alors l’IA, initialement outil de soutien, en une autorité décisionnelle.
À l’inverse, certaines personnes manifestent une méfiance excessive envers les systèmes d’IA. Elles préfèrent systématiquement des décisions humaines, même lorsque les algorithmes sont statistiquement plus précis. Dans l’étude de Dietvorst et al. (2015), les participants rejettent les prédictions algorithmiques après avoir observé une erreur, “au profit de conseils humains, et ce en dépit du taux d’erreur plus élevé des prédictions humaines (allant jusqu’à doubler par rapport à celles de l’algorithme)“.
Les biais humains dans les données utilisées
Les chercheurs pointent également l’héritage des biais humains dans les données utilisées pour entraîner ces algorithmes. L’exemple du Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) utilisé dans le système pénale aux US évalue “le risque qu’un délinquant commette de nouvelles infractions ou ne se présente pas à une audience future. COMPAS utilise un ensemble de questions sur les antécédents criminels, le comportement, et les caractéristiques personnelles des délinquants (relations sociales, données démographiques : âge, sexe, origine ethnique, etc.) pour calculer des scores de risque, dont celui de récidive violente“. En 2016, une enquête de ProPublica a révélé que COMPAS surestimait le risque de récidive chez certains groupes ethniques, entraînant des peines plus lourdes pour ces individus, sans justifications.
Les chercheurs Green et al. (2019) ont montré que, lorsqu’ils devaient évaluer le risque de récidive d’une personne en utilisant des suggestions algorithmiques, “les individus prennent une moins bonne décision que ce dernier, et sont incapables d’évaluer tant leur performance que celle de l’algorithme“. Ces situations amplifient ainsi les erreurs de jugement. Ainsi, les biais humains et algorithmiques se renforcent mutuellement. “Les biais humains, combinés à une haute confiance en l’algorithme, peuvent donc conduire à accepter le résultat biaisé voire à amplifier sa tendance” alarment les auteurs.
Comment abaisser ces risques ?
Le LINC propose plusieurs bonnes pratiques tant au niveau de la conception des algorithmes qu’au niveau de l’utilisation par des humains.
L’environnement de prise de décision sont des facteurs d’influence. Le coût de l’erreur et la pression temporelle peuvent influencer les décisions humaines. Par exemple, Robinette et al. (2017) montre “qu’une durée très courte de délibération entraine des prises de décisions se rapprochant des suggestions de l’algorithme, par un réflexe d’économie“. Il est nécessaire de prendre ces éléments en compte.
Le niveau d’expertise des utilisateurs dans le domaine concerné et leur familiarité avec les systèmes d’IA influencent les interactions avec les algorithmes. Les experts tendent à moins se fier aux recommandations algorithmiques que des novices. Selon la singularité des cas ou face à des options trop nombreuses la personne en charge de la décision peut être influencé par l’IA. Les personnes moins familières à ces systèmes ont tendance, selon les cas, a avoir plus confiance, ou au contraire une méfiance excessive, mais la disposition reste rarement neutre.
La configuration globale de l’interaction du système d’aide à la décision et le décisionnaire est un élément clé. Les chercheurs mettent en garde sur la suggestion anticipée de l’IA.
L’IA propose une décision avant l’humain, ce qui peut rendre difficile de s’en écarter en raison d’un effet d’ancrage. La levée de doute est également un facteur important.
Avec la levée de doute, l’IA alerte uniquement sur les risques, et l’humain valide ou non et évite ainsi des conséquences importantes.
La suggestion alternative permet à l’IA de donner des informations supplémentaires à la décision humaine envisagée.
Un algorithme de choix décide de renvoyer ou non la décision à un humain ou un système seul mais rend difficile la conformité au RGPD ou à l’IA act.
L’indice de faisceau consiste à prendre une décision sur un problème traité par un humain et une IA et c’est un collège qui tranche sur les désaccords.
Les rapports IA et humains ne sont donc qu’à leurs début !
