Dans le cadre du programme d’experts support (SPE), le Comité européen de la protection des données vient d’actualiser ses outils pour auditer les systèmes d’intelligence artificielle (IA). Les experts proposent 3 outils et une méthodologie pour réaliser un audit complet pour assurer une transparence dans l’utilisation des IA.
Les experts proposent trois supports principaux pour les structures développant des IA : une liste de contrôle pour l’audit de l’IA, un dépliant explicatif sur l’IA, et un outil innovant d’évaluation fonctionnant comme le Nutri-score, l’Algo-score.
Ces outils d’audit représentent une opportunité majeure pour les entreprises. En affichant les résultats des audits, les entreprises peuvent démontrer leur transparence et leur responsabilité, ce qui est bénéfique non seulement pour les régulateurs mais également pour l’ensemble des acteurs, tels que les développeurs et acquéreurs de systèmes d’IA. La documentation proposée par cette démarche améliore la responsabilité du système, facilite l’organisation interne et assure la conformité aux réglementations en matière d’IA et de traitement des données. Elle offre également des preuves cruciales pour évaluer et comparer les caractéristiques des différents systèmes et fournisseurs.
Des étiquettes composées d’indices visuels informent les utilisateurs
Parmi les innovations proposées, l’algo-score se distingue. Inspiré par les évaluations du AI Ethics Impact Group en 2019, cet outil innovant de mesure de la qualité des IA fonctionne de manière similaire au Nutri-score. Des étiquettes composées d’indices visuels informent les acheteurs et utilisateurs sur les choix opérés par les créateurs des IA.
La proposition des experts se base sur la méthode A+++, reconnue pour trois de ses attributs principaux : une reconnaissance immédiate ; une mesure principale de variables spécifiques, accompagnée d’autres icônes jugées pertinentes ; une méthode incitant à l’amélioration sur une échelle alphabétique.
L’Algo-score s’appuie sur 3 niveaux d’analyse
Les experts suggèrent une étiquette fondée sur trois niveaux d’analyses :
– La gouvernance de l’IA : ce niveau inclut la nomination des postes de gouvernance concernés (DPO, AI Officer, etc.), le respect des normes en vigueur (ISO/IEC 42001, 23894, 23053, 24027, etc.), la documentation des documents clés d’évaluation des risques (DIA, évaluation de la conformité, étude d’impact environnemental, etc.), les documents de transparence (dépliant IA, etc.), les certifications de provenance des données et les liens vers des données/sources ouvertes.
– Équité et performances des modèles : ce niveau comprend les fiches techniques pour les ensembles de données, les cartes modèles, les indicateurs clés (équité, robustesse, sécurité, précision, etc.), les attributs clés, ainsi que les tests expérimentaux.
– Surveillance et audit post-commercialisation : ce niveau couvre les audits réguliers de biais, les rapports d’incidents, l’efficacité des mécanismes et des paramètres de recours et de réparation.
Promouvoir la confiance et la sécurité de l’IA
Les systèmes pourraient obtenir des « points » positifs s’ils se conforment de manière proactive et responsable, et s’ils vont au-delà de leurs obligations en testant et en adoptant de meilleures pratiques dans l’industrie de l’IA.
Les développeurs et les responsables de la mise en œuvre peuvent bénéficier d’un « + » supplémentaire sous certaines conditions : les informations fournies ont été vérifiées par un auditeur indépendant ; les documents sources sont accessibles de manière ouverte ; les données sont mises à disposition d’auditeurs et de chercheurs tiers.
L’approche Algo-score est conçue pour promouvoir et reconnaître les meilleures pratiques en matière de confiance et de sécurité de l’IA, particulièrement dans un contexte où les solutions d’IA et les exigences réglementaires sont en évolution constante.
Patrice Remeur
