Expliquer ce qu'une I.A. fait et qu'elle ne dit pas

Stupide l'intelligence artificielle ?  Comme pour un enseignant qui demande à un étudiant d'expliquer son raisonnement, nous nous demandons comment une Intelligence artificielle (I.A.) fait pour en arriver à ses résultats, surtout quand leur exactitude est démontrée... mais sans qu'on sache sur quoi elle se base pour les prédire. Bref, elle n'est pas expliquée.

Le fait que nous soyons incapables de le savoir tient surtout au mode d'opération de l'I.A. l’apprentissage profond, qui n'a pas été programmé pour fournir ce genre de détails. Ce qu'une I.A. remarque comme corrélations entre des millions de données et de paramètres, elle ne nous le dit pas.

Quand il s'agit d'expliquer la façon dont quelques pixels sur une image sont disposés par rapport à d'autres, ou comment un certaine séquence se répète parmi des milliards de possibilités, il lui manque le vocabulaire.

On trouve des dizaines d'exemples comme ceux-ci :

«Les images ainsi générées sont inutiles aux yeux humains, mais elles cachent une signature de la COVID-19 que l'intelligence artificielle est capable de détecter – même si les chercheurs admettent ne pas savoir ce que l'outil détecte, exactement.» 

 «Une nouvelle stratégie de détection mise au point à Polytechnique Montréal» - Radio-Canada

These Algorithms Look at X-Rays—and Somehow Detect Your Race
A study raises new concerns that AI will exacerbate disparities in health care. One issue? The study’s authors aren’t sure what cues are used by the algorithms.

Wired

Le problème est si fréquent qu'il pose des questions éthiques. Face à une situation aussi frustrante, ne pas comprendre ce qui se passe, l'INRIA entend bien apporter une solution avec le projet Antidote.

«Le but est que le système puisse formuler l'explication d'une manière clairement interprétable, voire convaincante.

Le projet Antidote favorise une vision intégrée de l'IA explicable (XAI), où les caractéristiques de bas niveau du processus d'apprentissage profond sont combinées avec des schémas de plus haut niveau propres à l'argumentation humaine.

Le projet Antidote se base sur trois considérations :

• dans les architectures neuronales, la corrélation entre les états internes du réseau (par exemple, les poids des nœuds individuels) et la justification du résultat de la classification faite par le réseau n'est pas bien étudiée ;
• les explications de haute qualité sont cruciales et elles doivent essentiellement se baser sur des mécanismes d'argumentation ;
• dans des situations réelles, l'explication est par nature un processus interactif impliquant un échange entre le système et l'utilisateur.
  

• choisir un niveau adéquat de généralité/spécificité de l'explication ;
• faire référence à des éléments spécifiques qui ont contribué à la décision de l'algorithme ;
• utiliser des connaissances supplémentaires qui peuvent aider dans l'explication du processus de prédiction et sélection d'exemples appropriés.

Pour l'article complet :

Le projet Antidote ou l'IA explicable

Page web du projet Antidote

Visiter inria.fr