Articles

Publié le 27 octobre 2019 Mis à jour le 21 novembre 2019

Comment l’apprentissage automatique améliore la crédibilité des informations en ligne?

Une expérience exploitant l’intelligence artificielle dans la détection des infox

Les méthodes traditionnelles d'évaluation du contenu des médias exigent beaucoup de ressources et de temps. D’où l’idée d’explorer le champ des possibles avec l'apprentissage automatique qui peut nous aider à repérer les articles d'actualité qui contiennent les opinions et les préjugés des journalistes eux-mêmes. IREX[1] et Lore.ai ont conduit une expérience très intéressante s’appuyant sur l’apprentissage automatique afin d’améliorer la détection des infox.

L'expérience teste la faisabilité de l'utilisation de l'apprentissage automatique pour évaluer automatiquement la qualité du contenu médiatique au Mozambique. Il s'adresse aux professionnels de l'appui aux médias qui souhaitent tirer parti d'outils numériques novateurs pour amplifier leur travail, ainsi qu'aux organisations non gouvernementales (ONG) et aux organisations mondiales de développement en général qui s'efforcent de trouver des moyens pratiques d'utiliser cette technologie et de l'appliquer de manière significative et responsable à leur travail.

Ils ont procédé en 5 étapes :

  1. Définir l'énoncé du problème et choisir un indicateur spécifique de qualité des médias,
  2. Charger 1 200 articles de nouvelles en ligne dans un logiciel d'apprentissage automatique,
  3. Lui montrer des exemples d'articles qui contiennent du contenu à caractère dogmatique,
  4. Vérifier et corriger les suggestions du logiciel, et
  5. Évaluer les résultats et répéter les étapes 3 et 4.

L'équipe a utilisé un logiciel pour numériser les sites Web de neuf grands médias imprimés et a importé plus de 1 200 articles dans le logiciel d'apprentissage automatique. Les évaluateurs ont ensuite commencé à former l'outil pour identifier les opinions dans le texte.

À l'aide de l'outil "surligneur" du logiciel, les évaluateurs ont cliqué sur les phrases des articles pour montrer les exemples d'opinions. À l'aide de ces exemples, le logiciel a identifié des modèles et cherché d'autres phrases similaires. Les évaluateurs ont examiné les phrases que le logiciel a signalées comme étant des opinions possibles et ont déterminé si la suggestion était correcte ou incorrecte. L'équipe a effectué cette boucle de rétroaction 51 fois.

Cette expérience a permis de vérifier si un logiciel peut évaluer automatiquement l'impartialité des articles de nouvelles en ligne, notamment en identifiant les opinions exprimées dans les articles de nouvelles.

Les résultats prouvent qu'il est possible pour l'apprentissage machine de nous aider à trouver des opinions dans les articles de presse. Le logiciel a identifié ces articles de manière suffisamment fiable pour les appliquer à la surveillance et à l'évaluation du contenu des médias, à une échelle et à une vitesse qui dépassent de loin celles des évaluateurs humains conventionnels (en quelques secondes, au lieu de quelques minutes ou heures). Voici quelques résultats marquants de l’expérience :

  • Précision de 95 % : Le logiciel a trouvé des articles contenant une opinion 95 fois sur 100.
  • Taux de précision de 84 % : 84 des 100 articles analysés contenaient réellement des opinions ou infox ;
  • Taux de rappel de 93 % : Sur 100 articles contenant des opinions, le logiciel en a trouvé 93, mais en a manqué 7.
  • Plus le modèle était formé, plus sa précision et sa précision augmentaient : Il existe une relation claire entre le nombre de fois que les évaluateurs ont formé le logiciel et l'exactitude et la précision des résultats. Les résultats des rappels ne se sont pas améliorés de façon aussi constante avec le temps.
  • La capacité du logiciel à "apprendre" était presque immédiatement évidente : L'équipe d'évaluation a remarqué une nette amélioration de l'exactitude des suggestions du logiciel après avoir montré seulement 20 phrases qui avaient des opinions.

Une autre expérimentation fut organisée par le Stanford Question Answering Dataset, ou SQuAD, à travers un concours d'analyse comparative qui mesure la qualité des IA dans ce type de tâche. Le premier prix SQuAD fut remporté par une équipe du centre de recherche sur l'intelligence artificielle ouvert par Salesforce  : leur intelligence artificielle pouvait détecter des infox avec 80 % de précision.

Toujours libre de dire n'importe quoi, mais...

Fabula AI est un autre exemple de startup britannique qui a développé sa propre technologie baptisée Geometric Deep Learning, qui a développé une intelligence artificielle capable de détecter les infox avec un taux de réussite très prometteur, atteignant les 93%. Ce taux élevé de réussite justifie leur récent rachat par Twitter qui précise que : « Fabula AI va nous permettre d’analyser des ensembles de données vastes et complexes. La technologie de cette startup va être un vrai moteur pour notre plateforme et devrait nous permettre de faire des efforts pour offrir des informations d’une meilleure qualité et faire en sorte que nos communautés se sentent plus en sécurité[2]».

Un autre exemple qui mérite d’être mentionné est Knowhere qui utilise l'intelligence artificielle pour regrouper les nouvelles de centaines de sources et créer trois versions de chaque histoire : deux versions contenant des biais et une qui se veut impartiale[3]. Leurs algorithmes de traitement du langage naturel parcourent plus d'un millier de sources d'information pour identifier les histoires populaires. Ils analysent automatiquement ces histoires pour en déceler les récits, les faits et les préjugés et utilisent la base de données qui en résulte pour créer trois versions de l'histoire.

L'entreprise dit que son but est d'amener les machines à faire ce que les humains ne peuvent pas faire : passer au crible le flot d'histoires écrites sur des événements majeurs pour distiller les faits et les récits les plus saillants. « Nous pratiquons une forme de journalisme qui surmonte la surabondance d'informations, en essayant de réconcilier les nombreux récits différents issus de chaque histoire et en faisant les premiers pas vers une source d'information vraiment complète et compréhensible pour tous », a déclaré Nathaniel Barling, co-fondateur et rédacteur en chef.

En définitive, il est impossible[4] d’éliminer totalement le biais humain ou de le codifier parfaitement dans les applications d’apprentissage automatique. L’apprentissage automatique n’élimine donc pas les biais[5], mais il les applique de façon plus cohérente. Par ailleurs, davantage de recherche et d'expérimentation sont nécessaires car l'apprentissage machine peut nous aider à dépenser les ressources de manière plus efficace, mais une plus grande exposition à la technologie est nécessaire pour réaliser son potentiel de manière appropriée et responsable.

La mesure de la qualité des médias est un exercice subjectif et atteindre un niveau de crédibilité parfaite à 100 % est impossible. Le raisonnement humain à travers la pensée critique est l’unique possibilité pour assurer une détection parfaite des infox (fake news). D’où l’importance de faire de l’éducation aux médias, une pratique institutionnalisée et banalisée dans tous les secteurs de la vie : à l’école, au travail et... dans les algorithmes.

Illustration : Falkenpost - Pixabay


[1] IREX, ‘Can Machine Learning Help Us Measure the Trustworthiness of News?’, IREX, accessed 8 July 2019,
http://www.irex.org/resource/can-machine-learning-help-us-measure-trustworthiness-news
 

[2] Valentin Cimino, ‘Twitter vient de racheter Fabula AI pour lutter contre les fake news’, Siècle Digital (blog), 4 June 2019,
https://siecledigital.fr/2019/06/04/twitter-vient-de-racheter-fabula-ai-pour-lutter-contre-les-fake-news/
 

[3] Edd Gent, ‘This Startup Is Training AI to Gobble Up the News and Rewrite It Free of Bias’, Singularity Hub (blog), 16 April 2018,
https://singularityhub.com/2018/04/16/this-startup-is-training-ai-to-gobble-up-the-news-and-rewrite-it-free-of-bias/
 

[4] Dave Gershgorn, ‘In the Fight against Fake News, Artificial Intelligence Is Waging a Battle It Cannot Win’, Quartz, accessed 8 July 2019,
https://qz.com/843110/can-artificial-intelligence-solve-facebooks-fake-news-problem/
 

[5] Karen Hao, ‘AI Is Still Terrible at Spotting Fake News’, MIT Technology Review, accessed 8 July 2019,
https://www.technologyreview.com/s/612236/even-the-best-ai-for-spotting-fake-news-is-still-terrible/


Mots-clés: Désinformation Apprentissage Autonome Apprentissage automatique fake news infox langage naturel

Voir plus d'articles de cet auteur

Accédez à des services exclusifs gratuitement

Inscrivez-vous et recevez des infolettres sur :

  • Les cours
  • Les ressources d’apprentissage
  • Le dossier de la semaine
  • Les événements
  • Les technologies

De plus, indexez vos ressources préférées dans vos propres dossiers et retrouvez votre historique de consultation.

M’abonner à l'infolettre

Effectuez une demande d'extrait d'acte de naissance en ligne !

Ajouter à mes listes de lecture


Créer une liste de lecture

Recevez nos nouvelles par courriel

Chaque jour, restez informé sur l’apprentissage numérique sous toutes ses formes. Des idées et des ressources intéressantes. Profitez-en, c’est gratuit !