¿Cómo mejora el aprendizaje automático la credibilidad de la información en línea?

Los métodos tradicionales para evaluar el contenido de los medios de comunicación consumen muchos recursos y tiempo. De ahí la idea de explorar el campo de posibilidades con el aprendizaje automático, que puede ayudarnos a detectar artículos de noticias que contengan las opiniones y prejuicios de los propios periodistas. IREX[1] y Lore.ai han llevado a cabo un experimento muy interesante utilizando el aprendizaje automático para mejorar la detección de infoxicaciones.

Elexperimento pone a prueba la viabilidad de utilizar el aprendizaje automático para evaluar automáticamente la calidad del contenido de los medios de comunicación en Mozambique. Está dirigido a los profesionales de apoyo a los medios de comunicación que quieren aprovechar las herramientas digitales innovadoras para amplificar su trabajo, así como a las organizaciones no gubernamentales (ONG) y las organizaciones de desarrollo global en general que están tratando de encontrar formas prácticas de utilizar esta tecnología y aplicarla de una manera significativa y responsable a su trabajo.

Procedieron en 5 pasos:

1. Definir el planteamiento del problema y elegir un indicador específico de calidad de los medios de comunicación,
2. Cargar 1.200 artículos de noticias en línea en un software de aprendizaje automático,
3. Mostrarle ejemplos de artículos con contenido dogmático,
4. Comprobar y corregir las sugerencias del software.
5. Evaluar los resultados y repetir los pasos 3 y 4.

El equipo utilizó un software para escanear los sitios web de nueve grandes medios impresos e importó más de 1.200 artículos al software de aprendizaje automático. A continuación, los evaluadores empezaron a entrenar la herramienta para identificar opiniones en el texto.

Con la herramienta de resaltado del programa, los evaluadores hicieron clic en las frases de los artículos para mostrar ejemplos de opiniones. A partir de estos ejemplos, el software identificó patrones y buscó otras frases similares. Los evaluadores examinaron las frases que el software señalaba como posibles opiniones y determinaron si la sugerencia era correcta o incorrecta. El equipo ejecutó este bucle de retroalimentación 51 veces.

Este experimento probó si un software puede evaluar automáticamente la imparcialidad de los artículos de noticias en línea, en particular mediante la identificación de las opiniones expresadas en los artículos de noticias.

Los resultados demuestran que es posible que el aprendizaje automático nos ayude a encontrar opiniones en los artículos de noticias. El software identificó estos artículos con la suficiente fiabilidad como para aplicarlos a la supervisión y evaluación de contenidos de medios de comunicación, a una escala y a una velocidad que superan con creces las de los evaluadores humanos convencionales (en segundos, en lugar de minutos u horas). He aquí algunos de los principales resultados del experimento:

• 95%de precisión: el software encontró artículos que contenían una opinión 95 de cada 100 veces.
• 84% de precisión: 84 de cada 100 artículos analizados contenían realmente opiniones o infoxicaciones;
• Tasa de recuperación del 93%: de 100 artículos que contenían opiniones, el software encontró 93, pero pasó por alto 7.
• Cuanto más se entrenó el modelo, mayor fue su exactitud y precisión: existe una clara relación entre el número de veces que los evaluadores entrenaron el software y la exactitud y precisión de los resultados. Los resultados de recuperación no mejoraron de forma tan constante a lo largo del tiempo.
• La capacidad de "aprendizaje" del programa se puso de manifiesto casi de inmediato: El equipo de evaluación observó una notable mejora en la precisión de las sugerencias del software tras mostrar sólo 20 frases con opiniones.

Otro experimento fue organizado por el Stanford Question Answering Dataset, o SQuAD, mediante un concurso de evaluación comparativa que mide la calidad de las IA en este tipo de tareas. El primer premio SQuAD lo ganó un equipo del centro de investigación en inteligencia artificial creado por Salesforce: su inteligencia artificial podía detectar infoxicaciones con un 80% de precisión.

Sigue siendo libre de decir cualquier cosa, pero...

Fabula AI es otro ejemplo de startup británica que ha desarrollado una tecnología propia llamada Geometric Deep Learning, que ha desarrollado una inteligencia artificial capaz de detectar infoxes con una tasa de acierto muy prometedora del 93%. Este alto porcentaje de acierto justifica su reciente adquisición por parte de Twitter, que explica que: "Fabula AI nos permitirá analizar conjuntos de datos vastos y complejos. La tecnología de esta startup será un verdadero motor para nuestra plataforma y debería permitirnos esforzarnos por ofrecer una información de mejor calidad y hacer que nuestras comunidades se sientan más seguras[2]".

Medir la calidad de los medios de comunicación es un ejercicio subjetivo y alcanzar el 100% de credibilidad es imposible. El razonamiento humano a través del pensamiento crítico es la única forma de garantizar una detección perfecta de las noticias falsas. De ahí la importancia de hacer de la alfabetización mediática una práctica institucionalizada y habitual en todos los ámbitos de la vida: en la escuela, en el trabajo y... en algoritmos.