Como é que a aprendizagem automática melhora a credibilidade das informações em linha?

Os métodos tradicionais de avaliação dos conteúdos dos media consomem muitos recursos e tempo. Daí a ideia de explorar o campo de possibilidades da aprendizagem automática, que nos pode ajudar a detetar artigos noticiosos que contenham as opiniões e os preconceitos dos próprios jornalistas. O IREX[1] e a Lore.ai realizaram uma experiência muito interessante utilizando a aprendizagem automática para melhorar a deteção de infox.

A experiência testa a viabilidade de utilizar a aprendizagem automática para avaliar automaticamente a qualidade dos conteúdos dos media em Moçambique. Destina-se a profissionais de apoio aos meios de comunicação social que pretendam tirar partido de ferramentas digitais inovadoras para ampliar o seu trabalho, bem como a organizações não governamentais (ONG) e organizações de desenvolvimento global em geral que estejam a tentar encontrar formas práticas de utilizar esta tecnologia e aplicá-la de forma significativa e responsável ao seu trabalho.

O processo desenrolou-se em 5 etapas:

1. Definir a declaração do problema e escolher um indicador específico da qualidade dos media,
2. Carregar 1200 artigos de notícias em linha num software de aprendizagem automática,
3. Mostrar-lhe exemplos de artigos com conteúdo dogmático,
4. Verificar e corrigir as sugestões do software, e
5. Avaliar os resultados e repetir os passos 3 e 4.

A equipa utilizou um software para analisar os sítios Web de nove grandes meios de comunicação impressos e importou mais de 1200 artigos para o software de aprendizagem automática. Os avaliadores começaram então a treinar a ferramenta para identificar opiniões no texto.

Utilizando a ferramenta "marcador" do software, os avaliadores clicaram em frases dos artigos para mostrar exemplos de opiniões. A partir destes exemplos, o software identificou padrões e procurou outras frases semelhantes. Os avaliadores examinaram as frases que o software assinalou como possíveis opiniões e determinaram se a sugestão estava correcta ou incorrecta. A equipa executou este ciclo de feedback 51 vezes.

Esta experiência testou se o software pode avaliar automaticamente a imparcialidade dos artigos noticiosos em linha, nomeadamente através da identificação das opiniões expressas nos artigos noticiosos.

Os resultados provam que é possível que a aprendizagem automática nos ajude a encontrar opiniões em artigos noticiosos. O software identificou estes artigos com fiabilidade suficiente para os aplicar ao acompanhamento e à avaliação dos conteúdos dos meios de comunicação social, a uma escala e a uma velocidade muito superiores às dos avaliadores humanos convencionais (em segundos, em vez de minutos ou horas). Eis alguns dos principais resultados da experiência:

• 95% de exatidão: O software encontrou artigos que continham uma opinião 95 vezes em 100.
• Taxa de precisão de 84%: 84 dos 100 artigos analisados continham efetivamente opiniões ou infoxes;
• 93% de taxa de recuperação: de 100 artigos que continham opiniões, o software encontrou 93, mas falhou 7.
• Quanto mais o modelo foi treinado, maior foi a sua exatidão e precisão: existe uma relação clara entre o número de vezes que os avaliadores treinaram o software e a exatidão e precisão dos resultados. Os resultados de recuperação não melhoraram de forma tão consistente ao longo do tempo.
• A capacidade do software para "aprender" foi quase imediatamente evidente: A equipa de avaliação notou uma melhoria acentuada na precisão das sugestões do software depois de mostrar apenas 20 frases com opiniões.

Outra experiência foi organizada pelo Stanford Question Answering Dataset, ou SQuAD, através de um concurso de avaliação comparativa que mede a qualidade das IA neste tipo de tarefas. O primeiro prémio SQuAD foi ganho por uma equipa do centro de investigação em inteligência artificial criado pela Salesforce: a sua inteligência artificial conseguiu detetar infoxes com 80% de precisão.

Ainda não se pode dizer nada, mas...

Fabula AI é outro exemplo de uma start-up britânica que desenvolveu a sua própria tecnologia, denominada Geometric Deep Learning, que desenvolveu uma inteligência artificial capaz de detetar infoxes com uma taxa de sucesso muito promissora de 93%. Esta elevada taxa de sucesso justifica a sua recente aquisição pelo Twitter, que explica que: "A Fabula AI permitir-nos-á analisar conjuntos de dados vastos e complexos. A tecnologia desta startup será um verdadeiro motor para a nossa plataforma e deverá permitir-nos envidar esforços para oferecer informações de melhor qualidade e fazer com que as nossas comunidades se sintam mais seguras[2]".

Medir a qualidade dos meios de comunicação social é um exercício subjetivo e é impossível atingir 100% de credibilidade. O raciocínio humano através do pensamento crítico é a única forma de garantir a deteção perfeita de notícias falsas. Daí a importância de tornar a literacia mediática uma prática institucionalizada e comum em todas as áreas da vida: na escola, no trabalho e... nos algoritmos.