Utilização de grandes volumes de dados e avaliação

Os megadados estão destinados a alterar profundamente as modalidades de avaliação e o nosso conhecimento dos processos de aprendizagem. 

A promessa dos grandes dados é conseguir captar, de forma contínua, dados individuais, dados contextuais e dados relacionais entre os próprios alunos.

Isto marcará o fim da distinção entre tempo de aprendizagem e tempo de avaliação. Aprende-se continuamente, avalia-se continuamente, com um feedback personalizado de acordo com a progressão e o grau de autonomia do aluno.

Mas o que acontece para além das promessas? Uma equipa de investigadores da Universidade de Stanford analisou o valor acrescentado destes dados massivos na avaliação e apresenta uma seleção de casos práticos de utilização em três ambientes distintos de aprendizagem em linha.

Três casos práticos

1. A plataforma Open Learning Initiative (OLI) das universidades de Stanford e Carnegie Mellon.
   Este ambiente oferece um sistema de tutoria inteligente que se adapta ao progresso individual do aluno ao longo das avaliações — integradas nos percursos da plataforma.
   
   A amostra consiste num conjunto de dados com mais de um milhão de indivíduos, mas a unidade de medida é de pequena escala: o objetivo pedagógico e as competências subjacentes.  Regra geral, um curso na OLI — e os seus dados — divide-se em 30 a 50 objetivos e implica entre 100 e 1 000 competências a adquirir.
   
   O modelo de aprendizagem inicial, desenvolvido pelos investigadores, é comparado em tempo real com os dados fornecidos pelos formandos e adapta-se a eles, para fornecer previsões de aprendizagem por formando e por competência.
   
   
2. Três cursos sobre os fundamentos da programação: «Uma hora de código» da Code.org, um curso na Coursera e um curso presencial da Universidade de Stanford intitulado«Introdução à ciência da computação». 
   
   A avaliação, neste caso, baseia-se na resolução de problemas abertos — desafios de programação — passando por etapas intermédias. Todas estas soluções parciais são registadas à medida que avançam, para traçar «a trajetória» dos alunos… para um milhão de pessoas! 
   
   Os dados do curso presencial, por exemplo, sugerem duas tendências gerais de comportamento: os alunos que apresentam uma progressão constante em direção ao objetivo final e aqueles que tendem a ficar bloqueados, durante um período relativamente longo, numa etapa intermédia.
   
   As trajetórias de resolução do primeiro exercício (e não a nota obtida) apresentam, aliás, uma correlação significativa com os resultados nas avaliações seguintes (a meio do curso).
   
   Os dados do programa «Uma hora de programação» mostram igualmente que as trajetórias podem divergir significativamente dos métodos «corretos» recomendados pelos professores!
   
   
3. Foram utilizados dados de vários MOOCs para analisar a perseverança dos participantes.
   
   Os investigadores criaram um modelo de previsão do abandono em correlação com várias variáveis «sensíveis»: o tempo de visualização dos vídeos da primeira semana, as notas (taxa de respostas incorretas na primeira tentativa, tempo decorrido entre duas tentativas, etc.) e a proporção de vídeos e exercícios não realizados.
   
   Percebe-se rapidamente a importância de dispor de uma comunidade de alunos: com base nas previsões do seu modelo, os investigadores enviaram um inquérito a 9 400 pessoas consideradas «em risco», durante a terceira semana, para estudar mais aprofundadamente as três principais razões para o abandono de um MOOC: a procrastinação, a dificuldade e a falta de tempo.
   
   

Através desta série de exemplos, os investigadores demonstram como a utilização de dados massivos para fins de avaliação pode ajudar a compreender melhor as múltiplas facetas da aprendizagem. A ambição é grande, mas há um senão: existe uma diferença (e uma distância) não negligenciável entre medir e utilizar.  

Tal como os autores recordam, um estudo do National Research Council, em 2011, revelou a ineficácia de dez anos de políticas educativas baseadas em resultados de avaliação, nos Estados Unidos. 

Dispor de dados complexos, em grande escala, não significa, por si só, interpretá-los corretamente e muito menos conseguir utilizá-los. Um desafio para os próximos anos.

Ilustração: Laborant, Shutterstock

Referências

1. Stanford University Lytics Lab. The Future of Data–Enriched Assessment in Research and Practice in Assessment, vol. 9, 2014. http://www.rpajournal.com/dev/wp-content/uploads/2014/10/A1.pdf

2. Conselho Nacional de Investigação. Incentivos e responsabilização baseada em testes na educação (2011). http://www.nap.edu/read/12521/chapter/1

(Links consultados em 14/03/16)