Uso de big data y evaluación

Los macrodatos están llamados a modificar profundamente las modalidades de evaluación y nuestro conocimiento de los procesos de aprendizaje. 

La promesa del big data es lograr capturar, de forma continua, los datos individuales, los datos contextuales y los datos relacionales entre los alumnos.

Esto supondrá el fin de la distinción entre tiempo de aprendizaje y tiempo de evaluación. Se aprende de forma continua, se evalúa de forma continua, con una retroalimentación personalizada en función del progreso y el grado de autonomía del alumno.

¿Qué hay más allá de las promesas? Un equipo de investigadores de la Universidad de Stanford ha analizado el valor añadido de estos datos masivos en la evaluación y propone una selección de casos prácticos de uso en tres entornos distintos de aprendizaje en línea.

Tres casos prácticos

1. La plataforma Open Learning Initiative (OLI) de las universidades de Stanford y Carnegie Mellon.
   Este entorno ofrece un sistema de tutoría inteligente que se adapta al progreso individual del alumno a lo largo de las evaluaciones, integradas en los itinerarios de la plataforma.
   
   La muestra es un conjunto de datos de más de un millón de personas, pero la unidad de medida es a pequeña escala: el objetivo pedagógico y las competencias subyacentes.  Por regla general, un curso en OLI —y sus datos— se divide en entre 30 y 50 objetivos e implica entre 100 y 1 000 competencias que deben adquirirse.
   
   El modelo de aprendizaje inicial, elaborado por los investigadores, se compara en tiempo real con los datos proporcionados por los alumnos y se adapta a ellos, con el fin de ofrecer previsiones de aprendizaje por alumno y por competencia.
   
   
2. Tres cursos sobre los fundamentos de la programación: «Una hora de código» de Code.org, un curso en Coursera y un curso presencial de Stanford titulado«Introducción a la informática». 
   
   La evaluación se basa aquí en la resolución de problemas abiertos —retos de programación— pasando por etapas intermedias. Todas estas soluciones parciales se registran sobre la marcha, para trazar «la trayectoria» de los alumnos… ¡para un millón de personas! 
   
   Los datos del curso presencial, por ejemplo, sugieren dos tendencias generales de comportamiento: los alumnos que muestran un progreso constante hacia el objetivo final y aquellos que tienden a quedarse atascados, durante un tiempo relativamente largo, en una etapa intermedia.
   
   Las trayectorias de resolución del primer ejercicio (y no la nota obtenida) muestran, además, una correlación significativa con los resultados de las evaluaciones posteriores (a mitad del curso).
   
   Los datos del programa «Una hora de programación» también muestran que las trayectorias pueden divergir notablemente de los métodos «correctos» recomendados por los profesores.
   
   
3. Se han utilizado los datos de varios MOOC para analizar la perseverancia de los participantes.
   
   Los investigadores han elaborado un modelo de predicción del abandono en correlación con varias variables «sensibles»: el tiempo dedicado a ver los vídeos de la primera semana, las puntuaciones (porcentaje de respuestas incorrectas en el primer intento, tiempo transcurrido entre dos intentos, etc.) y la proporción de vídeos y ejercicios abandonados.
   
   Rápidamente se comprende la importancia de contar con una comunidad de alumnos: basándose en las previsiones de su modelo, los investigadores enviaron una encuesta a 9 400 personas consideradas «en riesgo», durante la tercera semana, para estudiar más a fondo las tres razones principales por las que se abandona un MOOC: la procrastinación, la dificultad y la falta de tiempo.
   
   

A través de esta serie de ejemplos, los investigadores muestran cómo el uso de datos masivos con fines de evaluación puede ayudar a comprender mejor las múltiples facetas del aprendizaje. La ambición es grande, pero hay un pero: existe una diferencia (y una distancia) nada desdeñable entre medir y utilizar.  

Como recuerdan los autores, un estudio del Consejo Nacional de Investigación de 2011 reveló la ineficacia de diez años de políticas educativas basadas en los resultados de las evaluaciones en Estados Unidos. 

Disponer de datos complejos a gran escala no significa, por sí solo, interpretarlos correctamente y mucho menos lograr utilizarlos. Un reto para los próximos años.

Ilustración: Laborant, Shutterstock

Referencias

1. Stanford University Lytics Lab. «The Future of Data–Enriched Assessment», en *Research and Practice in Assessment*, vol. 9, 2014. http://www.rpajournal.com/dev/wp-content/uploads/2014/10/A1.pdf

2. Consejo Nacional de Investigación. Incentivos y rendición de cuentas basada en pruebas en la educación (2011). http://www.nap.edu/read/12521/chapter/1

(Enlaces consultados el 14/03/16)