Métriques de vanité et niveaux d’engagement dans un MOOC

L'engagement marque un lien entre un individu et ses actes.

Le vocabulaire militaire utilise l'idée d'engagement pour les recrues mais également dans les combats. C'est le moment précis du premier geste offensif. A partir de là, les projectiles fusent et toute l'énergie et les capacités humaines disponibles sont mises au service de la mise hors d'état de nuire de l'ennemi.

L'engagement c'est aussi le moment décisif de la confiance au cours duquel un patron dit oui au postulant à un emploi. Ce moment scelle une relation, ses contreparties et ses effets. À moins encore que l'engagement résonne comme la promesse de deux personnes l'une envers l'autre pour le meilleur ou pour le pire selon la formule consacrée.

Dans toutes ces nuances l'engagement est un mot qui caractérise des émotions fortes, des décisions, des inflexions sur le destin et parfois une logique de l'honneur. Le mot est utilisable pour la participation à des dispositifs de formation traditionnelles ou en ligne. Ce type de moment décisif se mesurerait.

La mesure de l'engagement

Les "métriques de vanité" sont tous les chiffres et toutes les mesures sensés impressionner un auditoire ou un lectorat par un effet de taille hors norme qui laisserait penser à une influence ou à un impact sur le réel. Pensons aux 180 000 inscrits du premier MOOC connectiviste de Downes et Siemens. Combien d’entre eux sont allé jusqu’au bout ? L’histoire ne le dit pas. Pourtant le chiffre invérifié ne cesse de nous impressionner.

Ces métriques peuvent être un nombre de clics, un nombre de pages vues, un nombre de suiveurs, un nombre de messages rediffusés, un nombre de participants à un MOOC, le temps passé sur le site etc. Des outils d'analyse des données abondent pour nous fournir des données (data) :

• Google analytics permet de mesurer la performance d’un site même si des réserves existent quant à la technique d’échantillonnage prise en référence.
   
• Des outils d’analyse de réseaux sociaux  tels que Klout, Kred, Social mention et Social bakers sont aussi utilisables en alternative ou complément de Google.
   
• L’engagement sur Facebook est aussi mesurable. Il correspond au « pourcentage des personnes qui ont vu une publication et qui l’ont aimée ou partagée, qui ont cliqué dessus ou qui ont ajouté un commentaire ».

D'autres mesures visent une compréhension des comportements. Il peut s'agir de :

• Taux de rebond : quantifie le nombre de visiteurs quittant immédiatement un site web après la consultation d’une seule page.
   
• Taux de conversion : il témoigne d'une réponse positive à une proposition, comme par exemple télécharger un livre blanc ou laisser ses coordonnées.

Toute la stratégie marketing miserait sur une hausse du trafic en mesure de générer des effets. Mais on parle ici des pratiques des entreprises commerciales. Le même raisonnement est-il applicable aux questions éducatives ? Vend on du savoir comme des aspirateurs ou des téléphones?

Deux taux sont plus spécifiquement mobilisables pour mesurer l'engagement en formation.

• Taux d'attrition : c'est le taux de perte d'un corps de troupe à la guerre. Dans un MOOC on évoque plutôt le taux d'abandon des participants en cours d'apprentissage. Ils sont souvent élevés.
   
• Taux de complétion : c'est le taux qui caractérise l'avancement dans un programme, la proportion de réponse aux questions posées.

Le premier taux relève dans les MOOC le taux d'abandon entre l'inscription initiale et l'arrivée au bout du dispositif. Le second la motivation à aller jusqu'au bout.

Plusieurs études dont une de Stanford, nous expliquent que dans des réseaux en ligne, l'engagement se distribuerait entre :

• 1% de participants très actifs, animateurs et créateurs de contenus;
•  9% d'intervenants ponctuels réagissant par des messages, enrichissant ou faisant circuler les contenus;
• 90% de consommateurs ou soutien passif.

Rien de neuf, c'est la règle du 1-9-90 énoncée en 2006 par McConnel et Huba. Pour Jean Michel Cornu, pour créer une dynamique sociale d'apprentissage, l'enjeu est moins d'obliger ou d'inciter les apprenants passifs à s'engager que d'augmenter le nombre total de participants.

Le fait de disposer d'une audience serait en soi suffisamment stimulant pour que des productions soient menées à bien par les plus motivés qui ont ainsi l'opportunité de se distinguer. Un jardinier pourrait dire nul besoin de tirer sur les feuille de salade pour les faire pousser, mieux vaut s'occuper de ce qui grandit et de l'aider à prospérer dans le jardin. Est ce applicable en éducation?

Soutenir les motivations à s'engager

Les motivations individuelles

La confiance en soi nait d'une accumulation de réussites petites ou grandes qui renforcent le sentiment d'efficacité personnelle. Elle nourrit des petites voies intérieures qui disent "tu peux le faire", "tu l'as déjà fait", "fais le persévère". Souffler sur les braises de réussites maintient l'envie d'apprendre. Il est aussi possible de le faire en ligne. Le renforcement par les badges, le soutien et même l'I.A. peuvent être mis à contribution.

Les motivations collectives

Confiance institutionnelle, confiance interpersonnelle et confiance dans la technologie sont les trois renforcements indispensables pour s'engager dans un dispositif d'apprentissage en ligne. L'institution qui abrite la formation a-t-elle bonne réputation ? Les participants sont-ils agréables, vont ils m'apporter quelque chose, compléter mon savoir? Les plateformes et technologies que l'on me propose sont-elles ergonomiques, fiables  et discrètes ? Il s'agira pour les institutions éducatives de répondre positivement à ces questions pour que leur MOOC et offres en ligne attirent du monde.

Le véritable service rendu

L'engagement devient une question essentielle quand les rétroactions sont intermédiées par la technologie. S'il est difficile de savoir ce qui se passe dans un autre espace-temps les mesures apportent quelques indices à la condition de choisir les bonnes informations à suivre. Évitons les métriques de vanité qui ne montrent que la vitalité d’un message et identifions ce qui aide à comprendre; il s'agit du véritable service rendu.

Sources

Blog educpro - Mathieu Cisel - MOOC ce que les taux d'abandon signifient
http://blog.educpros.fr/matthieu-cisel/2013/06/01/mooc-ce-que-les-taux-dabandon-signifient/

Stanford.edu https://news.stanford.edu/news/2013/april/online-learning-analytics-041113.html

Pearl Trees- the 1% rule http://www.pearltrees.com/madmagz/the-1-rule/id1329025

Blog innovation pédagogique- Jean michel Cornu
https://www.innovation-pedagogique.fr/auteur511.html

Thèse Elzbieta Sanojca http://www.theses.fr/2018REN20001

Journal open edition - Sentiment d'efficacité personnelle
https://journals.openedition.org/osp/741

Seinsights - webanalytics métriques de vanité ou métriques exploitables
https://www.seinsights.com/webanalytics/metriques-de-vanite-ou-metriques-exploitables/

Google analytics https://www.google.com/intl/fr/analytics/

Blog Atinternet – Retour aux fondamentaux pour mesurer l’acquisition et l’engagement des visiteurs de votre site 
https://blog.atinternet.com/fr/retour-aux-fondamentaux-mesurer-lacquisition-et-lengagement-des-visiteurs-de-votre-site/

Blog 361 https://blog.groupe361.com/engagement-facebook-calcul-18042014/

Digital learning book – by ILDI http://IL-DI.COM

Thot Cursus - Créer un MOOC connectiviste
https://cursus.edu/11065/creer-un-mooc-connectiviste

Webmarketing Les limites de Google analytics
https://www.webmarketing-com.com/2017/07/17/60906-les-limites-de-google-analytics

Siècle digital – Klout influence ferme https://siecledigital.fr/2018/05/13/klout-influence-ferme/

Kred - http://home.kred/

Social mention - http://socialmention.com/

Social bakers https://www.socialbakers.com/