Learning Analytics Appliqué

Polytech Grenoble INFO5 Proposition Projet S10 2023-2024

Titre du projet : Learning Analytics Appliqué

Porteurs et encadrants (Prénom, Nom, Institution, Adresse email)

• Dr Pierre GILLOIS, MCU-PH, Laboratoire TIMC, Faculté de médecine
• Pr Nicolas VUILLERME, Laboratoire AEGIS, Faculté de médecine

Entreprise/laboratoire/organisme (nom, adresse)

Laboratoire de la faculté de médecine de Grenoble

Description du contexte (10 lignes minimun)

L’apprentissage des connaissances et des compétences est l’un de socle de l’éducation.

Cet apprentissage est indissociable de son socle associé de l’évaluation.

Un cours magistral ou une capsule de connaissances est obligatoirement associé à une série d’évaluation, en général sous forme de QCM centré sur les objectifs pédagogiques ou le référentiel de compétences.

En effet les évaluations à réponse fermées comme les QCM sont massivement utilisées en santé pour certifier les étudiants. Ces QCM ont plusieurs avantages comme leur utilisation pour les étudiants en version intégralement numérique, pour les enseignants, de la conception à leur utilisation pour une évaluation simplifiée par l’outil numérique, et enfin pour l’institution à leur analyse afin de déterminer les scores finaux pour les jurys. Autant les interventions en présentiel permettent un retour qualitatif direct du discours et des supports multimédias, autant les QCM ne proposent que peu de retours directs lors de leur utilisation. Les analyses classiques se focalisent sur le test et permettent la détermination du taux de réussite et de la note moyenne du groupe, mais ces résultats ne sont applicables que sur le groupe ayant réalisé cette épreuve. Ces analyses classiques ne sont pas extrapolables en l’état à une autre promotion d’étudiants.

Mais comment analyser et améliorer la conception de ces questions fermées afin d’optimiser leur utilisation dans le cadre d’une évaluation de connaissances, mais aussi de compétences ?

En règle générale l’enseignant créant ses séries de QCU ou QCM est amené à se poser nombres de questions comme : « Mes QCM sont-elles bien conçues ? », « L’épreuve est elle trop simple ou trop difficile ? », « Les distracteurs et les leurres sont-ils efficaces ? « Puis je réutiliser ces QCM pour une autre épreuve ? », « Quelles sont les QCM que je dois supprimer ? »…

Pour répondre à ces questions légitimes, une approche systématique peut et doit être appliquée pour fournir aux enseignants responsables des matières une aide descriptive et analytique sur ces QCM. Ce type d’analyse se retrouve à différents niveaux : au niveau global de l’épreuve intégrant tous les QCM, au niveau de chacun des QCM avec une approche descriptive et enfin une approche analytique reposant sur la théorie des réponses aux items (TRI) permettant d’avoir des indicateurs de discrimination, de difficulté relative par exemple des QCM individuellement, mais aussi de mesurer les niveaux des apprenants.

Ces deux derniers axes sont particulièrement utiles pour identifier les QCM à problèmes, à les supprimer, pour sélectionner les QCM à modifier et à améliorer pour une session ultérieure et enfin mettre en avant les QCM les plus « parfaits » pouvant servir d’exemple à la rédaction de nouvelles questions fermées.

De plus, ajouter ces paramètres analytiques à chacun des QCM mais aussi aux séries de QCM permet de réaliser à distance des tirages au sort ciblés de QCM afin d’adapter la sélection a des paramètres de difficulté et de discriminations des étudiants. Cette fonction est particulièrement utile lors de test de positionnement en début d’UE servant à catégoriser la promotion en fonction de leur niveau individuel et de proposer des parcours pédagogiques différentiés selon leur niveau.

Un module docimologique fournissant ces fonctionnalités d’analyses qualitative et quantitative des réponses des étudiants afin d’améliorer les QCM et leur utilisation est un « game changer » en éducation.

Cela permettra aux enseignants de mesurer et d’analyser des paramètres tels que les niveaux de difficulté, de sélectivité et de pseudodevinette aléatoire. Ces paramètres seront stockés en base de données et permettront de proposer des tirages au sort équilibrés de séries de QCM pour les épreuves intermédiaires de suivi ou finales de validation.

Objectif(s) du projet :

Fournir un module docimologique web, intégrable aux plateformes de type LMS (Learning Management System) afin d’analyser des tests de certification ou de positionnement à base de QCM selon la théorie de réponses aux items. Par défaut, un plug-in pour le LMS Moodle sera demandé donc en utilisant les langages de type PHP MySQL.

Travail attendu (5 lignes minimun)

Les étudiants devront développer un module web, intégrable au LMS Moodle et proposant l’analyse descriptive et analytique de toute épreuve à base de QCM.

Une version fonctionnelle du module attendu a été développée sous R et peut servir de modèle de base. Les fonctionnalités représentent 5 taches à développer :

• [Data] Sélection de l’épreuve à analyser au niveau du LMS (les réponses de chacun des inscrits et la réponse attendue idéal seront chargé via une procédure d’import CSV et/ou de connexion à la base de données via connecteur MySQL).
• [Data] Vérification qualitative de la sélection (nb de QCM, nb d’inscrits, date, domaine, compétences couvertes …)
• [Data] Visualisation des réponses des étudiants et de la réponse attendue
• [Descriptif Classique] Visualisation des dénombrements (en effectif et pourcentage) des concordances positives (+ observé + attendu) , négative (- observé - attendu) et des discordances (+- et -+)
• [Descriptif Classique] Synthèse globale, par matière ou concepts et par QCM selon la théorie test classique du test :
  • Score moyen de réussite [0-1] proportion ayant bien répondu
  • Variance du score moyen de réussite
  • Min – Max réussite
  • Indice de difficulté (Moyenne score 1/3 sup –Moyenne score 1/3 Inf)
  • Rapport de difficulté (Moyenne score 1/3 sup / Moyenne score 1/3 Inf)
  • Coefficient Alpha de Cronbach
  • Coefficient PBCC
  • Coefficient PBCC Modifié
• [Descriptif Classique] Histogramme de distribution des résultats globaux avec courbe de densité
• [Descriptif Classique] Nuage de point des QCM en fonction de l’indice de difficulté en fonction de soit l’indice de discrimination, soit le coefficient PBCC soit le Coefficient PBCC Modifié
• [Descriptif Classique] Boxplot des notes du test en fonction de la classe des répondants juste (correct) vs répondants faux (incorrect)
• [Synthèse Classique] Détermination d’une synthèse d’analyse (Garder, Réviser vs Retirer) avec pour chaque QCM le rappel de l’indice de difficulté, de discrimination, le PBCC et des règles de sélection comme l’alpha de Cronbach, le critère Jorion, le critère versatile éclectique et le critère strict rigoureux.
• [Analyse Modélisation] Détermination du paramètre du modèle à 1 paramètre de Rach : paramètre de difficulté pour tous les QCM
• [Analyse Modélisation] Détermination des paramètres du modèle à 2 paramètres : paramètre de difficulté, paramètre de discrimination pour tous les QCM
• [Analyse Modélisation] Détermination des paramètres du modèle à 3 paramètres : paramètre de difficulté, paramètre de discrimination et paramètre de devinette aléatoire pour tous les QCM
• [Analyse Modélisation] Courbes ICC selon les modèles de 1 à 3 paramètres pour chaque QCM
• [Synthèse d’action] Page HTML avec export PDF et DOCX reprenant les actions des modifications à apporter aux QCM.

Techniques, outils, technologies, langages et canevas à mettre en œuvre.

Le langage de programmation est à la discrétion des étudiants de Polytech mais doit être compatible avec le LMS choisi

Déplacement à prévoir (en dehors de l’école) : oui / non

non (tout est envisageable en distanciel)