Peer Reviews in Health – Évaluation par les Pairs en Santé

Polytech Grenoble INFO5 - Proposition Projet S10 2024-2025

Titre du projet : Peer Reviews in Health – Évaluation par les Pairs en Santé

Porteurs et encadrants (Prénom, Nom, Institution, Adresse email)

• Dr Pierre GILLOIS, MCU-PH, Laboratoire TIMC, Faculté de médecine
• Pr Nicolas VUILLERME, Laboratoire AEGIS, Faculté de médecine

Entreprise/laboratoire/organisme (nom, adresse)

Laboratoire de la faculté de médecine de Grenoble

Description du contexte (10 lignes minimum)

[QCM] Les évaluations fermées de type QCM, sont massivement utilisé dans le cadre de la formation initiale et continue. Leurs avantages ne sont plus à discuter, tout comme leurs limites bien connues. Les QCM sont incontournables et indispensables dans le panel des solutions d’évaluation. Un des inconvénients des QCM est qu’ils sont difficiles à maintenir en parallèle de l’évolution des contenus du cours. Du coup les apprenants considèrent parfois que des QCM sont hors champs de l’UE, trop vieux donc périmé ou trop pointu, ce qui parfois peut être vrai. En effet mettre à jour son cours, son PPTX est relativement facile, mais avoir une vision globale des dizaines de QCM, et savoir les mettre à jour de façon appropriée est beaucoup plus compliqué à mettre en œuvre pour un enseignant classique souvent à court de temps. Face à ce constat, l’évaluation par les pairs de productions comme pour les articles scientifiques largement médiatisés lors de la Pandémie du covid, nous offre une solution applicable aux évaluations des plus prometteuses. Quoi de mieux en effet que d’évaluer le niveau d’un apprenant, en lui demandant de créer des QCM puis d’évaluer les productions de son groupe ? En demandant aux apprenants de se mettre dans la peau d’un enseignant et donc de construire ses propres QCM, cette étape nous offre une opportunité remarquable d’avoir un aperçu de sa compréhension du module. En ajoutant une étape d’évaluation par les pairs des productions des autres inscrits, on demande à chaque apprenant de se mettre dans la peau de l’enseignant afin de juger et de justifier les productions des autres. L’ensemble de ces 2 étapes sont au cœur de ce module et représente clairement des temps pédagogiques à haute valeur ajoutée pour l’apprenant. Confronté à sa compréhension du module, il doit construire ses propres évaluations à partir de zéro et d’évaluer les productions des autres afin de trouver les faiblesses comme les forces. Seule une maitrise approfondie du module lui permettra de réaliser cette étape.

Du point de vue de l’apprenant, le module suivra les 3 étapes séquentielles successives suivantes :

   • Étape 1 Création en ligne avec saisie de 1 à 2 QCM pour chaque élément du référentiel de compétences du module de formation. Le référentiel contient usuellement pour un UIE de 3 ECTS de 5 à 15 max éléments distinctifs offrant un vaste choix de compétences ou connaissances pouvant être mis en pratique pour construire des QCM. À la date de clôture de cette étape, les productions sont anonymisées et un tirage au sort est établi, pour affecter chaque production à entre 2 et 3 des autres inscrits pour l’étape suivante de l’évaluation.
   • Étape 2 : évaluation par les pairs. Chaque inscrit reçoit de 2 à 3 productions anonymisées qu’il doit évaluer et fournir un feedback constructif sur le fond comme la forme pour chaque QCM et même proposer des améliorations. Pour cette étape une durée de 1 à 2 semaines est souvent nécessaire.
   • Étape 3 à la date de clôture de l’étape précédente, les évaluations, elles aussi anonymes, sont soumises à chacun des auteurs des séries. Ceux-ci reçoivent entre 2 à 3 évaluations pour chaque QCM et peuvent utiliser ces retours pour améliorer leur production. Cette version finale sera alors soumise finalement pour être évaluée par les enseignants. Avant la date de clôture 3, il doit corriger et soumettre sa production de ses QCM améliorée. Il pourra modifier tous les champs du QMC et les images, les  sons, les vidéos déjà intégrés.

Du point de vue de l’enseignant

Le module doit lui proposer de visualiser, saisir, importer, éditer et supprimer un référentiel de compétences de son module de formation. À partir de ce référentiel, l’interface doit proposer le nombre et de type d’évaluation fermée qui seront proposés pour chaque compétence du référentiel. Enfin les dates pour les 2 étapes doivent pouvoir être saisie, éditer et supprimer. ex-sélection QCMultiple / QCUnique / TCS /QROL / QROC… ex Nombre d’évaluations par compétences min 1 max 5  Cette sélection va générer lors de sa validation une épreuve d’évaluation par les pairs en 3 étapes qui

   • pour l’étape 1 correspond à un formulaire de saisie de QCM, intégrant les références aux compétences du référentiel. La structure du QCM est fixe avec les champs usuels du contexte, la question et les médias associés limités à 5 de type image PNG, sn ou vidéo, les libellés des items et le choix Vrai vs Faux et enfin le champ commentaires qui intègre les justifications, les explications et les calculs et les références pour le QCM. Un contrôle qualité sera ajouté afin de s’assurer que par exemple au moins toujours un item est juste et toujours un item est faux parmi les 5, que tous les items sont bien complète, tous les vrais faux sont aussi présents…
   • Pour l’étape 2, l’interface propose après tirage au sort et anonymisation des séries de production, un formulaire d’évaluation ou pour chaque QCM affiché le formulaire permet de saisir de retours constructifs, des modifications conseillées avec justification, etc…
   • Pour l’étape 3 l’interface reprend ses productions de l’étape 1, y ajoute les évaluations anonymisées des relecteurs de l’étape 3 afin de permettre les modifications d’amélioration et les soumettre de façon définitive.

De plus l’interface intègrera la liste des apprenants inscrits ainsi que la liste des enseignants impliqués. Les accès des apprenants permettront d’accéder aux formulaires de saisie de l’étape 1 de création, de l’étape 2 d’évaluation par les pairs et de l’étape finale de valorisation et soumission. Pour les enseignants, ces accès permettront d’accéder aux onglets de

   • Suivi et vérification de la progression des étapes de chaque étudiant et 
   • Gestion des dates, du référentiel, des inscrits, des enseignants impliqués, du tirage au sort.
   • Accéder aux interfaces de notations
       ◦  pour la création des QCM 
       ◦ des évaluations par les pairs. 
   • Préparer le procès-verbal désanonymisé pour le jury semestriel, 
   • Exporter en XML des productions du groupe.
   • Administrer les comptes étudiants et enseignants pour ce module
   • Visualiser avec des filtres (que ceux avec images, que ceux d’un domaine ou d’une compétence donnée…) les QCM.

Le module proposera un suivi visuel des étapes des productions et d’évaluations par les pairs sous forme de Tableau de bord pour chaque apprenant.

Le module proposera après validation de l’étape 3, de noter les productions de chaque contributeur via une interface synthétique affichant les productions de chaque apprenant anonymisé avec une grille de notation uniformisée, de même pour les évaluations. L’ensemble des notes de chaque QCM produit et des évaluations constructives renvoyées constitueront la notation.

Après finalisation de toutes les notations du groupe, un document de synthèse désanonymisé sera préparé pour être envoyé à l’administration pour les séances de jury. Proposer un export XML des QCM

Afficher une sélection de QCM Création et gestion des comptes étudiants et enseignants. Création et Édition du référentiel de compétence du module. Visualisation des épreuves avec synthèse des choix (référentiel, nb QCM délai, nb inscrit, % progression, nb d’enseignants, nb évaluateurs …)

Objectif(s) du projet :

Fournir un module docimologique web, intégrable aux plateformes de type LMS (Learning Management System) afin de mettre l’évaluation par les pairs en pratique comme contrôle continu d’un module de formation. Par défaut, un plug-in pour le LMS Moodle sera demandé donc en utilisant les langages de type PHP MySQL.

Travail attendu (5 lignes minimum)

Les étudiants devront développer un module web proposant la mise en place de l’évaluation par les pairs à base de QCM, en 3 version :

   • 1 intégrable au LMS Moodle 
   • 2 intégrable au LMS Canvas 
   • 3 une version autonome

À noter qu’ une version autonome fonctionnelle en php msql du module attendu a déjà été développée pour de petites séries d’apprenants et peut servir de modèle de base.

Les fonctionnalités représentent les taches à développer : Interface étudiants

   • Étape création avec saisie des évaluations
   • Étape évaluation par les pairs avec saisie des évaluations pour chaque QCM

Interface enseignants

   • Suivi des étapes
   • Contrôle des accès étudiants
   • Notation des QCM
   • Notation des évaluations par les pairs
   • Synthèse des notations

Interface responsable – enseignant

   • Création du référentiel de compétences avec les niveaux des domaines, des compétences et des thèmes
   • Création et définition de la session d’évaluation par les pairs (nb QCM par compétences, date délai, type de tirage au sort…)
   • Gestion des dates, de l’anonymisation et du tirage au sort 
   • Création des comptes étudiants inscrits et enseignants impliqués
   • Export XML des QCM selon sélection
   • Export process verbal pour jury semestriel avec désanonymisation 
   • 

Techniques, outils, technologies, langages et canevas à mettre en œuvre.

Le langage de programmation est à la discrétion des étudiants de Polytech mais doit être compatible avec le LMS choisi

Déplacement à prévoir (en dehors de l’école) : oui / non

non (tout est envisageable en distanciel)